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本 书 提供 了 对 当代 计算 机 算法 研究 的 一 个 全 面 、 综 合 性 的 介绍 。 全 书 共 八 部 分 ， 内 容 涵 
盖 基 础 知识 、 排 序 和 顺序 统计 量 、 数 据 结 构 、 高 级 设计 和 分 析 技 术 、 高 级 数据 结构 、 图 算法 、 
算法 问题 选编 ， 以 及 数学 基础 知识 。 书 中 深入 浅 出 地 介绍 了 大 量 的 算法 及 相关 的 数据 结构 ， 
以 及 用 于 解决 一 些 复杂 计算 问题 的 高 级 策略 〈 如 动态 规划 、 贪 心算 法 、 摊 还 分 析 等 )， 重 点 在 
于 算法 的 分 析 与 设计 。 对 于 每 一 个 专题 ， 作 者 都 试图 提供 目前 最 新 的 研究 成 果 及 样 例 解答 ， 
并 通过 清晰 的 图 示 来 说 明 算 法 的 执行 过 程 。 此 外 ， 全 书包 含 957 道 练 习 和 158 道 思考 题 ， 并 且 
作者 在 网 站 上 给 出 了 部 分 题 的 答案 。 

本 书 内 容 丰 富 ， 叙 述 深 入 小 出 ， 适 合作 为 计算 机 及 相关 专业 本 科 生 数据 结构 课程 和 研究 
生 算法 课程 的 教材 ， 同 时 也 适合 专业 技术 人 员 人 参考 使 用 。 
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文艺 复兴 以 降 ， 源 远 流 长 的 科学 精神 和 逐步 形成 的 学 术 规 范 ， 使 西方 国家 在 自然 科学 的 各 
个 领域 取得 了 垄断 性 的 优势 ， 也 正 是 这 样 的 传统 ， 使 美国 在 信息 技术 发 展 的 六 十 多 年 间 名 家 辈 
出 、 独 领 风 骚 。 在 商业 化 的 进程 中 ， 美 国 的 产业 界 与 教育 界 越 来 越 紧密 地 结合 ， 计 算 机 学 科 中 的 
许多 泰山 北斗 同时 身 处 科研 和 教学 的 最 前 线 ， 由 此 而 产生 的 经 典 科学 著作 ， 不 仅 璧 划 了 研究 的 
范畴 ， 还 揭示 了 学 术 的 源 变 ， 既 遵循 学 术 规 范 ， 又 自 有 学 者 个 性 ， 其 价值 并 不 会 因 年 月 的 流逝 而 
减退 。 

近年 ， 在 全 球 信息 化 大 潮 的 推动 下 ， 我 国 的 计算 机 产业 发 展 迅猛 ， 对 专业 人 才 的 需求 日 益 迫 
切 。 这 对 计算 机 教育 界 和 出 版 界 既 是 机 遇 ， 也 是 挑战 ;而 专业 教材 的 建设 在 教育 战略 上 显得 举 足 
轻重 。 在 我 国信 息 技术 发 展 时 间 较 短 的 现状 下 ， 美 国 等 发 达 国 家 在 其 计算 机 科学 发 展 的 几 十 年 
间 积 淀 和 发 展 的 经 典 教 材 仍 有 许多 值得 借鉴 之 处 。 因 此 ， 引 进 一 批 国外 优秀 计算 机 教材 将 对 我 
国 计 算 机 教育 事业 的 发 展 起 到 积极 的 推动 作用 ， 也 是 与 世界 接轨 、 建 设 真正 的 世界 一 流 大 学 的 
必由之路 。 

机 械 工 业 出 版 社 华章 公司 较 早 意识 到 “出 版 要 为 教育 服务 ”。 上 自 1998 年 开始 ， 我 们 就 将 工作 
重点 放 在 了 六 选 、 移 译 国 外 优秀 教材 上 。 经 过 多 年 的 不 懈 努 力 ， 我 们 与 Pearson，McGraw- Hill, 
Elsevier, MIT, John Wiley & Sons, Cengage 等 世界 著名 出 版 公司 建立 了 良好 的 合作 关系 ， 从 他 
们 现 有 的 数 百 种 教材 中 甄选 出 Andrew S. Tanenbaum, Bjarne Stroustrup, Brain W. Kernighan, Den- 
nis Ritchie, Jim Gray, Afred V. Aho, John E. Hopcroft, Jeffrey D. Ullman, Abraham Silbers- 
chatz, William Stallings, Donald E. Knuth, John L. Hennessy, Larry L. Peterson 等 大 师 名 家 的 
一 批 经 典 作品 ， 以 “计算 机 科学 丛书 ”为 总 称 出 版 ， 供 读者 学 习 、 研 究 及 珍藏 。 大 理 石 纹理 的 封 
面 ， 也 正体 现 了 这 套 丛 书 的 品位 和 格调 。 

“计算 机 科学 丛书 ”的 出 版 工作 得 到 了 国内 外 学 者 的 易 力 相助 ， 国 内 的 专家 不 仅 提 供 了 中 肯 
的 选 题 指导 ， 还 不 辞 劳苦 地 担任 了 翻译 和 审 校 的 工作 ;而 原 书 的 作者 也 相当 关注 其 作品 在 中 国 
的 传播 ， 有 的 还 专程 为 其 书 的 中 译本 作 序 。 迄 今 ,“ 计 算 机 科学 丛书 ”已 经 出 版 了 近 两 百 个 品种 ， 
这 些 书籍 在 读者 中 树立 了 良好 的 口碑 ， 并 被 许多 高 校 采 用 为 正式 教材 和 参考 书籍 。 其 影印 版 “经 
典 原 版 书库 ”作为 姊妹 篇 也 被 越 来 越 多 实施 双语 教学 的 学 校 所 采用 。 

权威 的 作者 、 经 典 的 教材 、 一 流 的 译 者 、 严 格 的 审 校 、 精 细 的 编辑 ， 这 些 因素 使 我 们 的 图 书 
有 了 质量 的 保证 。 随 着 计算 机 科学 与 技术 专业 学 科 建 设 的 不 断 完 善 和 教材 改革 的 逐渐 深化 ， 教 
育 界 对 国外 计算 机 教材 的 需求 和 应 用 都 将 步 和 人 一 个 新 的 阶段 ， 我 们 的 目标 是 尽善尽美 ， 而 反馈 
的 意见 正 是 我 们 达到 这 一 终极 目标 的 重要 帮助 。 华 章 公 司 欢 迎 老师 和 读者 对 我 们 的 工作 提出 建 
议 或 给 予 指正 ， 我 们 的 联系 方法 如 下 : 


华章 网 站 :; www. hzbook. com 
电子 邮件 : hzjsij@ hzbook. com 
联系 电话 : (010) 88379604 
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我 从 1994 年 开始 每 年 都 为 本 科 生 讲 授 “ 算 法 设计 与 分 析 ” 课 程 ， 粗 略 地 统计 一 下 ， 发 现 至 
SEA 5 000 余 名 各 类 学 生 听 过 该 课 。 算 法 的 重要 性 不 言 而 喻 ， 因 为 不 管 新 概念 、 新 方法 、 新 理 
论 如 何 引 人 注目 ,信息 的 表示 与 处 理 总 是 计算 技术 ( 含 软件 、 硬 件 、 应 用 、 网 络 、 安 全 、 智 能 
等 ) 永恒 的 主题 。 信 息 处 理 的 核心 是 算法 。 在 大 数据 时 代 ， 设 计 高 效 的 算法 显得 格外 重要 。 

当初 ， 为 了 教 好 这 门 基 础 必修 课 ， 提 高 教学 质量 ， 我 觉得 应 该 从 教学 内 容 的 改革 入 手 ， 具 体 
来 说 ， 采 用 的 教材 应 该 与 国际 一 流 大 学 接轨 。1997 年 访 美 期 间 ， 在 Stanford 大 学 了 解 到 他 们 采 
用 的 教材 是 Thomas H. Cormen 等 人 著 的 《Introduction to Algorithms》， 于 是 从 Stanford 书店 买 
了 一 本 带 回来 ， 从 第 二 年 开始 便 改 用 该 书 作为 教材 。 至 今 ，15 年 过 去 了 ， 我 们 一 直 追 随 其 变迁 ， 
从 第 2 版 到 第 3 版 。 教 学 实践 证 明 它 确实 是 一 本 好 教材 ， 难 怪 世 界 范围 内 包括 MIT, CMU, 
Stanford, UCB, Cornell, UIUC 等 国际 、 国 内 名 校 在 内 的 1 000 余 所 大 学 都 一 直 用 它 作为 教材 或 
教学 参考 书 ， 也 难怪 它 印 数 巨大 且 在 《高 引用 计算 机 科学 文献 》( 《Most Cited Computer Science 
Citations》) 一 览 表 中 名 列 前 茅 。 

这 本 书 的 原版 有 1 200 多 页 ， 内 容 非 常 丰富 ， 不 但 涵盖 了 典型 算法 、 算 法 分 析 、 算 法 设计 方法 
和 NP 完全 等 内 容 ， 而 且 还 包括 数据 结构 ， 其 至 高 级 数据 结构 的 介绍 。 后 者 可 以 作为 国内 “数据 结 
构 ” 课 程 的 教材 或 教学 参考 资料 。 在 学 时 有 限 的 情况 下 ， 要 在 本 科 阶 段 教 完 前 者 的 所 有 内 容 也 是 困难 
的 ， 故 要 做 取舍 。 好 在 该 书 的 各 个 章节 相对 独立 且 难 度 由 浅 和 人 深 ， 我 们 的 做 法 是 将 相对 容易 的 、 一 般 
的 入 门 性 内 容留 在 本 科 阶 段 ， 而 将 相对 难 的 、 专 门 的、 较 深 入 的 内 容 并 入 研究 生 课程 “算法 及 复杂 
性 ”或 “计算 复杂 性 ”。 除 本 校外 ， 本 人 就 曾 多 次 应 邀 在 兰州 大 学 、 湖 南大 学 和 浙江 师范 大 学 等 院 校 
为 研究 生 讲授 过 这 些 内 容 。 其 实 该 书 也 适合 希望 增强 自身 程序 设计 能 力 和 程序 评判 能 力 的 广大 应 用 计 
算 技 术 的 社会 公众 ， 特 别 是 参加 信息 学 奥林匹克 竞赛 和 ACM 程序 设计 竞赛 的 选手 及 其 教练 员 。 

在 教学 过 程 中 ， 我 们 发 现 该 书 具 有 以 下 特点 : D 选材 与 时 俱 进 ， 具 有 实用 性 且 能 引起 读者 
的 兴趣 。 该 书 中 研究 的 许多 问题 都 是 当前 现实 应 用 中 的 关键 技术 问题 。2) 采用 伪 代 码 描述 算法 ， 
既 简 洁 易 懂 又 便于 抓 住 本 质 ， 再 配 上 丰富 的 插图 来 描述 和 解释 算法 的 执行 过 程 ， 使 得 教学 内 容 
更 加 通俗 ， 便 于 自学 。3) 对 算法 正确 性 和 复杂 度 的 分 析 比 较 全 面 ， 既 有 严密 的 论证 ， 又 有 直观 
的 解释 。4) 既 有 结论 性 知识 的 介绍 ， 也 有 逐步 导出 结论 的 研究 过 程 的 展示 。5) 丰富 的 练习 题 和 
思考 题 使 得 及 时 检验 所 学 知识 掌握 情况 和 进一步 拓展 学 习 内 容 成 为 可 能 。 

在 第 3 AREY «Introduction to Algorithms》 出 版 后 ， 我 们 应 机 械 工 业 出 版 社 编 辑 的 邀请 ， 局 
动 了 长 久 的 翻译 工程 ， 先 后 参加 翻译 工作 的 老师 有 : 国防 科学 技术 大 学 的 把 建 平 教授 (翻译 第 
1~3 章 ) 、 中 国 科 学 技术 大 学 的 徐 云 教 授 〈 翻 译 第 10~14 章 、 第 18 一 21 章 和 第 27 章 ) 、 南 开 大 
学 的 王刚 教授 (翻译 第 4 章 和 第 15 一 17 章 ) 、 南 开 大 学 的 刘晓光 教授 〈 翻 译 第 6 一 9 章 ) 、 南 开 大 
学 的 苏 明 副 研 究 员 (翻译 第 5 章 和 第 28 一 30 章 ) 、 上 海 交 通 大 学 的 邹 恒 明教 授 (翻译 第 22 一 26 
章 ) 、 哈 尔 演 工业 大 学 的 王 宏 志 副 教授 CHER 31 一 35 章 和 附录 部 分 )。 由 于 水 平 有 限 且 工作 量 
巨大 ， 译 文中 一 定 存在 许多 不 足 ， 在 此 敬 请 各 位 同行 专家 学 者 和 广大 读者 批评 指正 ， 欢 迎 大 家 将 
发 现 的 错误 或 提出 的 意见 与 建议 发 送 到 邮箱 ，algorithms@ hzbook. com。 在 整个 工程 即将 完成 之 
际 ， 我 们 要 特别 感谢 潘 金 贵 、 顾 铁 成 、 李 成 法 和 叶 懋 等 参与 本 书 第 2 版 翻译 的 老师 ， 是 他 们 使 得 
这 本 重要 教材 在 国内 有 了 广泛 读者 。 同 时 也 要 感谢 机 械 工业 出 版 社 的 温 莉 芳 编 辑 和 王 春 华 编辑 ， 
没有 你 们 的 信任 、 耐 心 和 支持 ， 整 个 翻译 工作 不 可 能 完成 。 
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在 计算 机 出 现 之 前 ， 就 有 了 算法 。 现 在 有 了 计算 机 ， 就 需要 更 多 的 算法 ， 算 法 是 计算 的 
核心 。 

本 书 提供 了 对 当代 计算 机 算法 研究 的 一 个 全 面 、 综 合 的 介绍 。 书 中 给 出 了 多 个 算法 ， 并 对 它 
们 进行 了 较为 深入 的 分 析 ， 使 得 这 些 算法 的 设计 和 分 析 易 于 被 各 个 层次 的 读者 所 理解 。 我 们 力 
求 在 不 牺牲 分 析 的 深度 和 数学 严密 性 的 前 提 下 ， 给 出 深入 浅 出 的 说 明 ，。 

书 中 每 一 章 都 给 出 了 一 个 算法 、 一 种 算法 设计 技术 、 一 个 应 用 领域 或 一 个 相关 的 主题 。 算 法 
是 用 英语 和 一 种 “ 伪 代 码 ” 来 描述 的 ， 任 何 有 一 点 程序 设计 经 验 的 人 都 能 看 得 懂 。 书 中 给 出 了 
244 幅 图 ， 说 明 各 个 算法 的 工作 过 程 。 我 们 强调 将 算法 的 效率 作为 一 种 设计 标准 ， 对 书 中 的 所 有 
算法 ， 都 给 出 了 关于 其 运行 时 间 的 详细 分 析 。 

本 书 主要 供 本 科 生 和 研究 生 的 算法 或 数据 结构 课程 使 用 。 因 为 书 中 讨论 了 算法 设计 中 的 工 
程 问 题 及 其 数学 性 质 ， 所 以 ， 本 书 也 可 以 供 专业 技术 人 员 上 自学 之 用 。 

本 书 是 第 3 版 。 在 这 个 版 本 里 ， 我 们 对 全 书 进 行 了 更 新 ， 包 括 新 增 了 和 震 干 章 、 修 订 了 伪 代 
码 等 。 


致使 用 本 书 的 教师 


本 书 的 设计 目标 是 全 面 、 适 用 于 多 种 用 途 。 它 可 用 于 若干 课程 ， 从 本 科 生 的 数据 结构 课程 到 
研究 生 的 算法 课程 。 由 于 书 中 给 出 的 内 容 比较 多 ， 只 讲 一 学 期 一 般 讲 不 完 ， 因 此 ， 教 师 们 应 该 将 
本 书 看 成 是 一 种 “缓存 区 ”或 “瑞典 式 目 助 餐 ”， 从 中 挑选 出 能 最 好 地 支持 自己 希望 教授 的 课程 
NA. 

教师 们 会 发 现 ， 要 围绕 自己 所 需 的 各 个 章节 来 组 织 课程 是 比较 容易 的 。 书 中 的 各 章 都 是 相 
对 独立 的 ， 因 此 ， 你 不 必 担 心意 想不到 的 或 不 必要 的 各 章 之 间 的 依赖 关系 。 每 一 章 都 是 以 节 为 单 
位 ， 内 容 由 易 到 难 。 如 果 将 本 书 用 于 本 科 生 的 课程 ， 可 以 选用 每 一 章 的 前 面 几 节 内 容 ; 用 于 研究 
生 的 课程 中 ， 则 可 以 完整 地 讲授 每 一 章 。 

全 书包 含 957 道 练 习 和 158 道 思 考题 。 每 一 节 结 束 时 给 出 练习 ， 每 一 章 结 束 时 给 出 思考 题 。 
练习 一 般 比 较 得， 用 于 检查 学 生 对 书 中 内 容 的 基本 掌握 情况 。 有 一 些 是 简单 的 自 查 性 练习 ， 有 一 
些 则 要 更 充实 ， 可 以 作为 家 庭 作 业 布 置 给 学 生 。 每 一 章 后 的 思考 题 都 是 一 些 叙 述 较为 详细 的 实 
例 研究 ， 它 们 常常 会 介绍 一 些 新 的 知识 。 一 般 来 说 ， 这 些 思考 题 都 会 包含 几 个 小 问题 ， 引 导 学 生 
逐步 得 到 问题 的 解 。 

根据 本 书 前 几 版 的 读者 反馈 ， 我 们 在 本 书 配套 网 站 上 公布 了 其 中 一 些 练习 和 思考 题 的 答案 
(但 不 是 全 部 )， 网 址 为 http://mitpress. mit. edu/algorithms/ 。 我 们 会 定期 更 新 这 些 答 案 ， 因 此 和 需 
要 教师 每 次 授课 前 都 到 这 个 网 站 上 来 查看 。 

在 那些 不 太 适 合 本 科 生 、 更 适合 研究 生 的 章节 和 练习 前 面 ， 都 加 上 了 星 号 (* )。 带 星 号 的 
章 放 也 不 一 定 就 比 不 带 星 号 的 更 难 ， 但 可 能 要 求 了 解 更 多 的 数学 知识 。 类 似 地 ， 带 星 号 的 练习 可 
能 要 求 有 更 好 的 数学 背景 或 创造 力 。 


致使 用 本 书 的 学 生 


布 望 本 教材 能 为 学 生 提供 关于 算法 这 一 领域 的 有 趣 介绍 。 我 们 力求 使 书 中 给 出 的 每 一 个 算 
法 都 易于 理解 和 有 趣 。 为 了 在 学 生 遇 到 不 熟悉 或 比较 困难 的 算法 时 提供 帮助 ， 我 们 逐个 步骤 地 
描述 每 一 个 算法 。 此 外 ， 为 了 便于 大 家 理解 书 中 对 算法 的 分 析 ， 对 于 其 中 所 需 的 数学 知识 ， 我 们 


给 出 了 详细 的 解释 。 如 果 对 某 一 主题 已 经 有 所 了 解 ， 会 发 现 根 据 书 中 各 章 的 编排 顺序 ， 可 以 跳 过 
一 些 介绍 性 的 小 节 ， 直 接 阅 读 更 高 级 的 内 容 。 
本 书 是 一 本 大 部 头 著 作 ， 学 生 所 修 的 课程 可 能 只 讲授 其 中 的 一 部 分 。 我 们 试图 使 它 能 成 为 
一 本 现在 对 学 生 有 用 的 教材 ， 并 在 其 将 来 的 职业 生涯 中 ， 也 能 成 为 一 本 案头 的 数学 参考 书 或 工 
程 实践 手册 。 
阅读 本 书 需 要 哪些 预备 知识 呢 ? 
。 需要 有 一 些 程 序 设计 方面 的 经 验 ， 尤 其 需要 理解 递归 过 程 和 简单 的 数据 结构 ， 如 数组 和 
链表 。 
。 应 该 能 较为 熟练 地 利用 数学 归纳 法 进行 证 明 。 书 中 有 一 些 内 容 要 求学 生 具 备 初 等 微 积 分 
方面 的 知识 。 除 此 之 外 ， 本 书 的 第 一 部 分 和 第 八 部 分 将 介绍 需要 用 到 的 所 有 数学 技巧 。 
我 们 收 到 学 生 的 反馈 ， 他 们 强烈 希望 提供 练习 和 思考 题 的 答案 ， 为 此 ， 我 们 在 http://mit- 
press. mit. edu/ algorithms/ 这 个 网 站 上 给 出 了 少数 练习 和 思考 题 的 答案 ， 学 生 可 以 根据 我 们 的 答 
案 来 检验 自己 的 解答 。 


致使 用 本 书 的 专业 技术 人 员 


本 书 涉及 的 主题 非常 广泛 ， 因 而 是 一 本 很 好 的 算法 参考 手册 。 因 为 每 一 章 都 是 相对 独立 的 ， 
所 以 读者 可 以 重点 查阅 自己 感 兴趣 的 主题 。 

在 我 们 所 讨论 的 算法 中 ， 多 数 都 有 着 极 大 的 实用 价值 。 因 此 ， 我 们 在 书 中 涉及 了 算法 实现 方 
面 的 考虑 和 其 他 工程 方面 的 问题 。 对 于 那些 为 数 不 多 的 、 主 要 具有 理论 研究 价值 的 算法 ， 通 常 还 
给 出 其 实用 的 替代 算法 。 

如 果 希 望 实现 这 些 算 法 中 的 任何 一 个 ， 你 会 发 现 将 书 中 的 伪 代 码 翻 译 成 你 熟悉 的 某 种 程序 
设计 语言 是 一 件 相 当 直 接 的 事 。 伪 代码 被 设计 成 能 够 清晰 、 简 明 地 描述 每 一 个 算法 。 因 此 ， 我 们 
不 考虑 错误 处 理 和 其 他 需要 对 读者 所 用 编程 环境 有 特定 假设 的 软件 工程 问题 。 我 们 力求 简单 而 
直接 地 给 出 每 一 个 算法 ， 而 不 会 让 某 种 特定 程序 设计 语言 的 特殊 性 掩盖 算法 的 本 质 内 容 。 

如 果 你 是 在 课堂 外 使 用 本 书 ， 那 么 可 能 无 法 从 教师 那里 得 到 答案 来 验证 自己 的 解答 ， 因 此 ， 
我 们 在 http: //mitpress. mit. edu/algorithms/ 这 个 网 站 上 给 出 了 部 分 练习 和 思考 题 的 答案 ， 读 者 可 
以 免费 下 载 参 考 。 


致 我 们 的 同事 

我 们 在 本 书 中 给 出 了 详尽 的 参考 文献 。 每 一 章 在 结束 时 都 给 出 了 “本 章 注 记 ”， 介 绍 一 些 历 
史 性 的 细节 和 参考 文献 。 但 是 ， 各 章 的 注 记 并 没有 提供 整个 算法 领域 的 全 部 参考 文献 。 有 一 点 可 
能 是 让 人 难以 置信 的 ， 即 使 是 在 本 书 这 样 一 本 大 部 头 中 ， 由 于 篇 幅 的 原因 ， 很 多 有 趣 的 算法 都 没 
能 包括 进来 。 

尽管 学 生 们 发 来 了 大 量 的 请 求 ， 和 希望 我 们 提供 思考 题 和 练习 的 解答 ， 但 我 们 还 是 决定 基本 
上 不 提供 思考 题 和 练习 的 参考 答案 (少数 除外 )， 以 打消 学 生 们 试图 查阅 答案 ， 而 不 是 自己 动手 
得 出 管 案 的 念头 。 


第 3 版 中 所 做 的 修改 

在 本 书 的 第 2 版 和 第 3 版 之 间 有 哪些 变化 呢 ? 这 两 版 之 间 的 变化 量 和 第 2 版 与 第 1 版 之 间 的 
变化 量 相当 ， 正 如 在 第 2 版 的 前 言 中 所 说 ， 这 些 版 本 之 间 的 变化 可 以 说 不 太 大 ， 也 可 以 说 很 大 ， 
具体 要 看 读者 怎么 看 待 这 些 变化 了 。 

快速 地 浏览 一 遍 目录 ， 你 就 会 发 现 ， 第 2 版 中 的 多 数 章节 在 第 3 版 中 都 出 现 了 。 在 第 3 版 


中 ， 去 掉 了 两 章 和 一 节 的 内 容 ， 新 增加 了 三 章 以 及 两 节 的 内 容 。 如 果 单 从 目录 来 判断 第 3 版 中 改 
动 的 范围 ， 得 出 的 结论 很 可 能 是 改动 不 大 。 

我 们 依然 保持 前 两 版 的 组 织 结 构 ， 既 按照 问题 领域 又 根据 技术 来 组 织 章节 内 容 。 书 中 既 包 
含 基于 技术 的 章 ， 如 分 治 法 、 动 态 规划 、 贪 心算 法 、 摊 还 分 析 、NP 完全 性 和 近似 算法 ， 也 包含 
关于 排序 、 动 态 集 的 数据 结构 和 图 问题 算法 的 完整 部 分 。 我 们 发 现 虽 然 读者 需要 了 解 如 何 应 用 
这 些 技 术 来 设计 和 分 析 算 法 ， 但 是 思考 题 中 很 少 提示 应 用 哪个 技术 来 解决 这 些 问 题 。 

下 面 总 结 了 第 3 版 的 主要 变化 : 


网 站 


新 增 了 讨论 van Emde Boas 树 和 多 线程 算法 的 章节 ， 并 且 将 矩阵 基础 移 至 附录 。 

修订 了 递归 式 那 一 章 的 内 容 ， 更 广泛 地 才 羡 分 治 法 ， 并 且 前 两 节 介 绍 了 应 用 分 治 法 解决 两 
个 问题 。4. 2 节 介 绍 了 用 于 和 矩阵 乘法 的 Strassen 算法 ， 关 于 和 矩阵 运算 的 内 容 已 从 本 章 移 除 。 
移 除 两 章 很 少 讲授 的 内 容 ， 二 项 堆 和 排序 网 络 。 排 序 网 络 中 的 关键 思想 一 一 0-1 原理 ， 
在 本 版 的 思考 题 8-7 中 作为 比较 交换 算法 的 0-1 排序 引 理 进行 介绍 。 韭 波 那 契 堆 的 处 理 
不 再 依赖 二 项 堆 。 

修订 了 动态 规划 和 贪心 算法 相关 内 容 。 与 第 2 版 中 的 装配 线 调度 问题 相 比 ， 本 版 用 一 个 
更 有 趣 的 问题 一 一 钢 条 切割 来 引入 动态 规划 。 而 且 ， 我 们 比 在 第 2 版 中 更 强调 助 记性 ， 
并 且 引 入 子 问题 图 这 一 概念 来 前 释 动 态 规划 算法 的 运行 时 间 。 在 我 们 给 出 的 贪心 算法 例 
子 〈 活 动 选择 问题 ) 中 ， 我 们 以 更 直接 的 方式 给 出 贪心 算法 。 

我 们 从 二 又 搜索 树 (包括 红 黑 树 〉 删 除 一 个 结 点 的 方式 ， 现 在 保证 实际 所 删除 的 结 点 就 
是 请 求 删 除 的 结 点 《在 前 两 版 中 ， 有 些 情况 下 某 个 其 他 结 点 可 能 被 删除 )。 用 这 种 新 的 方 
式 删 除 结 点 ， 如 果 程 序 的 其 他 部 分 保持 指针 指向 树 中 的 结 点 ， 那 么 终止 时 就 不 会 错误 地 
将 指针 指向 已 删 去 的 结 点 。 

流 网 络 相 关 材 料 现 在 基于 边 上 的 全 部 流 。 这 种 方法 比 前 两 版 中 使 用 的 净 流 更 直观 。 

由 于 关于 和 矩阵 基础 和 Strassen 算法 的 材料 移 到 了 其 他 章 ， 和 矩阵 运算 这 一 章 的 内 容 比 第 2 
版 中 所 占 的 篇 幅 更 小 。 

修改 了 对 Knuth-Morris-Pratt 字符 串 匹 配 算法 的 讨论 。 

修正 了 上 一 版 中 的 一 些 错误 。 在 网 站 上 ， 这 些 错误 大 多 数 都 已 在 第 2 版 的 勘误 中 给 出 ， 
但 是 有 些 没 有 给 出 。 

根据 许多 读者 的 要 求 ， 我 们 改变 了 书 中 伪 代 码 的 语法 ， 现 在 用 “一 ”表示 赋值 ， 用 “ 王 一 ” 
表示 检验 相等 ， 正 如 C、C 十 十 、Java 和 Python 所 用 的 。 同 样 ， 我 们 不 再 使 用 关键 字 do 
和 then 而 是 使 用 “上 ”作为 程序 行 末尾 的 注释 符号 。 我 们 现在 还 使 用 点 标记 法 表明 对 象 
属性 。 书 中 的 伪 代 码 仍 是 过 程 化 的 ， 而 不 是 面向 对 象 的 。 换 句 话 说 ， 我 们 只 是 简单 地 调 
用 过 程 ， 将 对 象 作 为 参数 传递 ， 而 不 是 关于 对 象 的 运行 方法 。 

新 增 100 道 练 习 和 28 道 思 考题 ， 还 更 新 并 补充 了 参考 文献 。 

最 后 ， 我 们 对 书 中 的 语句 、 段 落 和 小 节 进 行 了 一 些 调 整 ， 以 使 本 书 条 理 更 清晰 。 


读者 可 以 通过 http: //mitpress. mit. edu/algorithms/ 这 个 网 站 来 获取 补充 资料 ， 以 及 与 我 们 联 
系 。 这 个 网 站 上 给 出 了 已 知 错误 的 清单 、 部 分 练习 和 思考 题 的 答案 等 。 此 外 ， 网 站 上 还 告诉 读者 
如 何 报告 错误 或 者 提出 建议 。 
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我 们 已 经 与 MIT Press 合作 20 多 年 ， 建 立 了 很 好 的 合作 关系 ! 感谢 Ellen Faran, Bob Prior, 


Ada Brunstein 和 Mary Reilly 的 帮助 和 支持 。 

在 出 版 第 3 版 时 ， 我 们 在 达 特 茅 斯 学 院 计 算 机 科学 系 、MIT 计算 机 科学 与 人 工 智 能 实验 室 、 
哥伦比亚 大 学 工业 工程 与 运筹 学 系 从 事 教 学 和 科研 工作 。 感 谢 这 些 学 校 和 同事 为 我 们 提供 的 支 
持 和 实验 环境 。 

Julie Sussman, P. P. A 担当 本 书 第 3 版 的 技术 编辑 ， 再 次 拯救 了 我 们 。 每 次 审阅 ， 我 们 都 觉 
得 已 经 消除 了 错误 ,但 是 Julie 还 是 发 现 了 许多 错误 。 她 还 帮 有 我 们 改进 了 几 处 文字 表述 。 如 果 有 
技术 编辑 名 人 党，Julie 一 定 第 一 轮 就 可 以 人 选 。Julie 是 非凡 的 ， 我 们 怎么 感谢 都 是 不 够 的 。 
Priya Natarajan 也 发 现 了 一 些 错误 ， 使 得 我 们 可 以 在 将 本 书 交 给 出 版 社 前 修正 这 些 错误 。 书 中 的 
任何 错误 〈 毫 无 疑问 ， 一定 存 在 一 些 错误 ) 都 由 作者 负责 (或许 这 些 错误 有 些 是 Julie 审阅 材料 
后 引入 的 )。 

对 于 van Emde Boas 树 的 人 处理 出 自 于 Erik Demaine 的 笔记 ， 转 而 也 受到 Michael Bender 的 影 
啊 。 此 外 ， 我 还 将 Javed Aslam, Bradley Kuszmaul 和 Hui Zha 的 思想 也 整合 到 这 一 版 。 

多 线程 算法 这 一 章 是 基于 与 Harald Prokop 一 起 撰写 的 笔记 ， 其 他 在 MIT 从 事 Cilk 项 目的 
同事 也 对 本 部 分 内 容 有 所 贡献 ， 包 括 Bradley Kuszmaul 和 Matteo Frigo。 多 线程 伪 代 码 的 设计 灵 
感 来 自 MIT Cilk 扩展 到 C, UEH Cilk Arts 的 Cilk 十 十 扩展 到 C++. | 

我 们 还 要 感谢 许多 第 1 版 和 第 2 版 的 读者 ， 他 们 报告 了 所 发 现 的 错误 ， 或 者 提出 了 改进 本 书 
的 建议 。 我 们 修正 了 全 部 报告 来 的 真实 错误 ， 并 且 尽 可 能 多 地 采纳 了 读者 的 建议 。 我 们 很 高 兴 有 
这 么 多 的 人 为 本 书 做 出 贡献 ， 但 是 很 遗憾 我 们 无 法 全 部 列 出 这 些 贡 献 者 。 

最 后 ， 非 常 感谢 我 们 各 自 的 妻子 Nicole Cormen、Wendy Leiserson, Gail Rivest 和 Rebecca 
Ivry， 还 有 我 们 的 孩子 Ricky、Will、Debby，Katie Leiserson, Alex, Christopher Rivest, LI 
Molly, Noah 和 Benjamin Stein。 感 谢 他 们 在 我 们 写作 本 书 过 程 中 给 予 的 爱 和 支持 。 正 是 由 于 有 
了 来 自家 庭 的 耐心 和 鼓励 ， 本 书 的 写作 工作 才 得 以 完成 。 廊 将 此 书 献 给 他 们 。 
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| 第 一 部 分 


Introduction to Algorithms，Third Edition 


基础 知识 





这 一 部 分 将 引导 读者 开始 思考 算法 的 设计 和 分 析 问 题 ， 简 单 介绍 算法 
的 表达 方法 、 将 在 本 书 中 用 到 的 一 些 设计 策略 ， 以 及 算法 分 析 中 用 到 的 许 
多 基本 思想 。 本 书后 面 的 内 容 都 是 建立 在 这 些 基础 知识 之 上 的 。 

第 1 章 是 对 算法 及 其 在 现代 计算 系统 中 地 位 的 一 个 综述 。 本 章 给 出 了 
算法 的 定义 和 一 些 算法 的 例子 。 此 外 ， 本 章 还 说 明了 算法 是 一 项 技术 ， 就 
像 快速 的 硬件 、 图 形 用 户 界面 、 面 向 对 象 系统 和 网 络 一 样 。 

在 第 2 章 中 ， 我 们 给 出 了 书 中 的 第 一 批 算 法 ， 它 们 解决 的 是 对 ”个 数 
进行 排序 的 问题 。 这 些 算法 是 用 一 种 伪 代 码 形式 给 出 的 ， 这 种 伪 代 码 尽 管 
不 能 直接 翻译 为 任何 常规 的 程序 设计 语言 ， 但 是 足够 清晰 地 表达 了 算法 的 
结构 ， 以 便 任 何 一 位 能 力 比 较 强 的 程序 员 都 能 用 自己 选择 的 语言 将 算法 实 
现 出 来 。 我 们 分 析 的 排序 算法 是 插入 排序 ， 它 采用 了 一 种 增 量 式 的 做 法 ; 
另外 还 分 析 了 归并 排序 ， 它 采用 了 一 种 递归 技术 ， 称 为 “分 治 法 ”。 尽 管 这 
两 种 算法 所 需 的 运行 时 间 都 随 ”的 值 而 增长 ， 但 增长 的 速度 是 不 同 的 。 我 
们 在 第 2 章 分 析 了 这 两 种 算法 的 运行 时 间 ， 并 给 出 了 一 种 有 用 的 表示 方法 
来 表达 这 些 运 行 时 间 。 

第 3 章 给 出 了 这 种 表示 法 的 准确 定义 ， 称 为 渐 近 表示 。 在 第 3 章 的 一 
开始 ， 首 先 定义 几 种 渐 近 符号 ， 它 们 主要 用 于 表示 算法 运行 时 间 的 上 界 和 
下 界 。 第 3 章 余 下 的 部 分 主要 给 出 了 一 些 数学 表示 方法 。 这 一 部 分 的 作用 
更 多 的 是 为 了 确保 读者 所 用 的 记号 能 与 本 书 的 记号 体系 相 匹配 ， 而 不 是 教 
授 新 的 数学 概念 。 

第 4 章 更 深入 地 讨论 了 第 2 章 引 入 的 分 治 法 ,给 出 了 更 多 分 治 法 的 例 
子 ， 包 括 用 于 两 方 阵 相 乘 的 Strassen 方法 。 第 4 章 包 含 了 求解 递归 式 的 方 
和 法。 递归 式 用 于 描述 递归 算法 的 运行 时 间 。 “ 主 方 法 "是 一 种 功能 很 强 的 技 
A, 通常 用 于 解决 分 治 算 法 中 出 现 的 递归 式 。 虽 然 第 4 章 中 的 相当 一 部 分 
内 容 都 是 在 证 明 主 方法 的 正确 性 ， 但 是 如 果 跳 过 这 一 部 分 证 明 内 容 ， 也 没 
有 什么 太 大 的 影响 。 


2 。 第 一 部 分 基础 知识 


第 5 章 介 绍 概率 分 析 和 随机 化 算法 。 概 率 分 析 一 般 用 于 确定 一 些 算法 的 运行 时 间 ， 在 这 些 算 
法 中 ， 由 于 同一 规模 的 不 同 输入 可 能 有 着 内 在 的 概率 分 布 ， 因 而 在 这 些 不 同 输入 之 下 ， 算 法 的 运 
行 时 间 可 能 有 所 不 同 。 在 有 些 情况 下 ， 我 们 假定 算法 的 输入 服从 某 种 已 知 的 概率 分 布 ， 于 是 ， 算 
法 的 运行 时 间 就 是 在 所 有 可 能 的 输入 之 下 ， 运 行 时 间 的 平均 值 。 在 其 他 情况 下 ， 概 率 分 布 不 是 来 
目 于 输入 ， 而 是 来 目 于 算法 执行 过 程 中 所 做 出 的 随机 选择 。 如 有 果 一 个 算法 的 行为 不 仅 由 其 输入 
决定 ， 还 要 由 一 个 随机 数 生 成 器 生成 的 值 来 决定 ， 那 么 它 就 是 一 个 随机 化 算法 。 我 们 可 以 利用 随 
机 化 算法 强行 使 算法 的 输入 服从 某 种 概率 分 布 ， 从 而 确保 不 会 有 茶 一 输入 会 始终 导致 算法 的 性 
能 变 坏 ; 或 者 ， 对 于 那些 允许 产生 不 正确 结果 的 算法 ， 甚 至 能 够 将 其 错误 率 限 制 在 某 个 范围 
之 内 。 

附录 A~D 包含 了 一 些 数学 知识 ， 它 们 对 读者 阅读 本 书 可 能 会 有 所 帮助 。 在 阅读 本 书 之 前 ， 
读者 很 有 可 能 已 经 知道 了 附录 中 给 出 的 大 部 分 知识 (我 们 采用 的 某 些 符号 约定 与 读者 过 去 见 过 的 
可 能 会 有 所 不 同 )， 因 而 可 以 将 附录 视 为 参考 材料 。 另 外 ， 你 很 可 能 从 未 见 过 第 一 部 分 中 给 出 的 

内 容 。 第 一 部 分 中 的 所 有 各 章 和 附录 都 是 以 一 种 入 门 指南 的 风格 来 编写 的 。 
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算法 在 计算 中 的 作用 


什么 是 算法 ? 为 什么 算法 值得 研究 ? 相对 于 计算 机 中 使 用 的 其 他 技术 来 说 算法 的 作用 是 什 
么 ? 本 章 我 们 将 回答 这 些 问 题 。 


1.1 算法 

非 形式 地 说 ， 算 法 (algorithm) 就 是 任何 良 定 义 的 计算 过 程 ， 该 过 程 取 某 个 值 或 值 的 集合 作为 
输入 并 产生 某 个 值 或 值 的 集合 作为 输出 。 这 样 算法 就 是 把 输入 转换 成 输出 的 计算 步骤 的 一 个 
序列 。 
我 们 也 可 以 把 算法 看 成 是 用 于 求解 良 说 明 的 计算 问题 的 工具 。 一 般 来 说 ， 问 题 陈 述说 明了 
期 望 的 输入 /输出 关系 。 算 法 则 描述 一 个 特定 的 计算 过 程 来 实现 该 输入 /输出 关系 。 

例如 ， 我 们 可 能 需要 把 一 个 数列 排 成 非 递减 序 。 实 际 上 ， 这 个 问题 经 常 出 现 ， 并 且 为 引入 许 
多 标准 的 设计 技术 和 分 析 工 具 提 供 了 足够 的 理由 。 下 面 是 我 们 关于 排序 问题 的 形式 定义 。 

输入 : nn 个 数 的 一 个 序列 《al azs ts An). 

输出 : 输入 序列 的 一 个 排列 (al az, ts an) WE aKa S a. 
例如 ， 给 定 输入 序列 (31，41，59，26，41，58)， 排 序 算法 将 返回 序列 (26，31，41，41，58， 
59) 作 为 输出 。 这 样 的 输入 序列 称 为 排序 问题 的 一 个 实例 (instance) 。 一 般 来 说 ， 问 题 实 例 由 计算 
该 问题 解 所 必需 的 (满足 问题 陈述 中 强加 的 各 种 约束 的 ) 输 入 组 成 。 

因为 许多 程序 使 用 排序 作为 一 个 中 间 步 ， 所 以 排序 是 计算 机 科学 中 的 一 个 基本 操作 。 因 此 ， 
已 有 许多 好 的 排序 算法 供 我 们 任意 使 用 。 对 于 给 定 应 用 ， 哪 个 算法 最 好 依赖 于 以 下 因素 : 将 被 排 
序 的 项 数 、 这 些 项 已 被 稍微 排序 的 程度 、 关 于 项 值 的 可 能 限制 、 计 算 机 的 体系 结构 ， 以 及 将 使 用 
的 存储 设备 的 种 类 ( 主 存 、 磁 盘 或 者 磁带 ) 。 

若 对 每 个 输入 实例 算法 都 以 正确 的 输出 停机 ， 则 称 该 算法 是 正确 的 ， 并 称 正 确 的 算法 解决 了 
给 定 的 计算 问题 。 不 正确 的 算法 对 某 些 输入 实例 可 能 根本 不 停机 ， 也 可 能 以 不 正确 的 回答 停机 。 
与 人 们 期 望 的 相反 ， 不 正确 的 算法 只 要 其 错误 率 可 控 有 时 可 能 是 有 用 的 。 在 第 31 章 ， 当 我 们 研究 
求 大 素数 算法 时 ， 将 看 到 一 个 具有 可 挖 错误 率 的 算法 例子 。 但 是 通常 我 们 只 关心 正确 的 算法 。 

算法 可 以 用 英语 说 明 ， 也 可 以 说 明成 计算 机 程序 ， 其 至 说 明成 硬件 设计 。 唯 一 的 要 求 是 这 个 
说 明 必 须 精 确 描 述 所 要 遵循 的 计算 过 程 。 

算法 解决 哪 种 问题 

排序 绝 不 是 已 开发 算法 的 唯一 计算 问题 ( 当 看 到 本 书 的 厚度 时 ， 你 可 能 觉得 算法 也 同样 多 ).。 

算法 的 实际 应 用 无 处 不 在 ， 包 括 以 下 例子 : 

。 人 类 基因 工程 已 经 取得 重大 进展 ， 其 目标 是 识别 人 类 DNA 中 的 所 有 10 万 个 基因 ， 确 定 
构成 人 类 DNA 的 30 亿 个 化 学 基 对 的 序列 ， 在 数据 库 中 存储 这 类 信息 并 为 数据 分 析 开 发 
工具 。 这 些 工作 都 需要 复杂 的 算法 。 虽 然 对 涉及 的 各 种 问题 的 求解 超出 了 本 书 的 范围 ， 
但 是 求解 这 些 生物 问题 的 许多 方法 采用 了 本 书 多 章 内 容 的 思想 ， 从 而 使 得 科学 家 能 够 有 
效 地 使 用 资源 以 完成 任务 。 因 为 可 以 从 实验 技术 中 提取 更 多 的 信息 ， 所 以 既 能 节省 人 和 
机 器 的 时 间 又 能 节省 金钱 。 

。 互联 网 使 得 全 世界 的 人 都 能 快速 地 访问 与 检索 大 量 信息 。 借 助 于 一 些 聪明 的 算法 ， 互 联 
网 上 的 网 站 能 够 管理 和 处 理 这 些 海 量 数据 。 必 须 使 用 算法 的 问题 示例 包括 为 数据 传输 寻 
找 好 的 路 由 (求解 这 些 问 题 的 技术 在 第 24 章 给 出 ) ， 使 用 一 个 搜索 引擎 来 快速 地 找到 特定 Le] 
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言 息 所 在 的 网 页 (有 关 技 术 在 第 11 章 和 第 32 章 中 ) 。 
电子 商务 使 得 货物 与 服务 能 够 以 电子 方式 洽谈 与 交换 ， 并 且 它 依赖 于 像 信 用 卡号 、 密 码 
和 银行 结 单 这 类 个 人 信息 的 保密 性 。 电 子 商务 中 使 用 的 核心 技术 包括 (第 31 章 中 包含 的 ) 
公 钥 密码 与 数字 签名 ， 它 们 以 数值 算法 和 数论 为 基础 。 
制造 业 和 其 他 商务 企业 常常 需要 按 最 有 益 的 方式 来 分 配 稀 有 资源 。 一 家 石油 公司 也 许 希 
望 知道 在 什么 地 方 设置 其 油井 ,以便 最 大 化 其 预期 的 利润 。 一 位 政治 候选 人 也 许 想 确定 
在 什么 地 方 花 钱 购买 竞选 广告 ， 以 便 最 大 化 赢得 竞选 的 机 会 。 一 家 航空 公司 也 许 希 望 按 
尽 可 能 最 廉价 的 方式 把 乘务 员 分 配 到 班机 上 ， 以 确保 每 个 航班 被 覆盖 并 且 满 足 政府 有 关 
乘务 员 调 度 的 法 规 。 一 个 互联 网 服务 提供 商 也 许 希望 确定 在 什么 地 方 放 置 附加 的 资源 ， 
以 便 更 有 效 地 服务 其 顾客 。 所 有 这 些 都 是 可 以 用 线性 规划 来 求解 的 问题 的 例子 ， 我 们 将 
在 第 29 章 学 习 这 种 技术 。 

虽然 这 些 例子 的 一 些 细节 已 超出 本 书 的 范围 ， 但 是 我 们 确实 说 明了 一 些 适 用 于 这 些 问题 和 
问题 领域 的 基本 技术 。 我 们 还 说 明 如 何 求解 许多 具体 问题 ， 包 括 以 下 问题 : 

。 给 定 一 张 交通 图 ， 上 面 标记 了 每 对 相 邻 十 字 路 口 之 间 的 距离 ， 我 们 希望 确定 从 一 个 十 
字 路 口 到 另 一 个 十 字 路 口 的 最 短 道路 。 即 使 不 允许 穿 过 自身 的 道路 ， 可 能 路 线 的 数量 
也 会 很 大 。 在 所 有 可 能 路 线 中 ， 我 们 如 何 选择 哪 一 条 是 最 短 的 ? 这 里 首先 把 交通 图 ( 它 
本 身 就 是 实际 道路 的 一 个 模型 ) 建 模 为 一 个 图 (第 六 部 分 和 附录 B 将 涉及 这 个 概念 )， 然 
后 寻找 图 中 从 一 个 顶点 到 兄 一 个 顶点 的 最 短路 径 。 第 24 章 将 介绍 如 何 有 效 地 求解 这 个 
问题 。 
给 定 两 个 有 序 的 符号 序列 X= 《x1，ZXzz，"…，Zzn) 和 Y=(yi> Yzs ts Yn?» 求 出 X #4 Y 
的 最 长 公共 子 序列 。X 的 子 序列 就 是 去 掉 一 些 元 素 ( 可 能 是 所 有 ， 也 可 能 一 个 没有 ) 后 的 
X。 例 如,，(A，B，C，D，E，F，G) 的 一 个 子 序列 是 (8B，C，E，G)。X 和 YY 的 最 长 公 
共 子 序列 的 长 度 度量 了 这 两 个 序列 的 相似 程序 。 例 如 ， 帮 两 个 序列 是 DNA 链 中 的 基 对 ， 
则 当 它 们 具有 长 的 公共 子 序列 时 我 们 认为 它们 是 相似 的 。 大 和 有 7 MES EY An 个 符 
号 ， 则 X 和 Y 分 别 有 2” 和 2 个 可 能 的 子 序列 。 除 非 mr 和 nn 很 小 ， 和 否则 选择 X 和 并 的 所 
有 可 能 子 序列 做 匹配 将 花费 使 人 望而却步 多 的 时 间 。 第 15 章 将 介绍 如 何 使 用 一 种 称 为 动 
态 规划 的 一 般 技 术 来 有 效 地 求解 这 个 问题 。 
给 定 一 个 依据 部 件 库 的 机 械 设 计 ， 其 中 每 个 部 件 可 能 包含 其 他 部 件 的 实例 ， 我 们 需要 依 
次 列 出 这 些 部 件 ， 以 使 每 个 部 件 出 现在 使 用 它 的 任何 部 件 之 前 。 奉 该 设计 由 2 个 部 件 组 
R. MEE n! 种 可 能 的 顺序 ， 其 中 n! 表示 阶乘 函数 。 因 为 阶乘 函数 甚至 比 指数 函数 增 
长 还 快 ,，( 除 非 我 们 只 有 几 个 部 件 ， 否 则 ) 先 生成 每 种 可 能 的 顺序 再 验证 按 该 顺序 每 个 部 
件 出 现在 使 用 它 的 部 件 之 前 ， 是 不 可 行 的 。 这 个 问题 是 拓扑 排序 的 一 个 实例 ， 第 22 章 将 
介绍 如 何 有 效 地 求解 这 个 问题 。 
给 定 平面 上 的 n 个 点 ,我们 希望 寻找 这 些 点 的 是 之 。 旧 完 就 是 包含 这 些 点 的 最 小 的 凸 多 
边 形 。 直 观 上 ， 我 们 可 以 把 每 个 点 看 成 由 从 一 块 木板 钉 出 的 一 颗 钉 子 来 表示 。 凸 尝 则 由 
一 根 拉 紧 的 环绕 所 有 和 钉子 的 橡皮 筋 来 表示 。 如 果 橡 皮 筋 因 绕 过 某 颗 钉子 而 转弯 ， 那 么 这 
颗 钉 子 就 是 凸 壳 的 一 个 顶点 (例子 参见 图 33-6) 。nn 个 点 的 2" 个 子 集中 的 任何 一 个 都 可 能 
是 凸 沉 的 顶点 集 。 仅 知道 哪些 点 是 凸 尝 的 顶点 还 很 不 够 ， 因 为 我 们 还 必须 知道 它们 出 现 
的 顺序 。 所 以 为 求 凸 壳 的 顶点 ， 存 在 许多 选择 。 第 33 章 将 给 出 两 种 用 于 求 凸 壳 的 好 
方法 。 

虽然 这 些 问题 的 列表 还 远 未 穷尽 (也 许 你 已 经 再 次 从 本 书 的 重量 推测 到 这 一 点 )， 但 是 它们 
却 展示 了 许多 有 趣 的 算法 问题 所 共有 的 两 个 特征 : 


第 1 章 算法 在 计算 中 的 作用 


1. 存在 许多 候选 解 ， 但 绝 大 多 数 候选 解 都 没有 解决 手头 的 问题 。 寻 找 一 个 真正 的 解 或 一 个 
最 好 的 解 可 能 是 一 个 很 大 的 挑战 。 

2. 存在 实际 应 用 。 在 上 面 所 列 的 问题 中 ， 最 短路 径 问 题 提供 了 最 易 懂 的 例子 。 一 家 运输 公 
司 ( 如 公路 运输 或 铁路 运输 公司 ) 对 如 何在 公路 或 铁路 网 中 找 出 最 短路 径 ， 有 着 经 济 方面 的 利益 ， 
因为 采用 的 路 径 越 短 ， 其 人 力 和 燃料 的 开销 就 越 低 。 互 联网 上 的 一 个 路 由 结 点 为 了 快速 地 发 送 
一 条 消息 可 能 需要 寻找 通过 网 络 的 最 短路 径 。 和 希望 从 纽约 开车 去 波士顿 的 人 可 能 想 从 一 个 恰当 
的 网 站 寻找 开车 方向 ， 或 者 开车 时 她 可 能 使 用 其 GPS, 

算法 解决 的 每 个 问题 并 不 都 有 一 个 容易 识别 的 候选 解 集 。 例 如 ， 假设 给 定 一 组 表示 信号 样 
本 的 数值 ， 我 们 想 计算 这 些 样本 的 离散 伟 里 叶 变 换 。 高 散 侍 里 叶 变 换 把 时 域 转变 为 频 域 ， 产生 一 
组 数值 系数 ， 使 得 我 们 能 够 判定 被 采样 信号 中 各 种 频率 的 强度 。 除 了 处 于 信号 处 理 的 中 心 之 外 ， 
离散 仿 里 叶 变 换 还 应 用 于 数据 压缩 和 大 多 项 式 与 整数 相 乘 。 第 30 章 为 该 问题 给 出 了 一 个 有 效 的 
算法 一 一 快速 傅 里 叶 变 换 (通常 称 为 FFRT)， 并 且 这 章 还 概述 了 计算 FFT 的 人 硬件 电路 的 设计 。 

数据 结构 

本 书 也 包含 几 种 数据 结构 。 数 据 结 构 是 一 种 人 存储 和 组 织 数据 的 方式 ， 旨 在 便于 访问 和 修改 。 
没有 一 种 单一 的 数据 结构 对 所 有 用 途 均 有 效 ， 所 以 重要 的 是 知道 几 种 数据 结构 的 优势 和 局 限 。 

技术 

虽然 可 以 把 本 书 当做 一 本 有 关 算 法 的 “ 羔 谱 ”来 使 用 ,但 是 也 许 在 某 一 天 你 会 遇 到 一 个 问题 ， 
一 时 无 法 很 快 找到 一 个 已 有 的 算法 来 解决 它 ( 例 如 本 书 中 的 许多 练习 和 思考 题 就 是 这 样 的 情况 )。 
本 书 将 教 你 一 些 算法 设计 与 分 析 的 技术 ， 以 便 你 能 自行 设计 算法 、 证 明 其 正确 性 和 理解 其 效率 。 
不 同 的 章 介绍 算法 问题 求解 的 不 同方 面 。 有些 章 处 理 特定 的 问题 例如， 第 9 章 的 求 中 位 数 和 顺 
序 统计 量 ， 第 23 章 的 计算 最 小 生成 树 ， 第 26 章 的 确定 网 络 中 的 最 大 流 。 其 他 章 介绍 一 些 技术 ， 
例如 第 4 章 的 分 治 策略 ， 第 15 章 的 动态 规划 ， 第 17 章 的 摊 还 分 析 。 

难题 

本 书 大 部 分 讨论 有 效 算 法 。 我 们 关于 效率 的 一 般 量度 是 速度 ， 即 一 个 算法 花 多 长 时 间 产 生 
结果 。 然 而 有 一 些 问题 ， 目 前 还 不 知道 有 效 的 解法 。 第 34 章 研 究 这 些 问 题 的 一 个 有 趣 的 子 集 ， 
其 中 的 问题 被 称 为 NP 完全 的 。 

为 什么 NP 完全 问题 有 趣 呢 ? 第 一 ， 虽 然 馆 今 为 止 不 曾 找到 对 一 个 NP 完全 问题 的 有 效 算 
法 ， 但 是 也 没有 人 能 证 明 NP 完全 问题 确实 不 存在 有 效 算 法 。 换 句 话说， 对 于 NP 完全 问题 ， 是 
否 存 在 有 效 算 法 是 未 知 的 。 第 二 ，NP 完全 问题 集 具 有 一 个 非凡 的 性 质 ， 如 果 任 何 一 个 NP 完全 
问题 存在 有 效 算 法 ， 那 么 所 有 NP 完全 问题 都 存在 有 效 算法 。NP 完全 问题 之 间 的 这 种 关系 使 得 
有 效 解 的 缺乏 更 加 诱 人 。 第 三 ， 有 几 个 NP 完全 问题 类 似 于 (但 又 不 完全 同 于 ) 一 些 有 着 已 知 有 效 
算法 的 问题 。 计 算 机 科学 家 迷恋 于 如 何 通 过 对 问题 陈述 的 一 个 小 小 的 改变 来 很 大 地 改变 其 已 知 
最 佳 算 法 的 效率 。 

你 应 该 了 解 NP 完全 问题 ， 因 为 有 些 NP 完全 问题 会 时 不 时 地 在 实际 应 用 中 冒 出 来 。 如 果 要 
求 你 找 出 某 一 NP 完全 问题 的 有 效 算法 ， 那 么 你 可 能 花费 许多 时 间 在 毫 无 结果 的 探寻 中 。 如 果 你 
能 证 明 这 个 问题 是 NP 完全 的 ， 那 么 你 可 以 把 时 间 花 在 开发 一 个 有 效 的 算法 ,该 算法 给 出 一 个 好 
的 解 ， 但 不 一 定 是 最 好 的 可 能 解 。 

作为 一 个 具体 的 例子 ， 考 虑 一 家 具有 一 个 中 心 仓库 的 投递 公司 。 每 天 在 中 心 仓库 为 每 辆 投 
递 车 装 货 并 发 送出 去 ， 以 将 货物 投递 到 几 个 地 址 。 每 天 结束 时 每 辆 货车 必须 最 终 回 到 仓库 ， 以 便 
准备 好 为 第 二 天 装 货 。 为 了 减少 成 本 ， 公 司 希望 选择 投递 站 的 一 个 序 ， 按 此 序 产 生 每 辆 货车 行驶 
的 最 短 总 距离 。 这 个 问题 就 是 著名 的 “旅行 商 问题 ”， 并 且 它 是 NP 完全 的 。 它 没有 已 知 的 有 效 算 
法 。 然 而 ， 在 茶 些 假设 条 件 下 ， 我 们 知道 一 些 有 效 算法 ， 它 们 给 出 一 个 离 最 小 可 能 解 不 太 远 的 总 
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BRR. 38 35 章 将 讨论 这 样 的 “近似 算法 ”。 

并 行 性 

我 们 或 许可 以 指望 处 理 器 时 钟 速度 能 以 某 个 持续 的 比率 增加 多 年 。 然 而 物理 的 限制 对 不 断 
提高 的 时 钟 速度 给 出 了 一 个 基本 的 路 障 : 因为 功率 密度 随时 钟 速度 超 线性 地 增加 ， 一 旦 时 钟 速 
度 变 得 足够 快 ， 芯 片 将 有 熔化 的 危险 。 所 以 ， 为 了 每 秒 执行 更 多 计算 ， 芯 片 被 设计 成 包含 不 止 一 
个 而 是 几 个 处 理 “ 核 >“。 我 们 可 以 把 这 些 多 核 计 算 机 比拟 为 在 单一 芯片 上 的 几 台 顺序 计算 机 ; Hea 
话说 ， 它 们 是 一 类 “并 行 计算 机 ”。 为 了 从 多 核 计算 机 获得 最 住 的 性 能 ， 设 计算 法 时 必须 考虑 并 行 
性 。 第 27 童 给 出 了 充分 利用 多 核 的 “多 线程 ”算法 的 一 个 模型 。 从 理论 的 角度 来 看 ， 该 模型 具有 
一 些 优 点 ， 它 形成 了 几 个 成 功 的 计算 机 程序 的 基础 ， 包 括 一 个 国际 象棋 博弈 程序 。 


练习 


1.1-1 给 出 现实 生活 中 需要 排序 的 一 个 例子 或 者 现实 生活 中 需要 计算 凸 充 的 一 个 例子 。 

1.1-2 除 速度 外 ， 在 真实 环境 中 还 可 能 使 用 哪些 其 他 有 关 效 率 的 量度 ? 

1.1-3 选择 一 种 你 以 前 已 知 的 数据 结构 ， 并 讨论 其 优势 和 局 限 。 

1.1-4 前 面 给 出 的 最 短路 径 与 旅行 商 问 题 有 哪些 相似 之 处 ? 又 有 哪些 不 同 ? 

1.1-5 ”提供 一 个 现实 生活 的 问题 ， 其 中 只 有 最 佳 解 才 行 。 然 后 提供 一 个 问题 ， 其 中 近似 最 佳 的 
一 个 解 也 足够 好 。 


1.2 作为 一 种 技术 的 算法 

假设 计算 机 是 无 限 快 的 并 且 计算 机 存储 器 是 免费 的 ， 你 还 有 什么 理由 来 研究 算法 吗 ? 即使 
只 是 因为 你 还 想 证 明 你 的 解法 会 终止 并 以 正确 的 答案 终止 ， 那 么 回答 也 是 肯定 的 。 

如 果 计 算 机 无 限 快 ， 那 么 用 于 求解 某 个 问题 的 任何 正确 的 方法 都 行 。 也 许 你 希望 你 的 实现 
在 好 的 软件 工程 实践 的 范围 内 (例如 ， 你 的 实现 应 该 具有 良好 的 设计 与 文档 )， 但 是 你 最 常 使 用 的 
是 最 容易 实现 的 方法 。 

当然 ， 计 算 机 也 许 是 快 的 ， 但 它们 不 是 无 限 快 。 存 储 器 也 许 是 廉价 的 ， 但 不 是 免费 的 。 所 以 
计算 时 间 是 一 种 有 限 资源 ， 存 储 器 中 的 空间 也 一 样 。 你 应 该 明智 地 使 用 这 些 资 源 ， 在 时 间或 空间 
方面 有 效 的 算法 将 帮助 你 这 样 使 用 资源 。 

效率 

为 求解 相同 问题 而 设计 的 不 同 算法 在 效率 方面 常常 具有 显著 的 差别 。 这 些 差 别 可 能 比 由 于 
硬件 和 软件 造成 的 差别 要 重要 得 多 。 

作为 一 个 例子 ， 第 2 章 将 介绍 两 个 用 于 排序 的 算法 。 第 一 个 称 为 插入 排序 ， 为 了 排序 ”个 
项 ， 该 算法 所 花 时 间 大 致 等 于 co” ， 其 中 ca 是 一 个 不 依赖 于 的 常数 。 也 就 是 说 ， 该 算法 所 花 时 
间 大 致 与 ww 成 正比 。 第 二 个 称 为 归并 排序 ， 为 了 排序 个 项 ， 该 算法 所 花 时 间 大 致 等 于 cn len, 
其 中 lgn 代表 log,n Ac, 是 男 一 个 不 依赖 于 的 常数 。 与 归并 排序 相 比 ， 插 入 排序 通常 具有 一 个 
较 小 的 常数 因子 ， 所 以 c1 二 cs 。 我 们 将 看 到 就 运行 时 间 来 说 ， 常 数 因子 可 能 远 没 有 对 输入 规模 n 
的 依赖 性 重要 。 把 插入 排序 的 运行 时 间 写 成 cn* n 并 把 归并 排序 的 运行 时 间 写 成 czn* lgn。 这 时 
就 运行 时 间 来 说 ,插入 排序 有 一 个 因子 n 的 地 方 归并 排序 有 一 个 因子 lgn， 后 者 要 小 得 多 。( 例 如 ， 
当 n=1 000 AY, len 大 致 为 10， 当 nn 等 于 100 万 时 , len 大 致 仅 为 20。) 虽 然 对 于 小 的 输入 规模 ， 插 人 
排序 通常 比 归并 排序 要 快 ， 但 是 一 旦 输入 规模 n 变 得 足够 大 ， 归 并 排序 lgn 对 的 优点 将 是 以 补偿 
常数 因子 的 差别 。 不管 a 比 e 小 多 少 ， 总 会 存在 一 个 交叉 点 ， 超 出 这 个 点 ， 归 并 排序 更 快 。 

作为 一 个 具体 的 例子 ， 我 们 让 运行 插入 排序 的 一 台 较 快 的 计算 机 (计算 机 A) 与 运行 归并 排序 
的 一 台 较 慢 的 计算 机 (计算 机 B) 竞 争 。 每 台 计 算 机 必须 排序 一 个 具有 1 000 万 个 数 的 数组 。( 虽 然 
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1000 万 个 数 似 乎 很 多 ， 但 是 ， 如 果 这 些 数 是 8 字 节 的 整数 ， 那 么 输入 将 占用 大 致 820MB， 即 使 一 
台 便宜 的 便携 式 计算 机 的 存储 器 也 能 多 次 装 信 这么 多 数 ,) 假 设计 算 机 A 每 秒 执行 百 亿 条 指令 ( 快 
于 写本 书 时 的 任何 单 台 串 行 计算 机 ) ， 而 计算 机 B 每 秒 仅 执行 1 000 万 条 指令 ， 结 果 计 算 机 A 就 
纯 计 算 能 力 来 说 比 计算 机 BR 1 000 倍 。 为 使 差别 更 具 戏 剧 性 ， 假 设 世 上 最 巧妙 的 程序 员 为 计算 
机 A 用 机 器 语言 编码 插 和 排序， 并 且 为 了 排序 ”个 数 ， 结 果 代码 需要 2 条 指令 。 进 一 步 假 设 仅 
由 一 位 水 平一 般 的 程序 员 使 用 某 种 带 有 一 个 低 效 编译 右 的 高 级 语言 来 实现 归并 排序 ， 结 果 代 码 
需要 50n lgn 条 指令 。 为 了 排序 1 000 万 个 数 ， 计 算 机 A 需要 


2。(10') 条 指令 _ N ; 


而 计算 机 B 需 要 


50+ 10’ lg107 条 指令 、 er 
i REST Bs 1163 秒 ( 少 于 20 分 钟 ) 


通过 使 用 一 个 运行 时 间 增 长 较 慢 的 算法 ， 即 使 采用 一 个 较 差 的 编译 器 ， 计 算 机 B 比 计算 机 A 还 
快 17 倍 ! 当 我 们 排序 1 亿 个 数 时 ， 归 并 排序 的 优势 甚至 更 明显 : 这 时 插入 排序 需要 23 天 多 ， 而 
归并 排序 不 超过 4 小时。 一 般 来 说 ， 随 着 问题 规模 的 增 大 ， 归 并 排序 的 相对 优势 也 会 增 大 。 

算法 与 其 他 技术 

上 面 的 例子 表明 我 们 应 该 像 计算 机 硬件 一 样 把 算法 看 成 是 一 种 技术 。 整 个 系统 的 性 能 不 但 
依赖 于 选择 快速 的 硬件 而 且 还 依赖 于 选择 有 效 的 算法 。 正 如 其 他 计算 机 技术 正在 快速 推进 一 样 ， 
算法 也 在 快速 发 展 。 

你 也 许 想 知道 相对 其 他 先进 的 计算 机 技术 (如 以 下 列 出 的 )， 算 法 对 于 当代 计算 机 是 否 真 的 
那么 重要 : 

。 先进 的 计算 机 体系 结构 与 制造 技术 

。 易于 使 用 、 直 观 的 图 形 用 户 界 面 (GUD 

© 面向 对 象 的 系统 

。 集成 的 万 维 网 技术 

。 有 线 与 无 线 网 络 的 快速 组 网 
回答 是 肯定 的 。 虽 然 某 些 应 用 在 应 用 层 不 明确 需要 算法 内 容 ( 如 某 些 简单 的 基于 万 维 网 的 应 用 )， 但 是 
许多 应 用 确实 需要 算法 内 容 。 例 如 ， 考 虑 一 种 基于 万 维 网 的 服务 ， 它 确定 如 何 从 一 个 位 置 旅行 到 另 一 
个 位 置 。 其 实现 依赖 于 快速 的 硬件 、 一 个 图 形 用 户 界 面 、 广 域 网 ， 还 可 能 依赖 于 面向 对 象 技 术 。 然 
而 ， 对 某 些 操 作 ， 如 寻找 路 线 (可 能 使 用 最 短路 径 算法 )、 描 绘 地 图 、 插 入 地 址 ， 它 还 是 需要 算法 。 

而 且 ， 即 使 是 那些 在 应 用 层 不 需要 算法 内 容 的 应 用 也 高 度 依赖 于 算法 。 该 应 用 依赖 于 快速 
的 硬件 吗 ? 硬件 设计 用 到 算法 。 该 应 用 依赖 于 图 形 用 户 界 面 吗 ? 任何 图 形 用 户 界面 的 设计 都 依赖 
于 算法 。 该 应 用 依赖 于 网 络 吗 ? 网 络 中 的 路 由 高 度 依赖 于 算法 。 该 应 用 采用 一 种 不 同 于 机 器 代码 
的 语言 来 书写 吗 ? 那么 它 被 某 个 编译 器 、 解 释 融 或 汇编 右 处 理 过 ， 所 有 这 些 都 广泛 地 使 用 算法 。 
算法 是 当代 计算 机 中 使 用 的 大 多 数 技术 的 核心 。 

进一步 ， 随 着 计算 机 能 力 的 不 断 增 强 ， 我 们 使 用 计算 机 来 求解 比 以 前 更 大 的 问题 。 正 如 我 们 
在 上 面 对 插入 排序 与 归并 排序 的 比较 中 所 看 到 的 ， 正 是 在 较 大 问题 规模 时 ,算法 之 间 效 率 的 差 
别 才 变 得 特别 显著 。 

是 否 具有 算法 知识 与 技术 的 坚实 基础 是 区 分 真正 熟练 的 程序 员 与 初学 者 的 一 个 特征 。 使 用 
现代 计算 技术 ， 如 果 你 对 算法 懂得 不 多 ， 你 也 可 以 完成 一 些 任务 ， 但 是 ， 如 果 有 一 个 好 的 算法 背 
> BAMA MNS Mo 


练习 
1.2-1 给 出 在 应 用 层 需要 算法 内 容 的 应 用 的 一 个 例子 ， 并 讨论 涉及 的 算法 的 功能 。 
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1.2-2 假设 我 们 正比 较 插 入 排序 与 归并 排序 在 相同 机 器 上 的 实现 。 对 规模 为 n 的 输入 ， 插 入 排 
序 运 行 8r 步 ， 而 归并 排序 运行 64nlgn 步 。 问 对 哪些 nn 值 ， 插 入 排序 优 于 归并 排序 ? 

1.2-3 nn 的 最 小 值 为 何 值 时 ， 运 行 时 间 为 100m 的 一 个 算法 在 相同 机 器 上 快 于 运行 时 间 为 2" 的 
另 一 个 算法 ? 


思考 题 
1-1 (运行 时 间 的 比较 ) 假设 求解 问题 的 算法 需要 fn) Se, MPR PBT RR f(n) 和 时 间 
上 ， 确 定 可 以 在 时 间 上 内 求解 的 问题 的 最 大 规模 n。 


1 秒 
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本 章 注 记 

关于 算法 的 一 般 主 题 存在 许多 优秀 的 教科 书 ， 包 插 由 以 下 作者 编写 的 那些 ; Aho. Hopcroft 
和 Ullman[5, 6], Baase 和 Van Gelder[ 28], Brassard 和 Bratley[ 54 ]，Dasgupta、Papadimitriou 
和 Vazirani[ 82 ]，Goodrich 和 Tamassia[ 148], Hofri[ 175], Horowitz, Sahni 和 Rajasekaran 
[181], Johnsonbaugh 和 Schaefer[ 193]，KingstonL205 ]，Kleinberg 和 Tardos[208], Knuth[209, 
210, 211], Kozen[ 220], Levitin[235], Manber[ 242], Mehlhornl 249, 250, 251], Purdom 和 
Brown[ 287], Reingold, Nievergelt 和 Deo[_293], Sedgewick[ 306], Sedgewick 和 Flajolet[ 307], 
Skiena[318], LAA Wilf[356], Bentley42, 43 #1 GonnetL145j 讨 论 了 算法 设计 的 一 些 更 实际 的 
方面 。 算 法 领域 的 全 面 评 述 也 可 以 在 《 Handbook of Theoretical Computer Science, Volume A) 
[342] 以 及 CRC HARA Algorithms and Theory of Computation Handbook》L25j] 中 找到。 计算 生物 
学 中 使 用 的 算法 的 概述 可 以 在 由 Gusfield[156], PevznerL275], Setubal 和 Meidanis[ 310] 以 及 
Waterman[ 350j 编 写 的 教材 中 找到 。 


| 第 2 章 


Introduction to Algorithms, Third Edition 
» 
算法 基础 


本 章 将 要 介绍 一 个 贯穿 本 书 的 框架 ， 后 续 的 算法 设计 与 分 析 都 是 在 这 个 框架 中 进行 的 。 这 
一 部 分 内 容 基 本 上 是 独立 的 ， 但 也 有 对 第 3 章 和 第 4 章 中 一 些 内 容 的 引用 (本 章 也 包含 几 个 求 和 
的 式 子 ， 附 录 A 将 给 出 如 何 求 和 )。 

首先 ， 我 们 考察 求解 第 1 章 中 引入 的 排序 问题 的 插入 排序 算法 。 我 们 定义 一 种 对 于 已 经 编写 
过 计算 机 程序 的 读者 来 说 应 该 熟悉 的 “ 伪 代 码 ”， 并 用 它 来 表明 我 们 将 如 何 说 明 算法 。 然 后 ， 在 说 
明了 插入 排序 算法 后 ， 我 们 将 证 明 该 算法 能 正确 地 排序 并 分 析 其 运行 时 间 。 这 种 分 析 引 入 了 一 
种 记号 ， 该 记号 关注 时 间 如 何 随 着 将 被 排序 的 项 数 而 增加 。 在 讨论 完 插入 排序 之 后 ， 我 们 引入 用 
于 算法 设计 的 分 治 法 并 使 用 这 种 方法 开发 一 个 称 为 归并 排序 的 算法 。 最 后 ， 我 们 分 析 归 并 排序 
的 运行 时 间 。 


2. 1 插入 排序 


我 们 的 第 一 个 算法 (插入 排序 ) 求 解 第 1 章 中 引入 的 排序 问题 : 

输入 : n 个 数 的 一 个 序列 (ai 9 A29 °°*s An? o 

输出 : 输入 序列 的 一 个 排列 (ax azs s an)o WE aKa SKa, o 

我 们 希望 排序 的 数 也 称 为 关键 词 。 虽 然 概念 上 我 们 在 排序 一 个 序列 ， 但 是 输入 是 以 =” 个 元 素 
的 数组 的 形式 出 现 的 。 

本 书 中 ， 我 们 通常 将 算法 描述 为 用 一 种 伪 代 码 书写 的 程序 ， 该 伪 代 码 在 许多 方面 类 似 于 C, 
C++, Java, Python 或 Pascal。 如 果 你 学 过 这 些 语言 中 的 任何 一 种 ， 那 么 在 阅读 我 们 的 算法 时 
应 该 没有 困难 。 伪 代码 与 真 码 的 区 别 在 于 ， 在 伪 代 码 中 ， 我 们 使 用 最 清晰 、 最 简洁 的 表示 方法 来 
说 明 给 定 的 算法 。 有 时 最 清晰 的 表示 方法 是 英语 ， 所 以 如 果 你 遇 到 一 个 英文 短语 或 句子 般 入 在 
一 段 真 码 中 就 不 要 吃惊 。 伪 代码 与 真 码 的 另 一 个 区 别 是 伪 代 码 通常 不 关心 软件 工程 的 问题 。 为 
了 更 简洁 地 表达 算法 的 本 质 ， 常 常 忽略 数据 抽象 、 模 块 性 和 错误 处 理 的 问题 。 

我 们 首先 介绍 插入 排序 ， 对 于 少量 元 素 的 排序 ， 它 是 一 个 有 效 的 算法 。 插 入 排序 的 工作 方式 
像 许 多 人 排序 一 手 扑 克 牌 。 开 始 时 ， 我 们 的 左手 为 空 并 且 桌 子 上 的 牌 面向 下 。 然 后 ， 我 们 每 次 从 
桌子 上 拿 走 一 张 牌 并 将 它 插 入 左手 中 正确 的 位 置 。 
为 了 找到 一 张 牌 的 正确 位 置 ， 我 们 从 右 到 左 将 它 与 
已 在 手中 的 每 张 牌 进行 比较 ， 如 图 2-1 所 示 。 拿 在 
左手 上 的 牌 总 是 排序 好 的 ， 原 来 这 些 牌 是 桌子 上 牌 
堆 中 顶部 的 牌 。 

对 于 插入 排序 ， 我 们 将 其 伪 代 码 过 程 命名 为 
INSERTION-SORT， 其 中 的 参数 是 一 个 数组 ALL . n], 
包含 长 度 为 n 的 要 排序 的 一 个 序列 。( 在 代码 中 ，A 
中 元 素 的 数目 n HA. length 来 表示 ,。) 该 算法 原址 排 
序 输入 的 数 : 算法 在 数组 A 中 重 排 这 些 数 ， 在 任何 
时 候 ， 最 多 只 有 其 中 的 常数 个 数字 存储 在 数组 外 | 
面 。 在 过 程 INSERTION-SORT 结束 时 ， 输 入 数组 | 
A 包含 排序 好 的 输出 序列 。 图 2-1 使 用 插入 排序 来 排序 手中 扑克 牌 








16 | 


17 | 
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INSERTION-SORT(A) 
1 forj = 2 to A. length 
2 key = A[;] 
// Insert A[j into the sorted sequence A[1..j — 1). 
;一 7 一 1 
while i > 0 and A[i] > key 

Ali+1] = Ali] 

z 一 1 一 ] 
Ali + 1] = key 

循环 不 变 式 与 插入 排序 的 正确 性 

图 2-2 表明 对 A 二 (45，2，4，6，1，3) 该 算法 如 何 工作 。 下 标 j; 指出 正 被 插入 到 手中 的 “当前 
牌 "。 在 for 循环 (循环 变量 为 站 的 每 次 迭代 的 开始 ， 包 含 元 素 AL1. .7 一 菇 的 子 数组 构成 了 当前 
排序 好 的 左手 中 的 牌 ， 剩余 的 子 数组 A[j 十 1..n] 对 应 于 仍 在 桌子 上 的 牌 堆 。 事 实 上 ,元素 
ALL. .7 一 1j 就 是 原来 在 位 置 1 到 ;一 1 的 元 素 ， 但 现在 已 按 序 排列 。 我 们 把 AL1. .7 一 菇 的 这 些 性 
质 形 式 地 表示 为 一 个 循环 不 变 式 : 

在 第 1 一 8 行 的 for 循环 的 每 次 迭代 开始 时 ， 子 数组 AL1..j 一 1j] 由 原来 在 AL1..7 一 1 
中 的 元 素 组 成 ， 但 已 按 序 排 列 。 


co N QO cn A œ 





图 2-2 ”在 数组 A=(5, 2, 4, 6, 1, 3)Ł INSERTION-SORT 的 操作 。 数 组 下 标 出 现在 长 方形 
的 上 方 ， 数 组 位 置 中 存储 的 值 出 现在 长 方形 中 。(a) 一 (e) 第 1~8 FF for 循环 的 迭代 。 每 
次 迭代 中 ， 黑 色 的 长 方形 保存 取 自 AL 的 关键 字 ， 在 第 5 行 的 测试 中 将 它 与 其 左边 的 加 
阴影 的 长 方形 中 的 值 进行 比较 。 加 阴影 的 箭头 指出 数组 值 在 第 6 行 向 右 移动 一 个 位 置 ， 
黑色 的 箭头 指出 在 第 8 行 关键 字 被 移 到 的 地 方 。(f) 最 终 排序 好 的 数组 


循环 不 变 式 主要 用 来 帮助 我 们 理解 算法 的 正确 性 。 关 于 循环 不 变 式 ， 我 们 必须 证 明 三 条 
性 质 : 
初始 化 : 循环 的 第 一 次 迭代 之 前 ， 它 为 真 。 
保持 : 如 果 循 环 的 某 次 迭代 之 前 它 为 真 ， 那 么 下 次 迭代 之 前 它 仍 为 真 。 
终止 : 在 循环 终止 时 ， 不 变 式 为 我 们 提供 一 个 有 用 的 性 质 ， 该 性 质 有 助 于 证 明 算 法 是 正 
确 的 。 

当前 两 条 性 质 成 立时 ， 在 循环 的 每 次 迭代 之 前 循环 不 变 式 为 真 。( 当 然 ， 为 了 证 明 循 环 不 变 
式 在 每 次 迭代 之 前 保持 为 真 ， 我 们 完全 可 以 使 用 不 同 于 循环 不 变 式 本 身 的 其 他 已 证 实 的 事实 ,) 
注意 ， 这 类 似 于 数学 归纳 法 ， 其 中 为 了 证 明 某 条 性 质 成 立 ， 需 要 证 明 一 个 基本 情况 和 一 个 归纳 
步 。 这 里 ， 证 明 第 一 次 迭代 之 前 不 变 式 成 立 对 应 于 基本 情况 ， 证 明 从 一 次 迭代 到 下 一 次 迭代 不 变 
式 成 立 对 应 于 归纳 步 。 

第 三 条 性 质 也 许 是 最 重要 的 ， 因 为 我 们 将 使 用 循环 不 变 式 来 证 明正 确 性 。 通 常 ， 我 们 和 导致 
循环 终止 的 条 件 一 起 使 用 循环 不 变 式 。 终 止 性 不 同 于 我 们 通常 使 用 数学 归纳 法 的 做 法 ， 在 归纳 
法 中 ， 归 纳 步 是 无 限 地 使 用 的 ， 这 里 当 循 环 终止 时 ,停止 “归纳 ”。 

让 我 们 看 看 对 于 插入 排序 ， 如 何 证 明 这 些 性 质 成 立 。 
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初始 化 ， 首先 证 明 在 第 一 次 循环 迭代 之 前 ( 当 j= 二 2 时 )， 循 环 不 变 式 成 立 9 。 所 以 子 数组 
A[1..j 一 1j 仅 由 单个 元 素 AL1j] 组 成 ,实际 上 就 是 A[1j] 中 原来 的 元 素 。 而 且 该 子 数组 是 排序 好 的 
(当然 很 平凡 ) 。 这 表明 第 一 次 循环 迭代 之 前 循环 不 变 式 成 立 。 

保持 : 其 次 处 理 第 二 条 性 质 : 证 明 每 次 迭代 保持 循环 不 变 式 。 非 形式 化 地 ，for 循环 体 的 第 
4~7 行 将 A[j 一 1]、A[j 一 2]、A[j 一 3] 等 向 右 移动 一 个 位 置 ， 直 到 找到 A[j] 的 适当 位 置 , 第 8 
行将 A[D7] 的 值 插入 该 位 置 。 这 时 子 数组 A[L1..;j 由 原来 在 AL1. .jj 中 的 元 素 组 成 ,但 已 按 序 排 
列 。 那 么 对 for 御 环 的 下 一 次 迭代 增加 j 将 保持 循环 不 变 式 。 

第 二 条 性 质 的 一 种 更 形式 化 的 处 理 要 求 我 们 对 第 5 一 7 ÍTR while 循环 给 出 并 证 明 一 个 循环 不 
变 式 。 然 而 ， 这 里 我 们 不 愿 陷入 形式 主义 的 困境 ， 而 是 依赖 以 上 非 形 式 化 的 分 析 来 证 明 第 二 条 性 
质 对 外 层 循环 成 立 。 

终止 : 最 后 研究 在 循环 终止 时 发 生 了 什么 。 导 致 for 循环 终止 的 条 件 是 J>A. length=n,. A 
HEUER 7 增加 1， 那 么 上 必 有 7 一 * 十 1。 在 循环 不 变 式 的 表述 中 将 7 用 ”十 1 代替， 我 们 有 : 
子 数组 AL1. .nj 由 原来 在 AL1. .zj 中 的 元 素 组 成 ， 但 已 按 序 排列 。 注 意 到 ， 子 数组 AL1. .nj 就 是 整 
个 数组 ， 我 们 推断 出 整个 数组 已 排序 。 因 此 算法 正确 。 

在 本 章 后 面 以 及 其 他 章 中 ， 我 们 将 采用 这 种 循环 不 变 式 的 方法 来 证 明 算 法 的 正确 性 。 

伪 代 码 中 的 一 些 约 定 

我 们 在 伪 代 码 中 采用 以 下 约定 : 

缩 进 表 示 块 结构 。 例 如 ， 第 1 行 开始 的 for 循环 体 由 第 2 一 8 行 组 成 ， 第 5 行 开始 的 while 
循环 体 包含 第 6 一 7 行 但 不 包含 第 8 行 。 我 们 的 缩 进 风格 也 适用 于 if-else 语句 。 采 用 缩 
进来 代替 常规 的 块 结 构 标 志 ， 如 begin 和 end 语句 ， 可 以 大 大 提高 代码 的 清晰 性 。 

while, for 与 repeat-until 等 循环 结构 以 及 if-else 等 条 件 结构 与 C、C 十 十 、Java、Python 
和 Pascal 中 的 那些 结构 具有 类 似 的 解释 2 。 不 像 某 些 出 现 于 CH, Java 和 Pascal 中 的 情 
况 ， 本 书 中 在 退出 循环 后 ， 循 环 计数 器 保持 其 值 。 因 此 ， 紧 接 在 一 个 for 循环 后 ， 循 环 
计数 器 的 值 就 是 第 一 个 超出 for 循环 界限 的 那个 值 。 在 证 明 插 入 排序 的 正确 性 时 ， 我 们 
使 用 了 该 性 质 。 第 1 行 的 for 循环 头 为 for j=2 to A. length， 所 以 ， 当 该 循环 终止 时 ， 
j=A. length+1 RB Sti, j=nt1, AA n=A. Length)。 当 一 个 for 循环 每 次 迭代 增 
加 其 循环 计数 器 时 ， 我 们 使 用 关键 词 to。 当 一 个 for 循环 每 次 迭代 减少 其 循环 计数 器 时 ， 
我 们 使 用 关键 词 downto。 当 循环 计数 器 以 大 于 1 的 一 个 量 改 变 时 ， 该 改变 量 跟 在 可 选 关 
键 词 by 之 后 。 

符号 ”人 ?表示 该 行 后 面部 分 是 个 注释 。 

形 如 ;一 /一 e 的 多 重 赋值 将 表达 式 e 的 值 赋 给 变量 i Mj; 它 应 被 处 理 成 等 价 于 赋值 7 一 e 
后 跟着 赋值 ;一 7 。 

。 Ei j 和 A&ey) 是 局 部 于 给 定 过 程 的 。 若 无 显 式 说 明 ， 我 们 不 使 用 全 局 变量 。 
数组 元 素 通过 “数组 名 [下 标 ]j?” 这 样 的 形式 来 访问 。 例 如 ，ALz] 表 示 数 组 A 的 第 ; 个 元 素 。 
记号 “.. ”用 于 表示 数组 中 值 的 一 个 范围 ， 这 样 ，AL1. .jj 表示 A 的 一 个 子 数组 ， 它 包含 j 
个 元 素 AL1j， A[2], a Alj. 


O take for 循环 时 ， 在 第 一 次 迭代 开始 之 前 ， 我 们 将 检查 循环 不 变 式 的 时 刻 是 在 对 循环 计数 变量 的 初始 赋值 
后 、 在 循环 头 的 第 一 次 测试 之 前 。 对 INSERTION-SORT， 这 个 时 刻 就 是 把 2 赋 给 变量 7 之 后 但 在 第 一 次 测试 
ISA. length 是 否 成 立 之 前 。 

© 在 论 else 语 句 中 ， 我 们 缩 进 else 到 其 匹配 的 让 相 同 的 层次 。 虽 然 省 略 了 关键 词 then， 但 是 我 们 偶尔 把 紧 跟 站 的 测 
试 为 真 时 执行 的 部 分 称 为 一 个 then 子 名 。 对 于 多 路 测试 ， 在 第 一 个 测试 之 后 ， 使 用 elseif 来 测试 。 

© 大 多 数 块 结 构 化 语言 虽然 其 准确 句法 也 许 不 同 ， 但 却 具 有 等 价 的 结构 。Python 缺乏 repeat-until 循环 并 且 其 for 
循环 操作 与 本 书 中 的 for 循环 有 些 不 同 。 


12 


练习 
2.1-1 


2. 1-2 
2. 1-3 


2. 1-4 


第 一 部 分 基础 知识 


复合 数据 通常 被 组 织 成 对 象 ， 对 象 又 由 属性 组 成 。 我 们 使 用 许多 面向 对 象 编程 语言 中 创 
建 的 句法 来 访问 特定 的 属性 :对象 名 后 跟 一 个 点 再 跟 属 性 名 。 例 如 ， 数 组 可 以 看 成 是 一 
个 对 象 ， 它 具有 属性 length， 表 示 数 组 包含 多 少 元 素 ， 如 A. length 就 表示 数组 A 中 的 元 
素数 目 。 

我 们 把 表示 一 个 数组 或 对 象 的 变量 看 做 指向 表示 数组 或 对 象 的 数据 的 一 个 指针 。 对 于 
某 个 对 象 z 的 所 有 属性 f， 赋 值 y= 二 xz 导致 y f 等 于 x. fo ÉH, EWER x. f=3, W 
赋值 后 不 但 r. f 等 于 3， 而 且 y f 也 等 于 3。 换 句 话 说 ， 在 赋值 y= 二 zx 后 ，x 和 y 指向 相 
同 的 对 象 。 

我 们 的 属性 记号 可 以 “串联 ”。 例 如 ， 假 设 属性 f 本 身 是 指向 某 种 类 型 的 具有 属性 g 
的 对 象 的 一 个 指针 。 那 么 记号 zx. f. g RESINS Re 了).g。 换 句 话 说 ， 如 果 已 经 
赋值 y= 二 x. f, IA z. f. g 与 y.g 相同 。 

有 时 ， 一 个 指针 根本 不 指向 任何 对 象 。 这 时 ， 我 们 赋 给 它 特殊 值 NIL。 

我 们 按 值 把 参数 传递 给 过 程 : 被 调用 过 程 接收 其 参数 自身 的 副本 。 如 果 它 对 某 个 参数 赋 
值 ， 调 用 过 程 看 不 到 这 种 改变 。 当 对 象 被 传递 时 ， 指 向 表示 对 象 数 据 的 指针 被 复制 ， 而 
对 象 的 属性 却 未 被 复制 。 例 如 ， 如 果 z 是 某 个 被 调用 过 程 的 参数 ， 在 被 调用 过 程 中 的 赋 
值 c=y 对 调用 过 程 是 不 可 见 的 。 然 而 ， 赋 值 x. =3 却 是 可 见 的 。 类 似 地 ， 数 组 通过 指 
针 来 传递 ， 结 果 指 向 数组 的 一 个 指针 被 传递 ， 而 不 是 整个 数组 ， 单 个 数组 元 素 的 改变 对 
调用 过 程 是 可 见 的 。 

一 个 return 语句 立即 将 控制 返回 到 调用 过 程 的 调用 点 。 大 多 数 return 语句 也 将 一 个 值 传 
递 回调 用 者 。 我 们 的 伪 代 码 与 许多 编程 语言 不 同 ， 因 为 我 们 允许 在 单一 的 retum 语句 中 
返回 多 个 值 。 

布尔 运算 符 “and” 和 “or” 都 是 短路 的 。 也 就 是 说 ， 当 求 值 表达 式 “x and y” 时 ， 首 先 求 值 
x. WÈ Z 求 值 为 FALSE， 那 么 整个 表达 式 不 可 能 求 值 为 TRUE， 所 以 不 再 求 值 y。 男 
外 ， 如 果 工 求 值 为 TRUE， 那么 就 必须 求 值 y 以 确定 整个 表达 式 的 值 。 类 似 地 ， 对 表达 
“x or y”, 1124 x REA FALSE 时 ， 才 求 值 表达 式 y。 短 路 的 运算 符 使 我 们 能 书写 像 
“ANIL and x. f= 二 y” 这 样 的 布尔 表达 式 ， 而 不 必 担 心 当 zz 为 NIL 时 我 们 试图 求 值 x. f 
将 会 发 生 什么 情况 。 

关键 词 error 表示 因为 已 被 调用 的 过 程 情况 不 对 而 出 现 了 一 个 错误 。 调 用 过 程 负责 处 理 该 
错误 ， 所 以 我 们 不 用 说 明 将 采取 什么 行动 。 


以 图 2-2 为 模型 ， 说 明 INSERTION-SORT 在 数组 A= 二 (31，41，59，26，41，58) 上 的 执 
行 过程 。 

重 写 过程 INSERTION-SORT， 使 之 按 非 升序 (而 不 是 非 降 序 ) 排 序 。 

考虑 以 下 查找 问题 : 

输入 : nn 个 数 的 一 个 序列 A 二 《ql ，as，…，a;) 和 一 个 值 v。 

输出 : FER i 使 得 v= 二 A[Lij 或 者 当 wv 不 在 A 中 出 现时 ，w 为 特殊 值 NIL, 

写 出 线性 查找 的 伪 代 码 ， 它 扫描 整个 序列 来 查找 vw。 使 用 一 个 循环 不 变 式 来 证 明 你 的 算法 
是 正确 的 。 确 保 你 的 循环 不 变 式 满足 三 条 必要 的 性 质 。 

考虑 把 两 个 位 二 进 制 整 数 加 起 来 的 问题 ， 这 两 个 整数 分 别 存 储 在 两 个 元 数组 A 和 8B 
中 。 这 两 个 整数 的 和 应 按 二 进 制 形式 存储 在 一 个 (n 十 1) 元 数组 C 中 。 请 给 出 该 问题 的 形 
式 化 描述 ， 并 写 出 伪 代 码 。 
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2.2 分 析 算 法 

分 析 算 法 的 结果 意味 着 预测 算法 需要 的 资源 。 虽 然 有 时 我 们 主要 关心 像 内 存 、 通 信和 带宽 或 
计算 机 硬件 这 类 资源 ， 但 是 通常 我 们 想 度 量 的 是 计算 时 间 。 一 般 来 说 ， 通 过 分 析 求 解 某 个 问题 的 
几 种 候选 算法 ， 我们 可 以 选 出 一 种 最 有 效 的 算法 。 这 种 分 析 可 能 指出 不 止 一 个 可 行 的 候选 算法 ， 
但 是 在 这 个 过 程 中 ,我们 往往 可 以 抛弃 几 个 较 差 的 算法 。 

在 能 够 分 析 一 个 算法 之 前 ， 我 们 必须 有 一 个 要 使 用 的 实现 技术 的 模型 ， 包 括 描述 所 用 资源 
及 其 代价 的 模型 。 对 本 书 的 大 多 数 章 节 ， 我 们 假定 一 种 通用 的 单 处 理 器 计算 模型 一 一 随机 访问 
机 (randomr-access machine，RAMD) 来 作为 我 们 的 实现 技术 ， 算 法 可 以 用 计算 机 程序 来 实现 。 在 
RAM 模型 中 ， 指 令 一 条 接 一 条 地 执行 ， 没 有 并 发 操作 。 

严格 地 说 ， 我 们 应 该 精确 地 定义 RAM 模型 的 指令 及 其 代价 。 然 而 ， 这 样 做 既 乏 味 又 对 算法 
的 设计 与 分 析 没 有 多 大 意义 。 我 们 还 要 注意 不 能 滥用 RAM 模型 。 例 如 ， 如 果 一 台 RAM 有 一 条 
排序 指令 ， 会 怎样 呢 ? 这 时 ， 我 们 只 用 一 条 指令 就 能 排序 。 这 样 的 RAM 是 不 现实 的 ， 因 为 真实 
的 计算 机 并 没有 这 样 的 指令 。 所 以 ， 我 们 的 指导 性 意见 是 真实 计算 机 如 何 设 计 ，RAM 就 如 何 设 
计 。RAM 模型 包含 真实 计算 机 中 常见 的 指令 : 算术 指令 (如 加 法 、 减 法 、 乘 法 、 除 法 、 取 余 、 
向 下 取 整 、 向 上 取 整 ) 、 数 据 移 动 指 令 ( 装 人 人、 存储、 复制 ) 和 控制 指令 (条 件 与 无 条 件 转移 、 子 程 
序 调用 与 返回 ) 。 每 条 这 样 的 指令 所 需 时 间 都 为 常量 。 

RAM 模型 中 的 数据 类 型 有 整数 型 和 浮 点 实数 型 。 虽 然 在 本 书 中 ， 我 们 一 般 不 关心 精度 ， 但 
是 在 某 些 应 用 中 ， 精 度 是 至 关 重 要 的 。 我 们 还 对 每 个 数据 字 的 规模 假定 一 个 范围 。 例 如 ， 当 处 理 
规模 为 n 的 输入 时 ， 我 们 一 般 假定 对 某 个 大 于 等 于 1 的 常量 c， 整 数 由 clen 位 来 表示 。 我 们 要 求 
c 大 于 等 于 1， 这 样 每 个 字 都 可 以 保存 的 值 ， 从 而 使 我 们 能 索引 单个 输入 元 素 。 我 们 限制 c 为 
常量 ， 这 样 字 长 就 不 会 任意 增长 。( 如 果 字 长 可 以 任意 增长 ， 我 们 就 能 在 一 个 字 中 存储 巨 量 的 数 
据 ， 并 且 其 上 的 操作 都 在 常量 时 间 内 进行 ， 这 种 情况 显然 不 现实 。) 

真实 的 计算 机 包含 一 些 上 面 未 列 出 的 指令 ， 这 些 指令 代表 了 RAM 模型 中 的 一 个 灰色 区 域 。 
例如 ， 指 数 运算 是 一 条 常量 时 间 的 指令 吗 ? 一 般 情况 下 不 是 ; 当 xz 和 y 都 是 实数 时 ,计算 之 需 
要 若干 条 指令 。 然 而 ， 在 受 限 情况 下 ， 指 数 运算 又 是 一 个 常量 时 间 的 操作 。 许 多 计算 机 都 有 “ 左 
移 ? 指 令 ， 它 在 常量 时 间 内 将 一 个 整数 的 各 位 向 左 移 & 位 。 在 大 多 数 计算 机 中 ， 将 一 个 整数 的 各 
位 向 左 移 一 位 等 价 于 将 该 整数 乘 以 2， 结 果 将 一 个 整数 的 各 位 向 左 移 & 位 等 价 于 将 该 整数 乘 以 
2。 所 以 ， 只 要 不 大 于 一 个 计算 机 字 中 的 位 数 ， 这 样 的 计算 机 就 可 以 由 一 条 常量 时 间 的 指令 来 
计算 2 ， 即 将 整数 1 向 左 移 & 位 。 我 们 尽量 避免 RAM 模型 中 这 样 的 灰色 区 域 , 但 是 ， 当 上 是 一 
个 足够 小 的 正 整数 时 ， 我 们 将 把 2 的 计算 看 成 一 个 常量 时 间 的 操作 。 

在 RAM 模型 中 ,我 们 并 不 试图 对 当代 计算 机 中 常见 的 内 存 层次 进行 建 模 。 也 就 是 说 ， 我 们 
没有 对 高 速 缓存 和 虚拟 内 存 进行 建 模 。 几 种 计算 模型 试图 解释 内 存 层次 的 影响 ， 对 真实 计算 机 
上 运行 的 真实 程序 ， 这 种 影响 有 时 是 重大 的 。 本 书 中 的 一 些 问题 考查 了 内 存 层次 的 影响 ,但 是 本 
书 的 大 部 分 分 析 将 不 考虑 这 些 影响 。 与 RAM 模型 相 比 ， 包 含 内 存 层次 的 模型 要 复杂 得 多 ， 所 以 
可 能 难于 使 用 。 此 外 ，RAM 模型 分 析 通 常 能 够 很 好 地 预测 实际 计算 机 上 的 性 能 。 

采用 RAM 模型 即使 分 析 一 个 简单 的 算法 也 可 能 是 一 个 挑战 。 需 要 的 数学 工具 可 能 包括 组 合 
学 、 概 率 论 、 代 数 技巧 ， 以 及 识别 一 个 公式 中 最 有 意义 的 项 的 能 力 。 因 为 对 每 个 可 能 的 输入 ， 算 
法 的 行为 可 能 不 同 ， 所 以 我 们 需要 一 种 方法 来 以 简单 的 、 易 于 理解 的 公式 的 形式 总 结 那样 的 行为 。 

即使 我 们 通常 只 选择 一 种 机 器 模型 来 分 析 某 个 给 定 的 算法 ， 在 决定 如 何 表 达 我 们 的 分 析 时 
仍然 面临 许多 选择 。 我 们 想 要 一 种 表示 方法 ， 它 的 书写 和 处 理 都 比较 简单 ， 并 能 够 表明 算法 资源 
需求 的 重要 特征 ， 同 时 能 够 抑制 乏味 的 细节 。 
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插入 排序 算法 的 分 析 

过 程 INSERTION-SORT 需要 的 时 间 依 赖 于 输入 排序 1 000 个 数 比 排序 三 个 数 需要 更 长 的 
时 间 。 此 外 ， 依 据 它 们 已 被 排序 的 程度 ，INSERTION-SORT 可 能 需要 不 同 数量 的 时 间 来 排序 两 
个 具有 相同 规模 的 输入 序列 。 一 般 来 说 ， 算 法 需要 的 时 间 与 输入 的 规模 同步 增长 ， 所 以 通常 把 一 
个 程序 的 运行 时 间 描 述 成 其 输入 规模 的 函数 。 为 此 ， 我 们 必须 更 仔细 地 定义 术语 “运行 时 间 ” 和 

“输入 规模 ”。 

输入 规模 的 最 佳 概 念 依 赖 于 研究 的 问题 。 对 许多 问题 ， 如 排序 或 计算 离散 传 里 叶 变 换 ， 最 自 
然 的 量度 是 输入 中 的 项 数 ， 例 如 ， 待 排序 数组 的 规模 n。 对 其 他 许多 问题 ， 如 两 个 整数 相 乘 ， 输 
人 规模 的 最 佳 量度 是 用 通常 的 二 进 制 记号 表示 输入 所 需 的 总 位 数 。 有 了 时， 用 两 个 数 而 不 是 一 个 
数 来 描述 输入 规模 可 能 更 合适 。 例 如 ， 若 某 个 算法 的 输入 是 一 个 图 ， 则 输入 规模 可 以 用 该 图 中 的 
顶点 数 和 边 数 来 描述 。 对 于 研究 的 每 个 问题 ， 我 们 将 指出 所 使 用 的 输入 规模 量度 。 

一 个 算法 在 特定 输入 上 的 运行 时 间 是 指 执行 的 基本 操作 数 或 步 数 。 定 义 “ 步 ”的 概念 以 便 尽 
量 独 立 于 机 器 是 方便 的 。 目 前 ， 让 我 们 采纳 以 下 观点 ， 执 行 每 行 伪 代 码 需 要 常量 时 间 。 虽 然 一 行 
与 另 一 行 可 能 需要 不 同 数量 的 时 间 ， 但 是 我 们 假定 第 i 行 的 每 次 执行 需要 时 间 c;， 其 中 c; 是 一 个 
常量 。 这 个 观点 与 RAM 模型 是 一 致 的 ， 并 且 也 反映 了 伪 代 码 在 大 多 数 真 实 计 算 机 上 如 何 实现 8 。 

在 下 面 的 讨论 中 ， 我 们 由 繁 到 简 地 改进 INSERTION-SORT 运行 时 间 的 表达 式 ， 最 初 的 公式 
使 用 所 有 语句 代价 c;， 而 最 终 的 记号 则 更 加 简明 、 更 容易 处 理 ， 简 单 得 多 。 这 种 较 简单 的 记号 比 
较 易 于 用 来 判定 一 个 算法 是 否 比 男 一 个 更 有 效 。 

我 们 首先 给 出 过 程 INSERTION-SORT 中 ， 每 条 语句 的 执行 时 间 和 执行 次 数 。 对 7 三 2， 
3，…，7， 其 中 n=A. length, {Riz t; 表示 对 那个 值 7 第 5 行 执行 while 循环 测试 的 次 数 。 当 一 个 
for 或 while 循环 按 通常 的 方式 ( 即 由 于 循环 头 中 的 测试 ) 退 出 时 ， 执 行 测试 的 次 数 比 执行 循环 体 

的 次 数 多 1。 我 们 假定 注释 是 不 可 执行 的 语句 ， 所 以 它们 不 需要 时 间 。 


INSERTION-SORT(A) 代价 KA 

1 forj = 2 to A. length Cy n 

2 key = Aly] C2 n— | 

3 // Insert A[7 into the sorted sequence A[1..j — 1]. 0 n—1 

4 i=j-1]1 C4 7 一】 

5 while i > 0 and Ali] > key Cs Dt 
jae 

6 A[i+1] = ALi] Cs Sa—-D 
j=2 

7 i=i-] cy > GC— 1) 
j=2 

8 AL 十 1] = key Cg n=] 


该 算法 的 运行 时 间 是 执行 每 条 语句 的 运行 时 间 之 和 。 需 要 执行 c; 步 且 执行 n 次 的 一 条 语句 
将 贡献 cz 给 总 运行 时 间 ® 。 为 计算 在 具有 个 值 的 输入 上 INSERTION-SORT 的 运行 时 间 TLnj， 
我 们 将 代价 与 次 数列 对 应 元 素 之 积 求 和 ， 得 : 


T(n) = az 十 ca 一 1) 十 ca 一 1) 十 G dt +05 >) GG —D +a > 二 一 1) 十 ca 一 1) 
j=2 j=2 j=2 


O ”这 里 有 一 些微 妙 的 东西 。 我 们 用 英语 说 明 的 计算 步 往往 是 一 个 过 程 的 变种 ， 该 过 程 需要 的 时 间 不 止 一 个 常量 。 
例如 ， 本 书后 面 可 能 会 说 “ 按 z 坐标 排序 这 些 点 ”， 正 如 我 们 将 看 到 的 ， 该 计算 步 需 要 的 时 间 多 于 一 个 常量 。 注 
意 到 ， 一 个 调用 子 程序 的 语句 也 需要 常量 时 间 ， 尽 管 该 子 程序 一 旦 被 调用 可 能 需要 更 多 时 间 。 也 就 是 说 ， 我 们 
区 分 调用 子 程序 的 过 程 ( 传 递 参数 到 该 子 程序 等 ) 与 执行 该 子 程序 的 过 程 。 

O ”该 特性 对 像 内 存 这 样 的 资源 不 必 成 立 。 访 问 m 个 存储 字 且 执行 n 次 的 一 条 语句 不 必 访 问 mn 个 不 同 的 存储 字 。 


第 2 章 算法 基础 


即使 对 给 定 规模 的 输入 ， 一 个 算法 的 运行 时 间 也 可 能 依赖 于 给 定 的 是 该 规模 下 的 哪个 输入 。 
例如 ， 在 INSERTION-SORT 中 ， 符 输入 数组 已 排 好 序 ， 则 出 现 最 佳 情 况 。 这 时 ， 对 每 个 7 一 2， 
3，…，71， 我 们 发 现在 第 5 行 ， 当 i 取 其 初 值 7 一 1 时 ， 有 ALzj 委 APey。 从 而 对 7 一 2， 3，…，71， 
有 万 二 1， 该 最 佳 情 况 的 运行 时 间 为 : 

T(n) = nto (n—1) te,(n—1) +5 (n— 1) +03 (nm 1) 
= (cl 十 cz 十 G4 十 cs 十 ca)n 一 《cz 十 G4 十 cs 十 cs) 

我 们 可 以 把 该 运行 时 间 表 示 为 ax 十 2， 其 中 常量 c 和 2 依赖 于 语句 代价 c;。 因 此， 它 是 ”的 线性 
函数 。 

硅 输 入 数组 已 反 疝 排序 ， 即 按 递减 序 排 好 序 ， 则 导致 最 坏 情 况 。 我 们 必须 将 每 个 元 素 AL] 
与 整个 已 排序 子 数组 AL1. .7 一 1j 中 的 每 个 元 素 进 行 比 较 ， 所 以 对 7 一 2， 3，…，71， 有 tj ae 注 
意 到 
ee nint D] 


j=2 


和 
26-D= = 2n- 
(对 于 如 何 求 和 ， 请 参见 附录 A), 我 们 发 现在 最 未 a INSERTION-SORT 的 运行 时 间 为 
和 to (ee 1) 


oe (227P Dy 4 a (2278) 十 aa 一 1 


=(24+242)8+(atataot+S—-S-L+eq)n 


(ee ee) 

我 们 可 以 把 该 最 坏 情况 运行 时 间 表 示 为 an 十 pz 十 c， 其 中 常量 as、2 和 cc 又 依赖 于 语句 代价 c;。 因 
此 ， 它 是 的 二 次 函数 。 

虽然 在 以 后 的 章节 中 我 们 将 看 到 一 些 有 趣 的 “随机 化 ”算法 ， 即 使 对 固定 的 输入 ， 其 行为 也 可 
能 变化 ， 但 是 通常 的 情况 是 像 插入 排序 那样 ， 算 法 的 运行 时 间 对 给 定 的 输入 是 固定 的 。 

最 坏 情况 与 平均 情况 分 析 

在 分 析 插 入 排序 时 ， 我 们 既 研 究 了 最 佳 情况 ， 其 中 输入 数组 已 排 好 序 ， 又 研究 了 最 坏 情况 ， 
其 中 输入 数组 已 反 向 排 好 序 。 然 而 ， 在 本 书 的 余下 部 分 中 ， 我 们 往往 集中 于 只 求 最 坏 情 况 运 行 时 
间 ， 即 对 规模 为 的 任何 输入 ， 算 法 的 最 长 运行 时 间 。 下 面 给 出 这 样 做 的 三 点 理由 : 

。 一 个 算法 的 最 坏 情况 运行 时 间 给 出 了 任何 输入 的 运行 时 间 的 一 个 上 界 。 知 道 了 这 个 界 ， 
就 能 确保 该 算法 绝 不 需要 更 长 的 时 间 。 我 们 不 必 对 运行 时 间 做 某 种 复杂 的 猜测 并 可 以 期 
望 它 不 会 变 得 更 坏 。 
对 某 些 算法 ， 最 坏 情 况 经 党 出现。 例如 ， 当 在 数据 库 中 检索 一 条 特定 信息 时 ， 若 该 信息 
不 在 数据 库 中 出 现 ， 则 检索 算法 的 最 坏 情况 会 经 常 出 现 。 在 某 些 应 用 中 ， 对 缺失 信息 的 
检索 可 能 是 频繁 的 。 
平均 情况 ”往往 与 最 坏 情 况 大 致 一样 差 。 假 定 随 机 选择 n 个 数 并 应 用 插入 排序 。 需 要 多 
长 时 间 来 确定 在 子 数组 ALL . ;一 1j 的 什么 位 置 插 入 元 素 AL]? 平均 来 说 ，AL1. .7 一 1 
中 的 一 半 元 素 小 于 AL;j」 ,一半 元 素 大 于 AL]. MU, 平均 来 说 ,我 们 检查 子 数组 
A[1..j 一 1j 的 一 半 ， 那 么 大 约 为 j/2。 导 致 的 平均 情况 运行 时 间 结 果 像 最 坏 情 况 运 行 
时 间 一 样 ， 也 是 输入 规模 的 一 个 二 次 函数 。 
在 某 些 特定 情况 下 ， 我 们 会 对 一 个 算法 的 平均 情况 运行 时 间 感 兴趣 ; 贯穿 于 本 书 ， 我 们 将 看 
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到 概率 分 析 技 术 被 用 于 各 种 算法 。 平 均 情况 分 析 的 范围 有 限 ， 因 为 对 于 特定 的 问题 ， 什 么 构成 一 
种 “平均 ”输入 并 不 明显 。 我 们 常常 假定 给 定 规 模 的 所 有 输入 具有 相同 的 可 能 性 。 实 际 上 ， 该 假设 
可 能 不 成 立 ， 但 是 ， 有 时 可 以 使 用 随机 化 算法 ， 它 做 出 一 些 随机 的 选择 ， 以 允许 进行 概率 分 析 并 
产生 某 个 期 望 的 运行 时 间 。 在 第 5 章 以 及 后 续 的 其 他 几 章 中 ， 我 们 将 进一步 探究 随机 化 算法 。 

增长 量 级 

我 们 使 用 某 些 简化 的 抽象 来 使 过 程 INSERTION-SORT 的 分 析 更 加 容易 。 首 先 ， 通 过 使 用 常 
E c; 表示 这 些 代价 来 忽略 每 条 语句 的 实际 代价 。 其 次 ， 注 意 到 这 些 常量 也 提供 了 比 我 们 真正 需 
要 的 要 多 的 细节 : 把 最 坏 情 况 运 行 时 间 表 示 为 an +bn+c, HP RE a, bc 依赖 于 语句 代价 
ci。 这 样 ， 我 们 不 但 忽略 实际 的 语句 代价 ， 而 且 也 忽略 抽象 的 代价 co 

现在 我 们 做 出 一 种 更 简化 的 抽象 ， 即 我 们 真正 感 兴 趣 的 运行 时 间 的 增长 率 或 增长 量 级 。 所 
以 我 们 只 考虑 公式 中 最 重要 的 项 (例如 ，an*)， 因 为 当 n 的 值 很 大 时 ， 低 阶 项 相对 来 说 不 太 重 要 。 
我 们 也 忽略 最 重要 的 项 的 常 系数 ， 因 为 对 大 的 输入 ， 在 确定 计算 效率 时 常量 因子 不 如 增长 率 重 
要 。 对 于 插入 排序 ， 当 我 们 忽略 低 阶 项 和 最 重要 的 项 的 常 系数 时 ， 只 剩 下 最 重要 的 项 中 的 因子 
nm。 我 们 记 插 入 排序 具有 最 坏 情况 运行 时 间 O(n?) GEE“ theta n 平方 ”)。 本 章 非 形 式 化 地 使 用 @ 
记号 ， 第 3 章 将 给 出 其 精确 定义 。 

如 果 一 个 算法 的 最 坏 情 况 运行 时 间 具 有 上 比 另 一 个 算法 更 低 的 增长 量 级 ， 那 么 我 们 通常 认为 
前 者 比 后 者 更 有 效 。 由 于 常量 因子 和 低 阶 项 ， 对 于 小 的 输入 ， 运 行 时 间 具 有 较 高 增长 量 级 的 一 个 
算法 与 运行 时 间 具 有 较 低 增长 量 级 的 另 一 个 算法 相 比 ， 其 可 能 需要 较 少 的 时 间 。 但 是 对 足够 大 
的 输入 ， 例 如 ， 一 个 OC" ) 的 算法 在 最 坏 情 况 下 比 另 一 个 OM ) 的 算法 要 运行 得 更 快 。 


练习 

2. 2-1 FAO it Sma MR n? /1000—100n? —100n+3, 

2.2-2 考虑 排序 存储 在 数组 A 中 的 ”个 数 : 首先 找 出 A 中 的 最 小 元 素 并 将 其 与 A[L1j 中 的 元 素 进 
行 交 换 。 接 着 ， 找 出 A 中 的 次 最 小 元 素 并 将 其 与 AL2J 中 的 元 素 进 行 交 换 。 对 A 中 前 n 一 1 
个 元 素 按 该 方式 继续 。 该 算法 称 为 选择 算法 ， 写 出 其 伪 人 代码。 该 算法 维持 的 循环 不 变 式 
是 什么 ? 为 什么 它 只 需要 对 前 n 一 1 个 元 素 ， 而 不 是 对 所 有 ?个 元 素 运行 ? 用 记号 给 出 
选择 排序 的 最 好 情况 与 最 坏 情 况 运 行 时 间 。 

2.23 ”再 次 考虑 线性 查找 问题 (参见 练习 2. 1-3) 。 假 定 要 查找 的 元 素 等 可 能 地 为 数组 中 的 任意 元 
素 ， 平 均 需 要 检查 输入 序列 的 多 少 元 素 ? 最 坏 情况 又 如 何 呢 ? 用 @ 记 号 给 出 线性 查找 的 
平均 情况 和 最 坏 情 况 运行 时 间 。 证 明 你 的 答案 。 

2.2-4 我 们 可 以 如 何 修 改 几 乎 任意 算法 来 使 之 具有 良好 的 最 好 情况 运行 时 间 ? 


2.3 设计 算法 

我 们 可 以 选择 使 用 的 算法 设计 技术 有 很 多 。 插 入 排序 使 用 了 增 量 方法 : 在 排序 子 数 组 
A[1..j 一 1J 后 ,将 单个 元 素 A[ 门 插入 子 数组 的 适当 位 置 ， 产 生 排序 好 的 子 数组 A[1. . j] 

本 节 我 们 考查 另 一 种 称 为 “分 治 法 ”的 设计 方法 。 第 4 章 将 更 深入 地 探究 该 方法 。 我 们 将 用 分 
治 法 来 设计 一 个 排序 算法 ,该 算法 的 最 坏 情况 运行 时 间 比 插入 排序 要 少 得 多 。 分 治 算法 的 优点 
之 一 是 ， 通 过 使 用 第 4 章 介绍 的 技术 往往 很 容易 确定 其 运行 时 间 。 


2. 3.1 分 治 法 
许多 有 用 的 算法 在 结构 上 是 递归 的 为 了 解决 一 个 给 定 的 问题 ， 算 法 一 次 或 多 次 递归 地 调 
用 其 自身 以 解决 紧密 相关 的 若干 子 问题 。 这 些 算法 典型 地 遵循 分 治 法 的 思想 : 将 原 问题 分 解 为 
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几 个 规模 较 小 但 类 似 于 原 问 题 的 子 问题 ， 递 归 地 求解 这 些 子 问 题 ， 然 后 再 合并 这 些 子 问题 的 解 
来 建立 原 问 题 的 解 。 

分 治 模式 在 每 层 递 归 时 都 有 三 个 步 又: 

分 解 原 问题 为 若干 子 问 题 ， 这 些 子 问题 是 原 问 题 的 规模 较 小 的 实例 。 

解决 这 些 子 问题 ， 递 归 地 求解 各 子 问题 。 然 而 ， 若 子 问题 的 规模 足够 小 ， 则 直接 求解 。 

合并 这 些 子 问题 的 解 成 原 问 题 的 解 。 

归并 排序 算法 完全 遵循 分 治 模 式 。 直 观 上 其 操作 如 下 : 

分 解 : 分 解 待 排序 的 n 个 元 素 的 序列 成 各 具 n/2 个 元 素 的 两 个 子 序列 。 

解决 : 使 用 归并 排序 递归 地 排序 两 个 子 序列 。 

合并 : 合并 两 个 已 排序 的 子 序列 以 产生 已 排序 的 答案 。 

当 待 排序 的 序列 长 度 为 1 时 ， 递 归 “ 开 始 回升 ”， 在 这 种 情况 下 不 要 做 任何 工作 ， 因 为 长 度 为 
1 的 每 个 序列 都 已 排 好 序 。 

归并 排序 算法 的 关键 操作 是 “合并 ”步骤 中 两 个 已 排序 序列 的 合并 。 我 们 通过 调用 一 个 辅助 过 
程 MERGEC(A，p，gq，7) 来 完成 合并 ， 其 中 A 是 一 个 数组 ，p、g Mr 是 数组 下 标 ， 满 足 Pr. 
该 过 程 假设 子 数组 ALp. .gq] 和 ALg 十 1. .rj 都 已 排 好 序 。 它 合并 这 两 个 子 数组 形成 单一 的 已 排 好 
序 的 子 数组 并 代替 当前 的 子 数组 ALp. .rj。 

过 程 MERGE 需要 9(z) 的 时 间 ， 其 中 n= 二 =r 一 p 十 1 是 待 合并 元 素 的 总 数 。 它 按 以 下 方式 工 
作 。 回 到 我 们 玩 扑 克 牌 的 例子 ， 假 设 桌 上 有 两 堆 牌 面 朝 上 的 牌 ， 每 堆 都 已 排序 ， 最 小 的 牌 在 项 
上 。 我 们 希望 把 这 两 堆 牌 合并 成 单一 的 排 好 序 的 输出 堆 ， 牌 面 朝 下 地 放 在 桌 上 。 我 们 的 基本 步骤 
包括 在 牌 面 朝 上 的 两 堆 牌 的 顶 上 两 张 牌 中 选取 较 小 的 一 张 ， 将 该 牌 从 其 堆 中 移 开 (该 堆 的 项 上 将 
显露 一 张 新 牌 ) 并 牌 面 朝 下 地 将 该 牌 放 置 到 输出 堆 。 重 复 这 个 步骤 ， 直 到 一 个 输入 堆 为 空 ， 这 时 ， 
我 们 只 是 拿 起 剩余 的 输入 堆 并 牌 面 朝 下 地 将 该 堆放 置 到 输出 堆 。 因 为 我 们 只 是 比较 项 上 的 两 张 
牌 ， 所 以 计算 上 每 个 基本 步骤 需要 常量 时 间 。 因 为 我 们 最 多 执行 个 基本 步骤 ， 所 以 合并 需要 
Qn) FY AY |B] 

下 面 的 伪 代 码 实现 了 上 面 的 思想 , 但 有 一 个 额外 的 变化 ， 以 避免 在 每 个 基本 步骤 必须 检查 
是 否 有 堆 为 空 。 在 每 个 堆 的 底部 放置 一 张 哨 兵 牌 ， 它 包含 一 个 特殊 的 值 ， 用 于 简化 代码 。 这 里 ， 
我 们 使 用 co 作为 哨兵 值 ， 结 果 每 当 显 露 一 张 值 为 co 的 牌 ， 它 不 可 能 为 较 小 的 牌 ， 除 非 两 个 堆 都 已 
显露 出 其 哨兵 牌 。 但 是 ， 一旦 发 生 这 种 情况 ， 所 有 非 哨兵 牌 都 已 被 放置 到 输出 堆 。 因 为 我 们 事先 
知道 刚好 r 一 p 十 1 张 牌 将 被 放置 到 输出 堆 ， 所 以 一 旦 已 执行 r 一 p 十 1 个 基本 步骤 ， 算 法 就 可 以 
停止 。 


MERGE(A, p, q» r) 
mn=q—p+1 
n=r—q 
let L1.. n; + 1] and R[1..n,+ 1] be new arrays 
for: = 1 ton, 

Li] = A[p + i — 1] 
for; = 1 ton; 

RG] = Alg + j] 
Lin + 1] = œ 
Rn: + 1] = œ 
10 i=1 
ll j=l 
12 fork = ptor 
13 if L[i] < RO] 
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14 A[k| = Lli] 
15 i=it+] 
16 else AL&] = R[j | 
17 j=jtl 
8 A 12 = ERE 16 17 8 ZOLL 12 > 14 ae 









L HETTE e CEET 


(a) 
8 9 10 11 12 13 14 15 16 17 
= rag eee | ag 


(c) (d) 





Ce) (f) 





(g) (h) 





图 2-3” 当 子 数组 A[9. .16] 包 含 序 列 (2，4，5，7，1，2，3，6) 时 ， 调 用 MERGECA, 9, 12, 16) 
第 10~17 行 的 操作 。 在 复制 并 插 人 哨兵 后 ， 数 组 工 包含 (2，4，5，7，ce)， 数 组 尺 包 含 (1， 
2, 3, 6, œ), A 中 的 浅 阴 影 位 置 包含 它们 的 最 终 值 ， 工 和 尺 中 的 浅 阴 影 位 置 包含 有 待 于 被 
复制 回 A 的 值 。 合 在 一 起 ， 浅 阴影 位 置 总 是 包含 原来 在 AL9. .16j 中 的 值 和 两 个 哨兵 。A 中 
的 深 阴 影 位 置 包含 将 被 覆盖 的 值 ， 工 和 尺 中 的 深 阴影 位 置 包含 已 被 复制 回 A 的 值 。(a) 一 (h) 
在 第 12~17 行 循 环 的 每 次 欠 代 之 前 ， 数 组 A、 工 和 尺 以 及 它们 各 自 的 下 标 &、i 和 7 。(i 终 
止 时 的 数组 与 下 标 。 这 时 ，A[9.. 16] 中 的 子 数组 已 排 好 序 ， 工 和 尺 中 的 两 个 哨兵 是 这 两 个 数 
组 中 仅 有 的 两 个 未 被 复制 回 A 的 元 素 


过 程 MERGE 的 详细 工作 过 程 如 下 : 第 1 行 计算 子 数 组 ALz. . IIR BE m, B 2 行 计算 子 数组 
ALg 十 1. .rj 的 长 度 n。 在 第 3 行 ， 我 们 创建 长 度 分 别 为 mn 十 1 入 十 1 的 数组 志和 民 ( 左 " 和 右 ”)， 
每 个 数组 中 额外 的 位 置 将 保存 哨兵 。 第 4 一 5 行 的 for 循环 将 子 数组 ALA. .qj 复制 到 LL1..m Jj， 第 
6~7 行 的 for 循环 将 子 数组 Alat 1. .rj 复制 到 RL. mJ. 第 8 一 9 行将 哨兵 放 在 数组 志和 玉 的 末 
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尾 。 第 10 一 17 FARER 2-3 中 ， 通 过 维持 以 下 循环 不 变 式 ， 执 行 r 一 p 十 1 个 基本 步骤 : 
在 开始 第 12~17 FF for 循环 的 每 次 迭代 时 ， 子 数组 ALp..& 一 1j 按 从 小 到 大 的 顺序 

aA LU1..m +1] RO1..mt+l Pa k—-p ARAR. HM, Lil RLjj] 是 各 自 所 

在 数组 中 未 被 复制 回 数组 A 的 最 小 元 素 。 

我 们 必须 证 明 第 12 一 17 行 for 循环 的 第 一 次 迭代 之 前 该 循环 不 变 式 成 立 ， 该 循环 的 每 次 迭 
代 保 持 该 不 变 式 ， 并 且 循 环 终止 时 ， 该 不 变 式 提 供 了 一 种 有 用 的 性 质 来 证 明正 确 性 。 

初始 化 : 循环 的 第 一 次 迭代 之 前 ， 有 &= 二 pp， 所 以 子 数组 ALD. .A 一 1 为 空 。 这 个 空 的 子 数组 
ae LAR 的 & 一 p= 二 0 个 最 小 元 素 。 又 因为 i= 二 1， 所 以 LLij 和 RLj;j 都 是 各 自 所 在 数组 中 未 
被 复制 回 数组 A 的 最 小 元 素 。 

保持 : 为 了 理解 每 次 迭代 都 维持 循环 不 变 式 ， 首 先 假设 LLij 二 RL;]。 这 时 ，LLij] 是 未 被 复 
制 回 数组 A 的 最 小 元 素 。 因 为 ALp. .& 一 1 包含 4 一 如 个 最 小 元 素 ， 所 以 在 第 14 行 将 LLij 复 制 到 
A[k] 之 后 ， 子 数组 ALp. .8j] 将 包含 一 p 十 1 个 最 小 元 素 。 增 加 & 的 值 (在 for 循环 中 更 新 ) 和 :的 
值 ( 在 第 15 行 中 ) 后 ,为 下 次 迭代 重新 建立 了 该 循环 不 变 式 。 反 之 ， 铬 LLij] 二 RL;]， 则 第 16 一 17 
行 执行 适当 的 操作 来 维持 该 循环 不 变 式 。 

终止 : 终止 时 & 一 ”十 1。 根 据 循环 不 变 式 ， 子 数组 ALp. .& 一 ] 就 是 ALz. .rj] 且 按 从 小 到 大 的 
顺序 包含 LLL... +1 JA RLL. . m +1 PA kR-—pHr—prl 个 最 小 元 素 。 数 组 工 和 尺 一 起 包含 
mi 十 nz 十 2 二 7 一 pp 十 3 个 元 素 。 除 两 个 最 大 的 元 素 以 外 ， 其 他 所 有 元 素 都 已 被 复制 回 数 组 A， 这 两 
个 最 大 的 元 素 就 是 哨兵 。 

为 了 理解 过 程 MERGE 的 运行 时 间 是 6(z) ， 其 中 "一 ”一 如 1， 注 意 到 ， 第 1 一 3 行 和 第 8 一 
11 行 中 的 每 行 需要 常量 时 间 , 第 4 一 7 行 的 for 循环 需要 O(n +n) =O WHS, FA, 第 
12~17 行 的 for 循环 有 nn 次 迭代 ， 每 次 迭代 需要 常量 时 间 。 

现在 我 们 可 以 把 过 程 MERGE 作为 归并 排序 算法 中 的 一 个 子 程序 来 用 。 下 面 的 过 程 
MERGE-SORT(A，p，7) 排 序 子 数组 ALp. . r PRR. € p 宇 r， 则 该 子 数组 最 多 有 一 个 元 素 ， 
所 以 已 经 排 好 序 。 否 则 ， 分 解 步 又 简单 地 计算 一 个 下 标 9g， 将 ALp. .rj 分 成 两 个 子 数组 ALp.. qj 
和 A[e 十 1.. 门 ， 前 者 包含 | 21 个 元 素 ， 后 者 包含 LV/2| 个 元 素 2 。 

MERGE-SORT(A, p, r) 

1 ifp<r 

2 gq= [pt+r)/2] 

3 MERGE-SORT(A, p, q) 

4 MERGE-SORT(A, q+1, r) 

5 MERGE(A, p, gq, r) 


为 了 排序 整个 序列 A= (AL1], A[2], re ALn], 我 们 执行 初始 调用 MERGE-SORT (A, l, 
A. length)， 这 里 再 次 有 A. length=n, Al 2-4 自 底 向 上 地 说 明了 当 2 ENE. 
算法 由 以 下 操作 组 成 : 合并 只 含 1 项 的 序列 对 形成 长 度 为 2 的 排 好 序 的 序列 ， 合 并 长 度 为 2 的 序 
列 对 形成 长 度 为 4 的 排 好 序 的 序列 ， 依 此 下 去 ， 直 到 长 度 为 n/2 的 两 个 序列 被 合并 最 终 形 成 长 度 
为 n 的 排 好 序 的 序列 。 


O 在 第 3 章 中 ,我 们 将 看 到 如 何 形式 化 地 解释 包含 @ 记 号 的 等 式 。 

O RAR TRARATRST d 的 最 小 整数 ，[zj 表 示 小 于 或 等 于 z 的 最 大 整数 。 这 些 记号 在 第 3 章 中 定义 。 验 证 把 
4 置 为 Kz 十 /2j 将 产生 规模 分 别 为 | /21 和 [zxV2j 的 子 数组 AL. .qj 和 ALg 十 1. .站 的 最 容易 的 方法 是 根据 刀 和 > 
为 奇数 还 是 偶数 分 别 考查 可 能 出 现 的 4 种 情况 。 
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排 好 序 的 序列 





A pd fo fod 


初始 序列 


图 2-4 ”归并 排序 在 数组 A 二 (5，2，4，7，1，3，2，6) 上 的 操作 。 随 着 算法 自 
底 向 上 地 推进 ， 待 合并 的 已 排 好 序 的 各 序列 的 长 度 不 断 增加 





2.3.2 分 析 分 治 算法 


当 一 个 算法 包含 对 其 自身 的 递归 调用 时 ， 我 们 往往 可 以 用 递归 方程 或 递归 式 来 描述 其 运行 
时 间 ， 该 方程 根据 在 较 小 输入 上 的 运行 时 间 来 描述 在 规模 为 ”的 问题 上 的 总 运行 时 间 。 然 后 ， 
们 可 以 使 用 数学 工具 来 求解 该 递归 式 并 给 出 算法 性 能 的 界 。 

分 治 算法 运行 时 间 的 递归 式 来 自 基 本 模式 的 三 个 步骤 。 如 前 所 述 ， 我 们 假设 T(n) 是 规模 为 
n 的 一 个 问题 的 运行 时 间 。 帮 问题 规模 足够 小 ， 如 对 某 个 常量 ce，n 二 <， 则 直接 求解 需要 常量 时 
间 ， 我 们 将 其 写作 6(1) 。 假 设 把 原 问 题 分 解 成 a 个 子 问题 ， 每 个 子 问题 的 规模 是 原 问 题 的 1/0. 
(对 归并 排序 ，a 和 2 都 为 2， 然 而， 我 们 将 看 到 在 许多 分 治 算法 中 ，a 天 5。) 为 了 求解 一 个 规模 为 
n/b 的 子 问题 ， 需 要 TC(n/6) 的 时 间 ， 所 以 需要 aT (n/d) AAT SEAR a 个 子 问 题 。 如 果 分 解 问题 
成 子 问题 需要 时 间 D, 合并 子 问题 的 解 成 原 问 题 的 解 需要 时 间 CC(n)， 那 么 得 到 递归 式 : 

Tn) = noes FH n<e 
aT (n/b) + D(n)+C(n) 其 他 
在 第 4 章 中 ， 我 们 将 看 到 如 何 求解 这 类 常见 的 递归 式 。 

归并 排序 算法 的 分 析 

虽然 MERGE-SORT 的 伪 代 码 在 元 素 的 数量 不 是 偶数 时 也 能 正确 地 工作 ， 但 是 ， 如 果 假 定 原 
问题 规模 是 2 的 医 ， 那 么 基于 递归 式 的 分 析 将 被 简化 。 这 时 每 个 分 解 步骤 将 产生 规模 刚好 为 n/2 
的 两 个 子 序 列 。 在 第 4 章 ， 我 们 将 看 到 这 个 假设 不 影响 递归 式 解 的 增长 量 级 。 

下 面 我 们 分 析 建 立 归并 排序 ”个 数 的 最 坏 情 况 运 行 时 间 工 (2) 的 递归 式 。 归 并 排序 一 个 元 素 
需要 常量 时 间 。 当 有 nl 个 元 素 时 ， 我 们 分 解 运行 时 间 如 下 : 

分 解 步 又 仅仅 计算 子 数组 的 中 间 位 置 ， 和 需要 常量 时 间 ， 因 此 ，D(n)= 二 8@(1)。 

: 我 们 递归 地 求解 两 个 规模 均 为 n/2 的 子 问题 ， 将 贡献 2TC(n/2) 的 运行 时 间 ，。 

我 们 已 经 注意 到 在 一 个 具有 nn 个 元 素 的 子 数组 上 过 程 MERGE 需要 OC) WAN, 所 
以 Cin) =O(n). 

当 为 了 分 析 归 并 排序 而 把 函数 Din) 5 C(n) 相 加 时 ， 我 们 是 在 把 一 个 8(n) 函数 与 另 一 个 @(1) 
函数 相 加 。 相 加 的 和 是 ”的 一 个 线性 函数 ， 即 86(z) 。 把 它 与 来 自 “ 解 决 ? 步 又 的 项 2TC(n/2) 相 加 ， 
将 给 出 归并 排序 的 最 坏 情 况 运行 时 间 T(n) 的 递归 式 ，: 

@(1) #n=1 


T = prl 
a 2T(n/2)+ O(n) #n>l ay 
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在 第 4 章 ， 我 们 将 看 到 “ 主 定理 ?”， 可 以 用 该 定理 来 证 明 TMH 8(nlgn)， 其 中 gn 代表 log,n。 因 
为 对 数 函 数 比 任何 线性 函数 增长 要 慢 ， 所 以 对 足够 大 的 输入 ， 在 最 坏 情况 下 ， 运 行 时 间 为 @(nlgn) 
的 归并 排序 将 优 于 运行 时 间 为 (x ) 的 插入 排序 。 

为 了 直观 地 理解 递归 式 (2. 1) 的 解 为 什么 是 T(n) 二 Bnlgn)， 我 们 并 不 需要 主 定理 。 把 递归 
RO. 1) 重 写 为 : 
C #n=1 
2T(n/2) +cn Hn>1 
其 中 常量 c 代表 求解 规模 为 1 的 问题 所 需 的 时 间 以 及 在 分 解 步骤 与 合并 步骤 处 理 每 个 数组 元 素 所 
fag HUB [BIS 。 

图 2-5 图 示 了 如 何 求解 递归 式 (2. 2)。 为 方便 起 见 ， 假设 刚好 是 2 a. RA Ca BRA AS 
了 T(n)， 它 在 (b) 部 分 被 扩展 成 一 棵 描绘 递归 式 的 等 价 树 。 项 cn 是 树 根 ( 在 递归 的 顶层 引起 的 代 
价 )， 根 的 两 棵 子 树 是 两 个 较 小 的 递归 式 TC(n/2)。(c) 部 分 图 示 了 通过 扩展 TC(n/2) 再 推进 一 步 的 
过 程 。 在 第 二 层 递归 中 ， 两 个 子 结 点 中 每 个 引起 的 代价 都 是 cn/2。 我 们 通过 将 其 分 解 成 由 递归 
式 所 确定 的 它 的 组 成 部 分 来 继续 扩展 树 中 的 每 个 结 点 ， 直 到 问题 规模 下 降 到 1， 每 个 子 问题 只 要 
代价 c。(d) 部 分 图 示 了 结果 递归 树 。 


T(n) cn cn 


/ \ a, 


T(n/2) T(n/2) cn/2 cn/2 


A 


T(nl4) TT(n/4) T(n/4) Tln/4) 
(a) (b) (c) 


T(n) = (2. 2) 


cn ‘eonnccacccccescancecccessscaccescces§p~ CH] 
cn/2 CNIR saveccccccscccsveses m- cn 
lgn / \ / \ 
cn/4 cn/4 cn/4 Cn/4 memi m- cn 
oe e C 2 He 2 eo meee 
— 
n 
(d) 总 代价 : cn lg n+cn 


图 2-5 对 递归 式 T(n) 二 2T(n/2) 十 cn， 如 何 构造 一 棵 递归 树 。(a) 部 分 图 示 Tin), CECO) ~(d) 
部 分 被 逐步 扩展 以 形成 递归 树 。 在 (d) 部 分 ， 完 全 扩展 了 的 递归 树 具有 1lgn 十 1 层 ( 即 如 图 所 
示 ， 其 高 度 为 jgz) ， 每 层 将 贡献 总 代价 cr。 所 以 ， 总 代价 为 cn lgn 十 crn， 它 就 是 @(nlgn) 


O 相同 的 常量 一 般 不 可 能 刚好 既 代表 求解 规模 为 1 的 问题 的 时 间 又 代表 在 分 解 步骤 与 合并 步骤 处 理 每 个 数组 元 素 
的 时 间 。 通 过 假设 c 为 这 两 个 时 间 的 较 大 者 并 认为 我 们 的 递归 式 将 给 出 运行 时 间 的 一 个 上 界 ， 或 者 通过 假设 c 为 
这 两 个 时 间 的 较 小 者 并 认为 我 们 的 递归 式 将 给 出 运行 时 间 的 一 个 下 界 ， 我 们 可 以 回避 这 个 问题 。 两 个 界 的 阶 都 
是 nilgn， 合 在 一 起 将 给 出 运行 时 间 为 8(nlgn)。 
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接着 ， 我 们 把 穿 过 这 棵 树 的 每 层 的 所 有 代价 相 加 。 项 层 具 有 总 代价 cz， 下 一 层 具 有 总 代价 
c(n/2) +c(n/2) 二 cn ， 下 一 层 的 下 一 层 具 有 总 代价 c(n/4) +c(n/4) +c(n/4) +c(n/4) = 二 cn ， 等 
等 。 一 般 来 说 ,顶层 之 下 的 第 i 层 具 有 2 个 结 点 ， 每 个 结 点 贡献 代价 c(n/2') ， 因 此 ， 顶 层 之 
下 的 第 i 层 具 有 总 代价 2.c(n/2') = cn 。 底 层 具 有 7 个 结 点 ， 每 个 结 点 贡献 代价 BAHAR 
价 为 cn。 

图 2-5 中 递归 树 的 总 层 数 为 lgn 十 1。 其 中 是 叶 数 ， 对 应 于 输入 规模 。 一 种 非 形式 化 的 归 
纳 论证 将 证 明 该 断言 。* 王 1 时 出 现 基 本 情况 ， 这 时 树 只 有 一 层 。 因 为 lgl 二 0， 所 以 有 lgn 十 1 
给 出 了 正确 的 层 数 。 作 为 归纳 假设 ， 现 在 假设 具有 2 个 叶 的 递归 树 的 层 数 为 lg2' 十 1=i 十 1( 因 为 
对 i 的 任何 值 都 有 lg2' 二 i) 。 因 为 我 们 假设 输入 规模 是 2 的 宕 ， 所 以 下 一 个 要 考虑 的 输入 规模 是 
2 。 具 有 "一 2 个 叶 的 一 棵 树 比 具有 2 个 叶 的 一 棵 树 要 多 一 层 ， 所 以 其 总 层 数 为 (i 十 1) 十 1== 
lg2! +1, 

为 了 计算 递归 式 (2. 2) 表 示 的 总 代价 ， 我 们 只 要 把 各 层 的 代价 加 起 来 。 递 归 树 具有 lgz 十 1 
层 ， 每 层 的 代价 均 为 cx， 所 以 总 代价 为 cn(lgn 十 1) = cnlgn 十 cn 。 忽 略 低 阶 项 和 常量 c 便 给 出 了 
期 望 的 结果 O(n Ign) . 


练习 
2.3-1 使 用 图 2-4 作为 模型 ， 说 明 归 并 排序 在 数组 A=(3, 41, 52, 26, 38, 57, 9, 49) ER 
操作 。 
2.32 重 写 过 程 MERGE， 使 之 不 使 用 哨兵 ,而 是 一 旦 数组 或 R 的 所 有 元 素 均 被 复制 回 A 就 
立刻 停止 ， 然 后 把 另 一 个 数组 的 剩余 部 分 复制 回 A. 
2.3-3 ”使 用 数学 归纳 法 证 明 ， 当 刚好 是 2 的 害 时 ， 以 下 递归 式 的 解 是 T(n) 二 nlgn。 
T(n) = e 
2T(n/2) +n Hn=2',k>-1 
2.3-4 我 们 可 以 把 择 和 人 排序 表示 为 如 下 的 一 个 递归 过 程 。 为 了 排序 A[L1.. nj, 我们 递归 地 排序 
ALl. .7 一 1]， 然 后 把 A[nj 插 入 已 排序 的 数组 AL1. .nn 一 1]。 为 插入 排序 的 这 个 递归 版 本 
的 最 坏 情况 运行 时 间 写 一 个 递归 式 。 
2.3-5 ”回顾 查找 问题 (参见 练习 2. 1-3)， 注 意 到 ， 如 果 序 列 A 已 排 好 序 ， 就 可 以 将 该 序列 的 中 点 
与 vu 进行 比 较 。 根 据 比 较 的 结果 ， 原 序列 中 有 一 半 就 可 以 不 用 再 做 进一步 的 考虑 了 。 二 
分 查找 算法 重复 这 个 过 程 ， 每 次 都 将 序列 剩余 部 分 的 规模 减 半 。 为 二 分 查找 写 出 迭代 或 
递归 的 伪 代 码 。 证 明 : 二 分 查找 的 最 坏 情 况 运 行 时 间 为 @(lgn)。 
2.3-6 注意 到 2. 1 节 中 的 过 程 INSERTION-SORT 的 第 5 一 7 行 的 while 循环 采用 一 种 线性 查找 
来 ( 反 向 ) 扫 描 已 排 好 序 的 子 数组 AL1. .7 一 1]。 我 们 可 以 使 用 二 分 查找 (参见 练习 2. 3-5) 
来 把 插入 排序 的 最 坏 情况 总 运行 时 间 改 进 到 O(n len) ty? 
*2.3-7 ”描述 一 个 运行 时 间 为 86(nlgn) 的 算法 ， 给 定 个 整数 的 集合 S 和 男 一 个 整数 x， 该 算法 能 
确定 S 中 是 否 存在 两 个 其 和 刚好 为 xz 的 元 素 。 


思考 题 
2-1 (在 归并 排序 中 对 小 数组 采用 插入 排序 ) 虽然 归并 排序 的 最 坏 情 况 运 行 时 间 为 @(nlgn)， 
而 插入 排序 的 最 坏 情况 运行 时 间 为 O), 但 是 插入 排序 中 的 常量 因子 可 能 使 得 它 在 较 小 
时 ， 在 许多 机 器 上 实际 运行 得 更 快 。 因 此 ， 在 归并 排序 中 当 子 问题 变 得 足够 小 时 ， 采 用 插 
人 排序 来 使 递归 的 叶 变 粗 是 有 意义 的 。 考 虑 对 归并 排序 的 一 种 修改 ， 其 中 使 用 插入 排序 来 
排序 长 度 为 的 n/& 个 子 表 ， 然后 使 用 标准 的 合并 机 制 来 合并 这 些 子 表 ， 这 里 是 一 个 得 


2-2 


2-3 
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定 的 值 。 

a. TEAR: 插 和 人 排序 最 坏 情况 可 以 在 8(n&k) 时 间 内 排序 每 个 长 度 为 k 的 n/k 个 子 表 。 

b. 表明 在 最 坏 情 况 下 如 何在 O(n le (mn/&)) 时 间 内 合并 这 些 子 表 。 

c. 假定 修改 后 的 算法 的 最 坏 情 况 运 行 时 间 为 6(nk 十 nlg(n/k))， 要 使 修改 后 的 算法 与 标准 
的 归并 排序 具有 相同 的 运行 时 间 ， 作 为 = 的 一 个 函数 ， 借 助 @ 记号, k 的 最 大 值 是 什么 ? 

d 在 实践 中 ， 我 们 应 该 如 何 选择 k? 

( 冒 泡 排 序 的 正确 性 ) ” 冒 泡 排序 是 一 种 流行 但 低 效 的 排序 算法 ， 它 的 作用 是 反复 交换 相 邻 

的 未 按 次 序 排 列 的 元 素 。 

BUBBLESORT(A) 

1 fori = 1 to A. length — 1 

2 for j = A. length downto i + 1 

3 if ALj] < AL; — 1] 

4 exchange A[j] with AUD — 1] 

a. 假设 A 表示 BUBBLESORT(A) 的 输出 。 为 了 证 明 BUBBLESORT 正确 ， 我 们 必须 证 明 
它 将 终止 并 且 有 : 

A‘LIJ<Al2]<- < A'[n] (2. 3) 
其 中 n=A. length。 为 了 证 明 BUBBLESORT 确实 完成 了 排序 ， 我 们 还 需要 证 明 什 么 ? 
下 面 两 部 分 将 证 明 不 等 式 (2. 3). 

b. 为 第 2 一 4 行 的 for 循环 精确 地 说 明 一 个 循环 不 变 式 ， 并 证 明 该 循环 不 变 式 成 立 。 你 的 证 
明 应 该 使 用 本 章 中 给 出 的 循环 不 变 式 证 明 的 结构 。 

c. 使 用 (b) 部 分 证 明 的 循环 不 变 式 的 终止 条 件 ， 为 第 1 一 4 行 的 for 循环 说 明 一 个 循环 不 变 
式 ， 该 不 变 式 将 使 你 能 证 明 不 等 式 (2. 3) 。 你 的 证 明 应 该 使 用 本 章 中 给 出 的 循环 不 变 式 证 
明 的 结构 。 

d 冒 泡 排 序 的 最 坏 情 况 运 行 时 间 是 多 少 ? 与 插入 排序 的 运行 时 间 相 比 ， 其 性 能 如 何 ? 


( 霍 纳 (Horner) 规 则 的 正确 性 ) 给 定 系 数 Aos Q19 ”9 Ch FU x 的 值 ， 代码 片段 
l y=0 

2 for i = n downto 0 

3 yy 一 Qi 十 Z。，y 

实现 了 用 于 求 值 多 项 式 


P(x) = Dy art = a +H rla Hala 十 … 十 Zarl 十 za)…)) 


的 霍 纳 规则 。 

a 借助 @ 记 号 ， 实 现 霍 纳 规则 的 以 上 代码 片段 的 运行 时 间 是 多 少 ? 

b. 编写 伪 代 码 来 实现 朴素 的 多 项 式 求 值 算法 ， 该 算法 从 头 开 始 计 算 多 项 式 的 每 个 项 。 该 算 
法 的 运行 时 间 是 多 少 ? 与 霍 纳 规则 相 比 ， 其 性 能 如 何 ? 
在 第 2 一 3 FF for 循环 每 次 迭代 的 开始 有 


n—(i+1) 
> Anti T| 


把 没有 项 的 和 式 解释 为 等 于 0。 遵照 本 章 中 给 出 的 循环 不 变 式 证 明 的 结构 ， 使 用 该 循环 
不 变 式 来 证 明 终 止 时 有 y= Daz’, 


d 最 后 证 明 上 面 给 出 的 代码 片段 将 正确 地 求 由 系数 a, a, +, a, 刻画 的 多 项 式 的 值 。 
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2-4 GFA) 假设 ALl..nj 是 一 个 有 nn 个 不 同 数 的 数组 。 若 i< H AGS], WHA, DRA 

A 的 一 个 逆序 对 (inversion) 。 

a. 列 出 数组 (2，3，8，6，1) 的 5 个 逆序 对 。 

b. 由 集合 {1，2，…，n}) 中 的 元 素 构 成 的 什么 数组 具有 最 多 的 逆序 对 ? CAB RET? 

ce 捅 和 人 排序 的 运行 时 间 与 输入 数组 中 逆序 对 的 数量 之 间 是 什么 关系 ? 证 明 你 的 回答 。 

d. 给 出 一 个 确定 在 ”个 元 素 的 任何 排列 中 逆序 对 数量 的 算法 ， 最 坏 情 况 需 要 Blnlgn) 时 间 。 

(提示 : 修改 归并 排序 。) 

本 章 注 记 

1968 £, Knuth 发 表 了 总 标题 为 《计算 机 程序 设计 艺术 半 209，210，211j] 的 三 卷 著作 中 的 第 
190. B 1 卷 引领 了 现代 计算 机 算法 的 研究 ， 使 之 聚焦 于 运行 时 间 的 分 析 。 对 这 里 给 出 的 许多 
主题 ， 这 3 卷 著作 仍然 是 有 吸引 力 的 且 有 价值 的 参考 书 S 。 依 照 Knuth 的 说 法 ,“ 算 法 ”这 个 词 来 
源 于 9 世纪 一 位 波斯 数学 家 的 名 字 “al-Khowirizm?”。 

Aho, Hopcroft 和 Ullman[ 5 提倡 使 用 第 3 章 引 入 的 记号 ， 包括 8 记号， 把 算法 的 渐 近 分 析 
作为 比较 相对 性 能 的 一 种 方法 。 他 们 还 推广 了 使 用 递归 关系 来 描述 递归 算法 的 运行 时 间 。 

KnuthL211J 提 供 了 许多 排序 算法 的 一 种 百科 全 书 似 的 处 理 。 他 对 各 种 排序 算法 的 比较 包括 
精确 的 执行 步 数 分 析 ， 这 种 分 析 类 似 于 我 们 这 里 对 插入 排序 所 做 的 分 析 。Knuth 对 插入 排序 的 讨 
论 包括 该 算法 的 几 种 变形 。 其 中 最 重要 的 是 由 D. L. Shell 提出 的 Shell 排序 ， 它 对 输入 序列 的 周 
期 性 子 序列 使 用 插入 排序 ， 结 果 形 成 了 一 种 更 快 的 排序 算法 。 

Knuth 还 描述 了 归并 排序 。 他 提 到 在 1938 年 就 有 人 发 明了 一 种 机 械 排序 装置 ， 能 够 在 一 趟 
内 合并 两 组 穿孔 卡片 。 计 算 机 科学 的 先驱 之 一 J. von Neumann 显然 于 1945 年 在 计算 机 EDVAC 
上 为 归并 排序 编写 过 一 个 程序 。 

GriesL153j 描 述 了 证 明 程 序 正 确 性 的 早期 历史 ， 他 把 该 领域 的 第 一 篇 文章 归功 于 P. Naur, 
并 把 循环 不 变 式 归功 于 R. W. Floyd。IMitchellL256 编写 的 教材 中 描述 了 证 明 程 序 正 确 性 的 一 些 


更 新 的 进展 。 


O 《计算 机 程序 设计 艺术 光 1 卷 第 3 版 英文 影印 版 已 由 机 械 工业 出 版 社 出 版 ，ISBN 978-7-111-22709-0。 一 一 编辑 注 
© 《计算 机 程序 设计 艺术 激 3 卷 第 2 版 英文 影印 版 已 由 机 械 工 业 出 版 社 出 版 ，ISBN 978-7-111-22717-5。 一 一 编辑 注 
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因数 的 增长 


第 2 章 中 定义 的 算法 运行 时 间 的 增长 量 级 简单 地 刻画 了 算法 效率 ， 并 且 还 允许 我 们 比较 可 选 
算法 的 相对 性 能 。 一 旦 输入 规模 变 得 足够 大 ， 最 坏 情 况 运 行 时 间 为 8(zlgz) 的 归并 排序 将 战胜 
最 坏 情况 运行 时 间 为 @C(xw ) 的 插入 排序 。 正 如 我 们 在 第 2 章 中 对 插入 排序 所 做 的 ， 虽然 有 时 我 们 
能 够 确定 一 个 算法 的 精确 运行 时 间 ， 但 是 通常 并 不 值得 花 力气 来 计算 它 以 获得 多 余 的 精度 。 对 
于 足够 大 的 输入 ， 精 确 运 行 时 间 中 的 倍增 常量 和 低 阶 项 被 输入 规模 本 身 的 影响 所 文 配 。 

当 输 入 规模 足够 大 ， 使 得 只 有 运行 时 间 的 增长 量 级 有 关 时 ， 我 们 要 研究 算法 的 渐 近 效率 。 也 
就 是 说 ， 我 们 关心 当 输 入 规模 无 限 增加 时 ， 在 极限 中 ， 算 法 的 运行 时 间 如 何 随 着 输入 规模 的 变 大 
而 增加 。 通 常 ， 渐 近 地 更 有 效 的 某 个 算法 对 除 很 小 的 输入 外 的 所 有 情况 将 是 最 好 的 选择 。 

本 章 给 出 几 种 标准 方法 来 简化 算法 的 浙 近 分 析 。 下 一 节 首 先 定义 几 类 “ 渐 近 记号 ”， 其 中 ， 我 
们 已 经 见 过 的 一 个 例子 是 8 记号。 然后 ,我 们 给 出 贯穿 本 书 使 用 的 几 种 记号 约定 。 最 后 ， 我 们 
回顾 一 下 在 算法 分 析 中 常见 的 硅 干 函数 的 行为 。 


3.1 渐 近 记号 

用 来 描述 算法 渐 近 运行 时 间 的 记号 根据 定义 域 为 自然 数 集 N 王 (0，1，2，…} 的 函数 来 定义 。 
这 样 的 记号 对 描述 最 坏 情 况 运行 时 间 函 数 T(n) 是 方便 的 ， 因 为 该 函数 通常 只 定义 在 整数 输入 规 
模 上 。 然 而 ， 我 们 发 现 有 时 按 各 种 方式 活用 渐 近 记号 是 方便 的 。 例 如 ， 我 们 可 以 扩展 该 记号 到 实 
数 域 或 者 选择 性 地 限制 其 到 自然 数 的 一 个 子 集 。 然 而 ， 我 们 应 该 确保 能 理解 该 记号 的 精确 含义 ， 
以 便 在 活用 时 不 会 误 用 它 。 本 节 将 定义 一 些 基 本 的 渐 近 记号 ， 并 介绍 一 些 常见 的 活用 法 。 

渐 近 记号 、 函 数 与 运行 时 间 

正如 我 们 写 插入 排序 的 最 坏 情 况 运 行 时 间 为 8(z2) 时 那样 ， 我 们 将 主要 使 用 渐 近 记号 来 描述 
算法 的 运行 时 间 。 然 而 ， 渐 近 记 号 实际 上 应 用 于 函数 。 回 顾 一 下 ， 我 们 曾 把 插入 排序 的 最 坏 情况 
运行 时 间 刻 画 为 cx? 十 如 十 c， 其 中 a、20 和 < 是 常量 。 通 过 把 插入 排序 的 运行 时 间 写 成 602 ) ， 我 们 
除去 了 该 函数 的 某 些 细节 。 因 为 渐 近 记号 适用 于 函数 ， 我 们 所 写成 的 (02 ) 就 是 函数 an 十 加 十 c， 
所 以 上 述 情况 碰巧 刻画 了 插入 排序 的 最 坏 情况 运行 时 间 。 

本 书 中 对 其 使 用 渐 近 记号 的 函数 通常 刻画 算法 的 运行 时 间 。 但 是 渐 近 记号 也 可 以 适用 于 刻 
画 算法 的 某 个 其 他 方面 (例如 ， 算 法 使 用 的 空间 数量 ) 的 函数 ， 甚 至 可 以 适用 于 和 算法 没有 任何 关 
系 的 函数 。 

即使 我 们 使 用 渐 近 记号 来 刻画 算法 的 运行 时 间 ， 我 们 也 需要 了 解 意 指 哪个 运行 时 间 。 有 时 
我 们 对 最 坏 情况 运行 时 间 感 兴趣 。 然 而 ， 我 们 常常 希望 刻画 任何 输入 的 运行 时 间 。 换 句 话说， 我 
们 常常 希望 做 出 一 种 综合 性 地 覆盖 所 有 输入 而 不 仅仅 是 最 坏 情 况 的 陈述 。 我 们 将 看 到 完全 适合 
刻画 任何 输入 的 运行 时 间 的 渐 近 记号 。 

@ 记号 

在 第 2 章 ， 我 们 发 现 插入 排序 的 最 坏 情况 运行 时 间 为 T(n) 二 @(w)。 让 我 们 来 定义 这 个 记号 
意 指 什么 。 对 一 个 给 定 的 函数 g(n)， 用 @(g(n)) 来 表示 以 下 函数 的 集合 : 
Og(n)) = {f(n) :存在 正常 量 ao Mm BEM HA nS m AOS agn) < fin) < agin)}® 





日 ”在 集合 记号 中 ， 冒 号 意 指 “ 使 得 ”。 


[43_ 


[44 


26 


第 一 部 分 基础 知识 


各 存在 正常 量 a 和 c ， 使 得 对 于 足够 大 的 mw， 函数 SMERA ae SZ agmMZial, WAM) 
属于 集合 8(g(m))。 因 为 8(g(n)) 是 一 个 集合 ， 所 以 可 以 记 “f(n)EB(g(n))”， 以 指出 f(n) 是 
@(g(n) ) 的 成 员 。 作 为 替代 ， 我 们 通常 记 “f(n) = 二 8@(g(n))” 以 表达 相同 的 概念 。 因 为 我 们 按 这 种 
方式 活用 了 等 式 ， 所 以 你 可 能 感到 困惑 ， 但 是 在 本 节 的 后 面 我 们 将 看 到 这 样 做 有 其 好 处 。 

图 3-1(a) 给 出 了 函数 fo 5 gb1) 的 一 幅 直 观 画 面 ， 其 中 ASAM), HE mn 及 其 右边 n 
的 所 有 值 ，f(n) 的 值 位 于 或 高 于 cg(n) 且 位 于 或 低 于 agin). RAB, MHA nn, RRA f(r) 
在 一 个 常量 因子 内 等 于 g(z) 。 我 们 称 eME f(n) 的 一 个 渐 近 紧 确 界 (asymptotically tight bound) 。 





AOE) An)=O(e(n)) ADAE) 
(a) (b) (c) 


3-1 @、O 和 QQ 记号 的 图 例 。 在 每 个 部 分 ， 标 出 的 mw 的 值 是 最 小 的 可 能 值 ， 任 何 更 大 的 值 也 将 有 效 。 
(a)@ 记号 限制 一 个 函数 在 常量 因子 内 。 如 果 存 在 正常 量 mia Meo, BEE n 及 其 右边 ， 
f(n) 的 值 总 位 于 cig (nn) 与 c2g(n) 之 间或 等 于 它们 ， 那 么 记 Fa) 王 9(g(2z))。(b)O 记号 为 函数 
给 出 一 个 在 常量 因子 内 的 上 界 。 如 果 存 在 正常 量 n Mce, ERE n。 及 其 右边 ，f(n) 的 值 总 小 于 
或 等 于 cg(z) ， 那 么 记 f(n) 二 OCg(n))。(o)Q 记 号 为 孙 数 给 出 一 个 在 常量 因子 内 的 下 界 。 如 果 存 
在 正常 量 m Mce, EE mn。 及 其 右边 ，f(n) 的 值 总 大 于 或 等 于 cen), BAI fl(n)= 二 QC(g(n)) 


@(g(n)) 的 定义 要 求 每 个 成 员 f(n) € 8B(g(n)) 均 渐 近 非 负 ， 即 当 n 足够 大 时 ，f(n) 非 负 。 
( 渐 近 正 函 数 就 是 对 所 有 足够 大 的 n 均 为 正 的 函数 。) 因 此 ， 函 数 g(z) 本 身 必 为 渐 近 非 负 ， 否 则 集 
合 @(g(n)) 为 空 。 所 以 我 们 假设 用 在 @ 记号 中 的 每 个 函数 均 渐 近 非 负 。 这 个 假设 对 本 章 定义 的 
其 他 渐 近 记号 也 成 立 。 

在 第 2 章 ， 我 们 介绍 了 @ 记 号 的 一 种 非 形式 化 的 概念 ， 相 当 于 扔 掉 低 阶 项 并 忽略 最 高 阶 项 
前 的 系数 。 让 我 们 通过 使 用 形式 化 定义 证 明 方 ?一 3n 一 B(x) 来 简要 地 证 实 这 种 直 党 。 为 此 ， 我 
们 必须 确定 正常 量 c co 和 mm， 使 得 对 所 有 n 宇 mn,。， 有 : 

qn < or —3n< cn" 
用 n 除 上 式 得 : 
as + — =. Sc 
通过 选择 任何 常量 1/2, AERAR EAA "之 1 的 值 成 立 。 同 样 ， 通 过 选择 任何 常 
量 c 委 1/14， 可 以 使 左边 的 不 等 式 对 任何 n 宇 7 的 值 成 立 。 因 此 ， 通 过 选择 c= 二 1/14,， cs 二 1/2 且 


由 一 7， 可 以 证 明 广 必 一 3 一 BC0Z) 。 当 然 ， 还 存在 对 这 些 常量 的 其 他 选择 ， 但 是 重要 的 是 存在 某 个 


选择 。 要 注意 的 是 ， 这 些 常量 依赖 于 函数 二 字 一 3n; 属于 9(z) 的 不 同 函 数 通 党 需要 不 同 的 常量 。 


我 们 还 可 以 使 用 形式 化 定义 来 证 明 6n 关 B(xw)。 采 用 反 证 法 ， 假 设 存在 cc 和 nn。， 使 得 对 所 
A nzm, H Son. RMA r 除 该 式 ， 得 2 委 c /6， 因 为 c 为 常量 ， 所 以 对 任意 大 的 n， 该 
不 等 式 不 可 能 成 立 。 


第 3 章 函数 的 增长 


直 党 上 ， 一 个 渐 近 正 函数 的 低 阶 项 在 确定 渐 近 确 界 时 可 以 被 忽略 ， 因 为 对 大 的 2， 它们 是 无 
足 轻 重 的 。 当 nn 较 大 时 ， 即 使 最 高 阶 项 的 一 个 很 小 的 部 分 都 足以 支配 所 有 低 阶 项 。 因 此 ,将 a 
置 为 稍 小 于 最 高 阶 项 系数 的 值 并 将 cs 置 为 稍 大 于 最 高 阶 项 系数 的 值 能 使 @ 记号 定义 中 的 不 等 式 
得 到 满足 。 最 高 阶 项 系数 同样 可 以 被 忽略 ， 因 为 它 仅 仅 根据 一 个 等 于 该 系数 的 常量 因子 来 改变 c 
和 C2 。 

作为 一 个 例子 ， 考 虑 任意 二 次 函数 f(n) 二 ar tonte, KPa, b 和 < 均 为 种 量 且 a>>0。 扔 
掉 低 阶 项 并 忽略 常量 后 得 f(n) 一 @(Cz )。 为 了 形式 化 地 证 明 相 同 的 结论 ， 我 们 取 常 量 c =a/4, 


cy 二 7a/4 且 mw 二 2。max(|b|/a，V1c|/a)。 可 以 证 明 对 所 有 nn, A OX Lan? +bntc< 


Con’ 。 一 般 来 说 ， 对 任意 多 项 式 p(n) = Dy ain! 9 其 中 Qi 为 常量 和 且 a 二 0， 我 们 有 p(n) = O(n") 
(参见 思考 题 3-1) 。 

因为 任意 常量 是 一 个 0 阶 多 项 式 ， 所 以 可 以 把 任意 常量 函数 表示 成 Or") MOC). Ail, Ja 
一 种 记号 是 一 种 轻微 的 活用 ， 因 为 该 表达 式 并 未 指出 什么 变量 趋 于 无 穷 S 。 我 们 将 经 常 使 用 记号 
@(1) 来 意 指 一 个 常量 或 者 关于 某 个 变量 的 一 个 常量 也 数 。 

O 记号 

@ 记 号 渐 近 地 给 出 一 个 函数 的 上 界 和 下 界 。 当 只 有 一 个 渐 近 上 界 时 ， 使 用 O 记号。 对 于 给 
定 的 函数 gn), FA OCg(n))( 读 作 “ 大 Og(n)”， 有 时 仅 读 作 “Og(n)”) 来 表示 以 下 函数 的 集合 : 

O(g(n)) = 《f(n) :存在 正常 量 c 和 和 no, 使 得 对 所 有 nn 宇 mw, 有 0 二 f(n) <cg(n)} 
我 们 使 用 O 〇 记号 来 给 出 函数 的 一 个 在 常量 因子 内 的 上 界 。 图 3-1(b) 展 示 了 O 记 号 背后 的 直觉 知 
W. WE m 及 其 右边 的 所 有 值 >， 函 数 f(n) 的 值 总 小 于 或 等 于 cgl). 

RITE f(n) 二 OCg(n)) 以 指出 函数 SOBRE OLg(n)) 的 成 员 。 注 意 ，f(n) 二 8(g(n)) 蕴 涵 着 
f(n) 二 OLg(n))， 因 为 记号 是 一 个 比 O 记 号 更 强 的 概念 。 按 集合 论 中 的 写法 ， 我们 有 @(g(n)) 慰 
Olg(n))。 因 此 ， 关 于 任意 二 次 肾 数 an 十 bn 十 c， 其 中 a>0, Æ 9() 中 的 证 明 也 证 明了 任意 这 
样 的 二 次 函数 在 OC ) 中 。 也 许 更 令 人 惊奇 的 是 当 a 二 0 hf, 任意 线性 函数 az 十 也 在 O(2 ) 中 ， 
通过 取 c=at |b| 和 zxo 王 max(1， 一 p/a)， 可 以 很 容易 证 明 这 个 结论 。 

如 果 你 以 前 见 过 O 记 号 ， 你 会 发 现 我 们 这 样 书写 (如 n= 二 OC )) 很 奇怪 。 在 文献 中 ， 有 时 我 
们 发 现 O 记 号 非 形式 化 地 描述 渐 近 确 界 ， 即 已 经 使 用 @ 记号 定义 的 东西 。 然 而 ， 本 书 中 当 书 写 
f(n) 二 OCg(n)) 时 ， 我们 仅仅 要 求 gn) 的 某 个 常量 倍数 是 f(n) 的 渐 近 上 界 ， 而 不 要 求 它 是 一 个 
多 么 紧 确 的 上 界 。 在 算法 文献 中 ， 标 准 的 做 法 是 区 分 渐 近 上 界 与 渐 近 确 界 。 

使 用 O 记 号 ， 我 们 常常 可 以 仅仅 通过 检查 算法 的 总 体 结构 来 描述 算法 的 运行 时 间 。 例 如 ， 
第 2 章 中 插入 排序 算法 的 双重 舱 套 循环 结构 对 最 坏 情 况 运行 时 间 立 即 产生 一 个 OC KER: 内 
层 循环 每 次 迭代 的 代价 以 O(1) (常量 ) 为 上 界 ， 下 标 i 和 j 均 最 多 为 n， 对 于 ww 个 i 和 j 值 对 的 每 
一 对 ， 内 循环 最 多 执行 一 次 。 

既然 O 记 号 描述 上 界 ， 那 么 当 用 它 来 限制 算法 的 最 坏 情况 运行 时 间 时 ， 关 于 算法 在 每 个 输 
人 上 的 运行 时 间 ， 我 们 也 有 一 个 界 ， 这 就 是 前 面 讨 论 的 综合 性 陈述 。 因 此 ， 对 插入 排序 的 最 坏 情 
况 运 行 时间 的 界 On’ ) 也 适用 于 该 算法 对 每 个 输入 的 运行 时 间 。 然 而 ， 对 插入 排序 的 最 坏 情 况 运 
行 时 间 的 界 B(x ) 并 未 暗示 插入 排序 对 每 个 输入 的 运行 时 间 的 界 也 是 @(xw)。 例 如 ， 我 们 在 第 2 
章 曾 看 到 当 输 入 已 排 好 序 时 ， 插 入 排序 的 运行 时 间 为 O(n). 

从 技术 上 看 ， 称 插入 排序 的 运行 时 间 为 O(02 ) 有 点 不 合适 ， 因 为 对 给 定 的 n， 实 际 的 运行 时 


O ”真正 的 问题 是 通常 的 函数 记号 没有 区 分 函数 与 函数 值 。 在 4 演算 中 ， 函 数 的 参数 被 清楚 地 说 明 : 函数 n? TRE 
成 im 到， 或 者 甚至 写成 ~. 到。 然而 ， 采 用 一 种 更 严格 的 记号 将 使 代数 操作 复杂 化 ， 所 以 我 们 选择 容忍 这 种 
活用 。 
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间 是 变化 的 ， 依 赖 于 规模 为 n 的 特定 输入 。 当 我 们 说 “运行 时 间 为 OC(w)” 时 ， 意 指 存 在 一 个 
O(n’) FA PRIA f(n)， 使 得 对 的 任意 值 ， 不 管 选 择 什么 特定 的 规模 为 n 的 输入 ， 其 运行 时 间 的 上 
界 都 是 f(n)。 这 也 就 是 说 最 坏 情况 运行 时 间 为 O(n’). 

Q 记 号 

正如 O 记 号 提供 了 一 个 函数 的 渐 近 上 界 ，Q 记号 提供 了 渐 近 下 界 。 对 于 给 定 的 函数 g(n)， 
用 AEM RER Qg(n)”， 有 时 仪 读 作 “Qg Cn)”) 来 表示 以 下 函数 的 集合 : 

UEN) = (fn) FEE HE cH ny ERRA nS m A OS cga < f(n)} 

图 3-1(c) 给 出 了 Q 记号 的 直观 解释 。 对 在 n 及 其 右边 的 所 有 值 %，f(n) 的 值 总 大 于 或 等 于 
cg(n). 

根据 目前 所 看 到 的 这 些 渐 近 记 号 的 定义 ， 容 易 证 明 以 下 重要 定理 (参见 练习 3.1-5). 

定理 3.1 对 任意 两 个 函数 fn fe gln), RNA fln) 二 B(g(n))， 当 且 仅 当 fn) =le) 
E f(n)=Q(g(n)), | 

作为 应 用 本 定理 的 一 个 例子 ， 关 于 对 任意 常量 a、b 和 c， 其 中 a>0, F an’ +bnt+c=O(n’) 
KEH ARAM an Hont =QA ) 和 an: 十 bn 十 c= 二 OCrw)。 实 际 上 不 是 像 该 例子 中 所 做 的 ， 应 
用 定理 3. 1 从 渐 近 确 界 获得 渐 近 上 界 和 下 界 ， 而 是 通常 用 它 从 渐 近 上 界 和 下 界 来 证 明 渐 近 确 界 。 

当 称 一 个 算法 的 运行 时 间 ( 无 修饰 语 ) 为 Oe, 我们 意 指 对 每 个 n 值 ， 不 管 选择 什么 特 
定 的 规模 为 的 输入 ， 只 要 n 足够 大 ， 对 那个 输入 的 运行 时 间 至 少 是 g(n) 的 常量 倍 。 等 价 地 ， 
我 们 再 对 一 个 算法 的 最 好 情况 运行 时 间 给 出 一 个 下 界 。 例 如 ， 插 入 排序 的 最 好 情况 运行 时 间 为 
QCn)， 这 药 涵 着 插入 排序 的 运行 时 间 为 Q(n)。 

所 以 插入 排序 的 运行 时 间 介 于 OC) A OG’), AAC BA 的 线性 函数 与 n 的 二 次 函数 之 间 
的 任何 地 方 。 而 且 ， 这 两 个 界 是 尽 可 能 渐 近 地 紧 确 的 : 例如 ， 插 入 排序 的 运行 时 间 不 是 Q( )， 
因为 存在 一 个 输入 (例如 ， 当 输入 已 排 好 序 时 ) ， 对 该 输入 ， 揪 和 排序 在 @(n) 时 间 内 运行 。 然 而 ， 
这 与 称 插入 排序 的 最 坏 情 况 运 行 时 间 为 OM ) 并 不 矛盾 ， 因 为 存在 一 个 输入 ， 使 得 该 算法 需要 
QR ) 的 时 间 。 

等 式 和 不 等 式 中 的 渐 近 记号 

我 们 已 经 看 到 渐 近 记号 可 以 如 何 用 于 数学 公式 中 。 例 如 ， 在 介绍 O 记 号 时 ， 记 ?一 O( )”。 
我 们 还 可 能 写 过 2 十 3 十 1 一 222 十 9(z) 。 如 何 解 释 这 样 的 公式 呢 ? 

当 渐 近 记 号 独立 于 等 式 ( 或 不 等 式 ) 的 右边 ( 即 不 在 一 个 更 大 的 公式 内 ) 时 ， 如 在 n=O), 
我 们 已 经 定义 等 号 意 指 集合 的 成 员 关 系 : nE OC )。 然 而 ， 一 般 来 说 ， 当 渐 近 记号 出 现在 某 个 
公式 中 时 ， 我 们 将 其 解释 为 代表 某 个 我 们 不 关注 名 称 的 匿名 函数 。 例 如 ， 公 式 an’ +3n+1= 
2 十 @(n) 意 指 2 +3n+1=2r +f), HP f(n) 是 集合 Cn) 中 的 某 个 函数 。 在 这 个 例子 中 ， 
假设 f(n) 二 3n 十 1， 该 函数 确实 在 On 中 。 

按 这 种 方式 使 用 渐 近 记号 可 以 帮助 消除 一 个 等 式 中 无 关 紧要 的 细 市 与 混乱 。 例 如 ， 在 第 2 章 
中 ， 我 们 把 归并 排序 的 最 坏 情 况 运 行 时 间 表 示 为 递归 式 

T(n) = 2T(n/2) + O(n) 

如 果 只 对 To) 的 渐 近 行为 感 兴趣 ， 那 么 没有 必要 准确 说 明 所 有 低 阶 项 ， 它 们 都 被 理解 为 包含 在 
由 项 9(z)? 表 示 的 匿名 函数 中 。 

一 个 表达 式 中 匿名 函数 的 数目 可 以 理解 为 等 于 渐 近 记号 出 现 的 次 数 。 例 如 ， 在 表达 式 


DOOD 中 ， 只 有 一 个 匿名 函数 (一 个 ;的 函数 )。 因 此 ， 这 个 表达 式 不 同 于 OC) 十 (2) 十 … 十 


O(n)， 实 际 上 后 者 没有 一 个 清晰 的 解释 。 
在 某 些 例子 中 ， 渐 近 记 号 出 现在 等 式 的 左边 ， 例 如 
27 + @(n) = O(n’) 
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我 们 使 用 以 下 规则 来 解释 这 种 等 式 ， 无论 怎样 选择 等 号 左边 的 匿名 函数 ， 总 有 一 种 办 法 来 选择 等 号 右 
边 的 匿名 函数 使 等 式 成 立 。 因 此 ， 我 们 的 例子 意 指 对 任意 函数 fm COM, FEES MMe E 
Of), HAMMAN n A 2 有 2 十 Fo) 三 g(Gzo) 。 换 句 话 说， 等 式 右边 比 左边 提供 的 细节 更 粗糙 。 

我 们 可 以 将 许多 这 样 的 关系 链 在 一 起 ， 例 如 

2n® + 3n+1 = 二 27 十 8(n) = OC’) 

可 以 用 上 述 规则 分 别 解释 每 个 等 式 。 第 一 个 等 式 表 明 存 在 某 个 函数 fr) € B@(n)， 使 得 对 所 有 的 
n, E 27 十 3n 十 1 二 2 十 f(n)。 第 二 个 等 式 表 明 对 任意 函数 g(n) € O(n) (如 刚刚 提 到 的 f(n)), 
存在 某 个 函数 h(n)E Br )， 使 得 对 所 有 的 n， 有 2x 十 gln) 二 h(n)。 注 意 ， 这 种 解释 蕴涵 着 2x 十 
3n 十 1 二 B(w)， 这 就 是 等 式 链 直 观 上 提供 给 我 们 的 东西 。 

0 记 写 

由 O 记 号 提供 的 渐 近 上 界 可 能 是 也 可 能 不 是 渐 近 紧 确 的 。 界 2m 二 OL) 是 渐 近 紧 确 的 ， 但 
ER 2n=O ) 却 不 是 。 我 们 使 用 o 记号 来 表示 一 个 非 渐 近 紧 确 的 上 界 。 形 式 化 地 定义 oC(g(n)) 
( 读 作 “小 og(n)”) 为 以 下 集合 : 

olg(n)) = {f(nn): 对 任意 正常 量 c 汪 > 0, 存 在 常量 m > 0, RRMA nS mm A 0S fly) < gi} 

PG, 2n=o(n’), 但 是 2n’Ao(n’). 

O 记 号 与 o 记号 的 定义 类 似 。 主 要 的 区 别 是 在 SMON) P, HOSS <cg (ny) xt HH 
常量 c>O0 成 立 ， 但 在 f()) =ol(g(n)) P, FROKSf)<ce(M WAHAB ES co 成立。 直观 上 ， 在 
O 记号 中 9 = n 趋 于 无 穷 时 ， PRN 了 (nn) 相对 于 g(n) 来 说 变 得 微不足道 了 9 即 


=. (3.1) 
有 些 学 者 使 用 这 个 极限 作为 o 记号 的 定义 ; 本 书 中 的 定义 还 限定 匿名 函数 是 渐 近 非 负 的 。 


wits 

w 记 号 与 Q 记号 的 关系 类 似 于 o 记 号 与 O 记号 的 关系 。 我 们 使 用 w 记号 来 表示 一 个 非 渐 近 紧 
确 的 下 界 。 和 定义 它 的 一 种 方式 是 : 

fn) E wlg(n)) YER H gln) E o( f(n)) 
然而 ， 我 们 形式 化 地 定义 wen) GRE wer) DAW PEA: 
wen) = (ao :对 任意 正常 量 c 之 0, 存在 常量 mo > OREM AA nS ms AOS gm < fi} 
PG, n’?/2=a(n), (AE n’/2Aol(n’), KK fn) =a g(n)) BBS 
lim fn) _ 


n» g(n) 
也 就 是 说 ， 如 果 这 个 极限 存在 ， 那 么 当 n 趋 于 无 穷 时 ，f(n) 相 对 于 g(z) 来 说 变 得 任意 大 了 。 
比较 各 种 函数 
实数 的 许多 关系 性 质 也 适用 于 渐 近 比较 。 下 面 假定 SMA g(n) 渐 近 为 正 。 
传递 性 ， 
f(r) = @g(n)) E gn) = O}CA(n)) ”蕴涵 fC) = @(h(n)) 
f(n) = Olg(n)) E gi) 二 Ohln)) ”蕴涵 f(n) = OC(h(n)) 
fn) = Q(g(n)) E gna) =0AAM) Bw fn) = ACACM)) 
f(n) = o(g(n)) E g(n) = o(h(n)) 蕴涵 fn) = o(h(n)) 
. fln)=w(g(n)) E gin) = wlh(n)) Bm fn) = wl(h(n)) 
自 反 性 : 
fin) = @Cf@)) 
fn) = OCf(n)) 
fin) = aACf@)) 
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对 称 性 : 
fn) = @g(n)) 当 且 仅 当 gir) = Of) 
转 置 对 称 性 : 
fn) = Ol(g(n)) 当 且 仅 当 gir) = AFM) 
fn) 二 olg(n)) 当 且 仅 当 gy = w(f(n)) 
因为 这 些 性 质 对 渐 近 记号 成 立 ， 所 以 可 以 在 两 个 函数 了 与 g 的 渐 近 比较 和 两 个 实数 a 与 5 的 
比较 之 间 做 一 种 类 比 。 
f(r) = Og(n)) RU Fab 
fn) = Q(g(n)) XMF aob 
fn) = B(g(n)) XMF a=b 
f(r) = o(g(n)) 类 似 于 a 二 6 
fn) = wl(g(n)) 类 似 于 ap 
车 f(n)=o(g(n)), WE FG2) 渐 近 小 于 gin); Gf =alg(n)), WE fC) FULAF gn). 
然而 ， 实 数 的 下 列 性 质 不 能 携带 到 渐 近 记号 ， 

三 分 性 ”对 任意 两 个 实数 & 和 pb， 下 列 三 种 情况 恰 有 一 种 必须 成 立 : ab, a=b, Ra>bd, 
虽然 任意 两 个 实数 都 可 以 进行 比较 ， 但 不 是 所 有 函数 都 可 渐 近 比较 。 也 就 是 说 ， 对 两 个 晒 数 
f(A gn), hE fC) =OC¥e (nm) A Fa) 一 QCs(Cz)) 都 不 成 立 。 人 例如， 我们 不 能 使 用 渐 近 记号 
HERR n Ant", AA nba 0 5 2 之 间 摆 动 ， 取 介 于 两 者 之 间 的 所 有 值 。 


练习 
3.1-1 假设 Fo) 与 g(02) 都 是 渐 近 非 负 函 数 。 使 用 @ 记 号 的 基本 定义 来 证 明 max(f(n), g(n)) = 
OC f(n)+g(n)). 
3.1-2 WH: 对 任意 实 常 量 a Alb, HH o>o, A 
(n+a)’ = Or) (3. 2) 
3.1-3 解释 为 什么 “算法 A 的 运行 时 间 至 少 是 O(z )” 这 一 表述 是 无 意义 的 。 
3.1-4 2 一 O(27) 成 立 吗 ? 2” =O0(2") MIG? 
3.1-5 证 明和 定理 3. 1。 
3.1-6 WH: 一 个 算法 的 运行 时 间 为 8(g(n)) 当 和 且 仅 当 其 最 坏 情况 运行 时 间 为 Ol(g(n)), HÈ 
最 好 情况 运行 时 间 为 Q(g(n))。 
3.1-7 WH: ol(g(m)) 门 w(g(n)) 为 空 集 。 
3.1-8 ”可 以 扩展 我 们 的 记号 到 有 两 个 参数 n film 的 情形 ， 其 中 的 nn 和 mm 可 以 按 不 同 速率 独立 地 
趋 于 无 穷 。 对 于 给 定 的 函数 gl(n，m)， 用 OC(g(n，m)) 来 表示 以 下 函数 集 : 
O(g(n,m)) 二 《fln,m) :存在 正常 量 ccm 和 wm EARMA nS m R mm, 
AO< fl(n,m) < cg (n,m)} 
对 QCegl(n，m)) 和 BCgln，m)) 给 出 相应 的 定义 。 


3.2 标准 记号 与 常用 函数 
本 节 将 回顾 一 些 标 准 的 数学 函数 与 记号 并 探索 它们 之 间 的 关系 ， 还 将 阐明 渐 近 记号 的 应 用 。 
单调 性 
A m<n AM f (m)<f(n), WRAS fn) ERI. FM, A mn 蕴涵 fm) > 
f(r), RR Fo) 是 单调 递减 的 。 若 m 过 n 蕴涵 Cm) 二 fl(n)， 则 函数 fln) 是 严格 递增 的 。 和 大 


-53] m<nA fr) >f(n), WR fln) 是 严格 递减 的 。 
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向 下 取 整 与 向 上 取 整 
对 任意 实数 z， 我 们 用 [xz] 表示 小 于 或 等 于 z 的 最 大 整数 ( 读 作 “z 的 向 下 取 整 >) HAI x be 
示 大 于 或 等 于 z 的 最 小 整数 ( 读 作 “z 的 向 上 取 整 ”)。 对 所 有 实数 x, 
a-l<lreJ<ae<[zl<xrtl (3. 3) 
对 任意 整数 N, 
[n/2]+Ln/2]= n 
对 任意 实数 c20 和 整数 a,b>0, 








[z/al] [z 
for alge (3. 4) 
Lz/al|_|z 
[eee |= z| (3.5) 
+ (b—1) 
JZ |<? ; (3. 6) 
|4 |> 5e (3.7) 
回 下 取 整 函数 F(z) 王 Lzj 是 单调 递增 的 ， 向 上 取 整 函数 f(x) 二 [z| 岂 是 单调 递增 的 。 
模 运算 
对 任意 整数 a 和 任意 正 整数 上 ，a modn 的 值 就 是 商 a/n 的 余数 : 
amodn = a—n|a/n| (3. 8) 
结果 有 
0< amodn < n (3.9) 


给 定 一 个 整数 除 以 另 一 个 整数 的 余数 的 良 定义 后 ， 可 以 方便 地 引入 表示 余数 相等 的 特殊 记 
5., #(amodn)=(bmodn), Wit a=b(modn), HPR nia 等 价 于 2。 换 句 话说 ， 若 < 与 除 
以 nn 时 具有 相同 的 余数 ， 则 a=blmodn). rii, a=blmodn) 4 HAL 4 n Æ b—a 的 一 个 因子 。 
Ata nha 不 等 价 于 2， 则 记 a 关 b(modn)。 

多 项 式 

给 定 一 个 非 负 整数 d4，n 的 d 次 多 项 式 为 具有 以 下 形式 的 一 个 函数 p(n): 

p(n) = > or 

其 中 常量 w as ts a 是 多 项 式 的 系数 且 os 天 0。 一 个 多 项 式 为 渐 近 正 的 当 且 仅 当 a>0. WF 
一 个 d 次 渐 近 正 的 多 项 式 pn, H p(n)= 二 Bln*)。 对 任意 实 常 量 a0, MA 2 单调 递增 ， 对 任意 
实 常 量 a<0, PRA 2 单调 递减 。 若 对 某 个 常量 &A， 有 f(n)= 二 OCn*)， 则 称 函 数 f(n) 是 多 项 式 有 界 的 。 

指数 

对 所 有 实数 a 二 0、m 和 n， 我 们 有 以 下 恒等式 : 


a =] 
a' =a 
a'=1/a 


(a”)" = a™ 
(a™)” = (a")” 
a'ar =a" 
对 所 有 n 和 a 之 1， 函 数 a KF nm 单调 递增 ,方便 时 ， 我们 假定 O =1. 

可 以 通过 以 下 事实 使 多 项 式 与 指数 的 增长 率 互 相关 联 。 对 所 有 使 得 a 二 1 的 实 常 量 a Mb, A 


b 
lim 二 一 0 (3. 10) 


n=œ A 
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据 此 可 得 
nm = ola") 
因此 ， 任 意 底 大 于 1 的 指数 函数 比 任意 多 项 式 函 数 增长 得 快 。 
使 用 e 来 表示 自然 对 数 函 数 的 底 2. 718 28…， 对 所 有 实数 xz， 我们 有 


其 中 “!" 表 示 本 节 后 面 定义 的 阶乘 函数 。 对 所 有 实数 RARER 
ieee (3. 12) 
其 中 只 有 当 z 一 0 时 等 号 才 成 立 。 当 |z| 二 1 时 ， 我们 有 近似 估计 
le er < we (3. 13) 


当 z>0 时 ,用 1 十 z 作 为 e 的 近似 是 相当 好 的 : 
e 二 1 十 zx 十 Q(z) 
(在 这 个 等 式 中 ， 渐 近 记 号 用 来 描述 当 zx>0 而 不 是 zco 时 的 极限 行为 )。 对 所 有 c RITA: 


lim( 1+2) = e (3. 14) 


对 数 
我 们 将 使 用 下 面 的 记号 : 
lgn = log,n (以 2 为 底 的 对 数 ) 
Inn = log.n (自然 对 数 ) 
lgn 二 (lgn)* (RR) 
lglgn 二 lg(lgn) (84) 
我 们 将 采用 的 一 个 重要 记号 约定 是 对 数 函 数 只 适用 于 公式 中 的 下 一 项 ， 所 以 lgn 十 & 意 指 (lgn) 十 k 
而 不 是 lg Cn 十 k)。 如 果 常 量 5 汪 >1， 那 么 对 n>0, wR logn 是 严格 递增 的 。 
对 所 有 实数 a0, b>0, coo An, F 
a= ps2 
log (ab) = log.a + log.b 
log,a” = nlog,a 
log.a 


log,a = log b (3. 15) 





log, (1/a) =— log,a 
log,a = [ed 
qe = hte (3. 16) 
其 中 ， 在 上 面 的 每 个 等 式 中 ， 对 数 的 底 不 为 1。 
根据 等 式 (3. 15) ， 对 数 的 底 从 一 个 常量 到 另 一 个 常量 的 更 换 仅 使 对 数 的 值 改变 一 个 常量 因子 ， 
所 以 当 我 们 不 关心 这 些 常量 因子 时 ， 例 如 在 O 记 号 中 ， 我 们 经 常 使 用 记号 “lgn”。 计 算 机 科学 家 发 
M 2 是 对 数 的 最 自然 的 底 ， 因 为 非常 多 的 算法 和 数据 结构 涉及 把 一 个 问题 分 解 成 两 个 部 分 。 
当 |z|<1 时 ，ln(1 十 z) 存 在 一 种 简单 的 级 数 展开 : 


3 


xz X Xs x sia. 
对 z>> 一 1， 还 有 下 面 的 不 等 式 : 


Thy = ind +r) [Kz (3.17) 
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其 中 仅 对 z 一 0 等 号 成 立 。 
若 对 某 个 常量 &，f(n)= 二 Olg n), MRAR f(n) 是 多 对 数 有 界 的 。 在 等 式 (3.10) 中 ,通过 
用 Ign 代替 n 并 用 2 代替 a， 可 以 使 多 项 式 与 多 对 数 的 增长 互相 关联 : 
lim eyes = lim E = 0 


(27)' 
根据 这 个 极限 ， 我 们 可 以 得 到 : MERA Salo, 
lg’ n = o(n*) 
因此 ， 任 意 正 的 多 项 式 函 数 都 比 任意 多 对 数 函 数 增长 得 快 。 
阶乘 
记号 n! AEn 的 阶乘 2 定义 为 对 整数 z 字 0， 有 
dts r 车 n= 二 0 
` ne(n—1)! #n>0 


因此 , n! 51° 2e 3n, 
阶乘 函数 的 一 个 绊 上 界 是 2! 三 w*， 因 为 在 阶乘 中 ，n 项 的 每 项 最 多 为 nx。 斯 特 林 (Stirling) 
近似 公式 
n! = Jimn(*)"(1+0(=)) (3. 18) 
给 出 了 一 个 更 紧 确 的 上 界 和 下 界 ， 其 中 e 是 自然 对 数 的 底 。 正 如 练习 3. 2-3 要 求证 明 的 ， 


n! = o(n") 
n! = w(2") 
lg (n!) = O(nlgn) (3. 19) 
其 中 斯 特 林 近似 公式 有 助 于 证 明 等 式 (3. 19)。 对 所 有 nn 宇 1， 下 面 的 等 式 也 成 立 : 


n! = Vim( 2) e (3. 20) 


其 中 


1 


<an < To, 


l 
Int] (3. 21) 
多 重 函 数 
我 们 使 用 记号 P (2) 来 表示 函数 SMEA ;次 作用 于 一 个 初 值 > 上 。 形 式 化 地 ， 假 设 f(n) 


为 实数 集 上 的 一 个 函数 。 对 非 负 整数 ;， 我 们 递归 地 和 定义 
f? (n) = 


例如 ， 若 f)=2n, WM f° (四 一 27。 

多 重 对 数 函 数 

我 们 使 用 记号 lg* n( 读 作 “log E n”) 来 表示 多 重 对 数 ， 下 面 会 给 出 它 的 定义 。 假 设 lg“n 定义 
如 上 ， 其 中 f(n) 二 lgn。 因 为 非 正 数 的 对 数 无 定义 ， 所 以 只 有 在 lg” n>0 hlg n EEL. 一 
定 要 区 分 lg” n WB n 开始， 连续 应 用 对 数 函数 i 次 ) 与 lg n(n 的 对 数 的 ; KE). TRESS 
重 对 数 函 数 为 


n 着 i 二 0 
ffi?) #i>o 


lg" n = min{i >0: lg?n< 1} 
多 重 对 数 是 一 个 增长 非常 慢 的 函数 : 
lg*2=1 
lg"4=2 
lg" 16 = 3 
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lg" 65 536 = 4 
lg* (255538) 一 5 


因为 在 可 探测 的 宇宙 中 原子 的 数目 估计 约 为 10”， 远 远 小 于 2 ， 所 以 我 们 很 少 遇 到 一 个 使 


lg* n> SHURA RUE n. 
斐 波 那 契 数 
使 用 下 面 的 递归 式 来 定义 斐 波 那 契 数 : 
F, 一 0 
F, =1 
F, = Fa tF, i22 
因此 ， 每 个 斐 波 那 契 数 都 是 两 个 前 面 的 数 之 和 ， 产 生 的 序列 为 
0,1,1,2,3,5,8,13,21,34,55,°. 


辈 波 那 身 数 与 黄金 分 割 率 #$ 及 其 共 思 d 数 5 有关 ， 它 们 是 下 列 方程 的 两 个 根 : 


zx 二 十 1 
并 由 下 面 的 公式 给 出 (参见 练习 3. 2-6): 
$= 1+Y5 1.61803... 


一 a A 0. 618 03+: 


特别 地 ， 我 们 有 
t=? 





可 以 使 用 归纳 法 来 证 明 这 个 结论 (练习 3. 2-7). ee 


Fal 
BRS 


这 蕴涵 着 


(3. 22) 


(3. 23) 


(3. 24) 


(3. 25) 


这 就 是 说 第 ;个 斐 波 那 契 数 F ET ENEADO. Ale, RAR RERNE. 


练习 


3. 2-1 


3. 2-2 
3. 2-3 
x3. 2-4 
*3. 2-5 
3. 2-6 
3. 2-7 


[60] 3.2-8 


证 明 : E SCO AN gM EAEN RR, WRR S + 2) fC eln EREA 
的 ， 此 外 ， ro {MA g(n) 是 非 负 的 ， 则 f(r) 。 g(n) 是 单调 递增 的 。 
证 明 等 式 (3. 16). 
证 明 等 式 (3. 19)。 并 证 明 n! = 二 w(2”) 且 n! =o(n"). 
KA len! 多 项 式 有 界 吗 ?函数 [lg lgn1! 多 项 式 有 界 吗 ? 
如 下 两 个 函数 中 ， 哪 一 个 渐 近 更 大 些 : lg(lg* nm) 还 是 lg* gn)? 
TEA: BARI 6 RASS Be’ SrL. 
用 归纳 法 证 明 : 第 i 个 韭 波 那 契 数 满足 等 式 
_#—$ 

R= 
其 中 % 是 黄金 分 割 率 且 % EER. 
WEHR: & Ink=O(n) BMA R=O(n/Inn). 
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思考 题 


3-1 


3-2 


3-4 


(多 项 式 的 渐 近 行为 ) 假设 p(n) = Dyan 是 一 个 关于 的 4 次 多 项 式 ， 其 中 a0, k# 


一 个 常量 。 使 用 渐 近 记号 的 定义 来 证 明 下 面 的 性 质 。 

a. kod, Mj p(n) =O"). 

b. 若 k<d, Wi pd) =r"). 

ce Hk=d, Wl pi =O"). 

d. Æ kod, Mj p(n =o(n"'). 

e Bk<d, M PMS Ww). 

(相对 渐 近 增长 ) 为 下 表 中 的 每 对 表达 式 (A，B) 指 出 A 是 否 是 B 的 O、o、Q、w 或 @。 假 
Wel. OO c>>1 均 为 常量 。 回 答应 该 以 表格 的 形式 ， 将 “是 "或 “ 否 " 写 在 每 个 空格 中 。 


A B O o Q w © 

a Igtn ell 
b on | | | 
| 
dg | E 
e ea) eo | 
(根据 渐 近 增长 率 排 序 ) 


3. 根据 增长 的 阶 来 排序 下 面 的 函数 ， 即 求 出 满足 gı SAC); go 一 048s)，…，8o = 
Q(ss) 的 函数 的 一 种 排列 Bis 829 °°*s E300 把 你 的 表 划 分 成 等 价 类 ， 使 得 函数 fm 和 
gs(2a) 在 相同 类 中 当 且 仅 当 .AD 一 BCg(z))。 


Igdg*n) 2)" (V2) n’ n! (lgn)! 
(>) | n’ lg n = Ig(n!) 2 ne 
In Inn lg*n ne. 2” 7'slen Inn 1 

9lgn (lgn)'8" en Alen (n+ 1) | Vign 

lg* (dgn) 27% n 2" nlgn 22 


b. 给 出 非 负 函数 f(n) 的 一 个 例子 ， 使 得 对 所 有 在 (a) 部 分 中 的 函数 g (n), f(D) BAB 
Olg;(n)) 也 不 是 Q(g;(n))。 

〈 渐 近 记 号 的 性 质 ) 假设 fA g(n) 为 渐 近 正 函 数 。 证 明 或 反驳 下 面 的 每 个 猜测 。 

a. f(n) =O( g(n)) Bah g(n) 二 OCf(n))。 

b. f(n) +g(n) =@Cmin( fln), g(n))). 

c f(n) =O g(n)) AMA lg (fC) ) =OUg(g(n))), ERWE RBA n, A lg(e(n)) S1 
A fl(n) 之 1。 

d. FD =O MAA 2° 一 OC2em ), 

e f(n) =OC( f(n))*) 。 

f. f(n) =OC g(n)) Fah gd) =O f(n)) 。 

g. f(n)=@(f(n/2)) . 

h. f(n) tol f(a) ) = OC f(n)) 。 
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3-5 (OF @Q 的 一 些 变形 ) 某 些 作 者 用 一 种 与 我 们 稍微 不 同 的 方式 来 定义 Q; 假设 我 们 使 用 0 
( 读 作 “Q 无 穷 ”) 来 表示 这 种 可 选 的 定义 。 若 存在 正常 量 c， 使 得 对 无 穷 多 个 整数 mw， 有 S 
cg(n) 宇 0， 则 称 f(7) = 二 QCg(n))。 

a. 证 明 : 对 渐 近 非 负 的 任意 两 个 函数 f(n) 和 g(n)， 或 者 fl(n) 二 OCg(n)) 或 者 fl) =A(g(n)) 
或 者 二 者 均 成 立 ， 然 而 ， 如 果 使 用 Q 来 代替 Q， 那 么 该 命题 并 不 为 真 。 
b. 描述 用 Q 代替 Q 来 刻画 程序 运行 时 间 的 潜在 优点 与 缺点 。 
某 些 作者 也 用 一 种 稍微 不 同 的 方式 来 定义 O; 假设 使 用 O' 来 表示 这 种 可 选 的 定义 。 我 
们 称 f(n) =O'(g(n)) K BALK | f(r) | =OCg(n)). 
c 如 果 使 用 O 代 替 O 但 仍然 使 用 Q， 定 理 3. 1 中 的 “ 当 且 仅 当 ” 的 每 个 方向 将 出 现 什么 情况 ? 
有 些 作者 定义 CG( 读 作 “ 软 0”) 来 意 指 忽 略 对 数 因子 的 O: 
O(g(n)) = { f(n) :存在 正常 量 csk Ft no ,使 得 对 所 有 n © m ,有 0< f(r) < (n) lg*(n)} 
d. 用 一 种 类 似 的 方式 定义 和 百 。 证 明 与 定理 3. 1 相对 应 的 类 似 结论 。 
3-6 (多 重 函数 ) 我 们 可 以 把 用 于 函数 lg* 中 的 重复 操作 符 * 应 用 于 实数 集 上 的 任意 单调 递增 函 
数 f(n)。 对 给 定 的 常量 cER， 我 们 定义 多 重 函 数 f* 为 
fi (n) = minfi>0:f? (n) <c} 
该 函数 不 必 在 所 有 情况 下 都 为 良 定义 的 。 换 句 话说 , 值 上 产 (n) 是 为 缩小 其 参数 到 或 更 小 
所 需要 函数 重复 应 用 的 数目 。 
对 如 下 每 个 函数 fln) 和 常量 <， 给 出 用 (n) 的 一 个 尽量 紧 确 的 界 。 





本 章 注 记 

Knuth[209 Eğ O 记 号 的 起 源 到 1892 年 由 P. Bachmann 编写 的 一 本 数论 教材 。E. Landau Æ 
1909 年 发 明 o 记 号 ， 用 于 讨论 素数 的 分 布 。Knuth[L213] 提 倡 Q 和 8@ 记 号， 以 纠正 文献 中 流行 的 
但 技术 上 草率 的 对 上 界 和 下 界 都 使 用 O 记号 的 常规 。 许 多 人 在 @ 记号 技术 上 更 准确 的 地 方 继续 
使 用 O 记号。 关于 渐 近 记号 的 历史 与 发 展 的 深入 讨论 ， 可 以 参考 KnuthL209，213j] 以 及 Brassard 
和 Bratleyl 55 撰写 的 著作 。 

虽然 各 种 定义 在 大 多 数 公共 的 情况 下 是 一 致 的 ， 但是， 不 是 所 有 的 作者 都 用 相同 的 方式 来 
定义 渐 近 记号 。 一 些 可 选 的 定义 包括 不 是 渐 近 非 负 的 函数 ， 只 要 它们 的 绝对 值 是 适当 有 界 的 。 

等 式 (3. 20) 应 归功 于 Robbins[297]。 基 本 数学 函数 的 其 他 性 质 可 以 在 任何 一 本 好 的 数学 参 
考 书 中 找到 ， 例 如 ，Abramowitz 和 Stegun[ 1 或 ZwillingerL362]， 也 可 以 在 微 积分 书 中 找到 ， 例 
如 Apostol[18] 或 Thomas 等 [334]。KnuthL209] 以 及 Graham, Knuth 和 Patashnik[ 152 | 包含 大 量 
用 于 计算 机 科学 中 的 离散 数学 的 有 关 材料 。 
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分 治 策 略 


在 2.3.1 节 中 ， 我 们 介绍 了 归并 排序 ， 它 利用 了 分 治 策略 。 回 忆 一 下 ， 在 分 治 策略 中 ， 我 们 
递归 地 求解 一 个 问题 ， 在 每 层 递归 中 应 用 如 下 三 个 步骤 ， 

分 解 (Divide) 步 骤 将 问题 划分 为 一 些 子 问题 ， 子 问题 的 形式 与 原 问题 一 样 ， 只 是 规模 更 小 。 

解决 (Conquer) 步 又 递归 地 求解 出 子 问 题 。 如 果子 问题 的 规模 足够 小 ， 则 停止 递归 ， 直 接 求 解 。 

合并 (Combine) 步 骤 将 子 问题 的 解 组 合成 原 问题 的 解 。 

当 子 问题 足够 大 ， 需 要 递归 求解 时 ， 我 们 称 之 为 递归 情况 (recursive case)。 当 子 问题 变 得 足 
够 小 ， 不 再 需要 递归 时 ， 我 们 说 递归 已 经 “ 触 底 ”， 进 入 了 基本 情况 (base case) 。 有 时 ， 除 了 与 原 
问题 形式 完全 一 样 的 规模 更 小 的 子 问 题 外 ， 还 需要 求解 与 原 问题 不 完全 一 样 的 子 问 题 。 我 们 将 
这 些 子 问题 的 求解 看 做 合并 步骤 的 一 部 分 。 

在 本 章 中 ， 我们 将 看 到 更 多 基于 分 治 策略 的 算法 。 第 一 个 算法 求解 最 大 子 数组 问题 ， 其 输入 
是 一 个 数值 数组 ， 算 法 需要 确定 具有 最 大 和 的 连续 子 数组 。 然 后 我 们 将 看 到 两 个 求解 nX n 和 矩阵 
乘法 问题 的 分 治 算法 。 其 中 一 个 的 运行 时 间 为 9(2a) ， 并 不 优 于 平凡 算法 。 但 另 一 算法 (Strassen 
算法 ) 的 运行 时 间 为 0(02” )， 渐 近 时 间 复 杂 性 击败 了 平凡 算法 。 

递归 式 

递归 式 与 分 治 方法 是 紧密 相关 的 ， 因 为 使 用 递归 式 可 以 很 自然 地 刻画 分 治 算法 的 运行 时 间 。 
一 个 递归 式 《recurrence) 就 是 一 个 等 式 或 不 等 式 ， 它 通过 更 小 的 输入 上 的 函数 值 来 描述 一 个 函数 。 
例如 ， 在 2. 3. 2 节 中 ， 我 们 用 递归 式 描 述 了 MERGE-SORT 过 程 的 最 坏 情 况 运行 时 间 T): 

@(1) 车 n= 二 1 


Toe 4.1 
(一 2Towy2) 十 go #n>l ee 





求解 可 得 Tin) =O(nlgn). 
递归 式 可 以 有 很 多 形式 。 例 如 ， 一 个 递归 算法 可 能 将 问题 划分 为 规模 不 等 的 子 问 题 ， 如 2/3 
对 1/3 的 划分 。 如 果 分 解 和 合并 步骤 都 是 线性 时 间 的 ， 这 样 的 算法 会 产生 递归 式 Tn) = 
T(2n/3) + T(n/3) + @(n), 
子 问 题 的 规模 不 必 是 原 问 题 规模 的 一 个 固定 比例 。 例 如 ， 线 性 查找 的 递归 版 本 (练习 2. 1-3) 
仅 生成 一 个 子 问题 ， 其 规模 仅 比 原 问 题 的 规模 少 一 个 元 素 。 每 次 递归 调用 将 花费 常量 时 间 再 加 
上 下 一 层 递 归 调用 的 时 间 ， 因 此 递归 式 为 Tm) 二 Tn 一 1) 十 8(1)。 
本 章 介 绍 三 种 求解 递归 式 的 方法 ， 即 得 出 算法 的 “9? 或 “0?” 渐 近 界 的 方法 : 
。 代入 法 ”我 们 猜测 一 个 界 ， 然 后 用 数学 归纳 法 证 明 这 个 界 是 正确 的 。 
。 递归 树 法 ”将 递归 式 转换 为 一 棵 树 ， 其 结 点 表示 不 同 层次 的 递归 调用 产生 的 代价 。 然 后 
采用 边界 和 技术 来 求解 递归 式 。 
。 主 方法 ”可 求解 形 如 下 面 公式 的 递归 式 的 界 : 
T(n) = aT (n/b) + f(r) (4, 2) 
Ep al, O>1, fMB—-t*+#ENRK. ARERR, CRIT KR 
个 分 治 算法 : 生成 a 个 子 问题 ， 每 个 子 问题 的 规模 是 原 问 题 规模 的 1/56， 分 解 和 合并 步 
又 总 共 花 费时 间 为 f(n)。 
为 了 使 用 主 方法 ， 必 须要 熟 记 三 种 情况 ， 但 是 一 旦 你 掌握 了 这 种 方法 ， 确 定 很 多 简单 递归 式 
的 渐 近 界 就 变 得 很 容易 。 在 本 章 中 ， 我 们 将 使 用 主 方法 来 确定 最 大 子 数组 问题 和 和 矩阵 相 乘 问题 
的 分 治 算法 的 运行 时 间 ， 本 书 中 其 他 使 用 分 治 策略 的 算法 也 将 用 主 方法 进行 分 析 。 
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我 们 偶尔 会 遇 到 不 是 等 式 而 是 不 等 式 的 递归 式 ， 例 如 TC(n) 志 2T(n/2) 十 Bn)。 因 为 这 样 一 种 递归 
式 仅 描述 了 Tm) 的 一 个 上 界 ， 因 此 可 以 用 大 O 符 号 而 不 是 日 符号 来 描述 其 解 。 类 似 地 ， 如 果 不 等 式 
为 TOm) 宇 2T(n/2) 十 Bln)， 则 由 于 递归 式 只 给 出 了 TO) 的 一 个 下 界 ， 我 们 应 使 用 Q 符号 来 描述 其 解 。 

递归 式 技术 细节 

在 实际 应 用 中 ， 我 们 会 忽略 递归 式 声 明和 求解 的 一 些 技术 细节 。 例 如 ， 如 果 对 个 元 素 调 用 
MERGE-SORT， 当 nn 为 奇数 时 ， 两 个 子 问题 的 规模 分 别 为 Ln/2J 和 [n/21， 准 确 来 说 都 不 是 n/2， 
AAH n 是 奇数 时 ，n/2 不 是 一 个 整数 。 技 术 上 ， 描 述 MERGE-SORT 最 坏 情况 运行 时 间 的 准确 
的 递归 式 为 
@(1) n=l 
T([n/2)) + TCLn/2)+0n) #n>1 

边界 条 件 是 另 一 类 我 们 通常 忽略 的 细节 。 由 于 对 于 一 个 常量 规模 的 输入 ， 算 法 的 运行 时 间 为 
Ae, ATE Bw 2， 表示 算法 运行 时 间 的 递归 式 一 般 为 To) =001). Ak, HAE, 
我 们 一 般 忽 略 递 归 式 的 边界 条 件 ， 假 设 对 很 小 的 n，T(n) 为 常量 。 例如， 递归 式 (4. 1) 常 被 表示 为 

T(n) = 2T(n/2) + @(n) (4. 4) 
去 掉 了 n 很 小 时 函数 值 的 显 式 描述 。 原 因 在 于 ， 虽 然 改 变 T(1) 的 值 会 改变 递归 式 的 精确 解 ， 但 
改变 幅度 不 会 超过 一 个 常数 因子 ， 因 而 函数 的 增长 阶 不 会 变化 。 

当 声 明 、 求 解 递归 式 时 ， 我 们 常常 忽略 问 下 取 整 、 向 上 取 整 及 边界 条 件 。 我 们 先 忽 略 这 些 细 
节 ， 稍 后 再 确定 这 些 细节 对 结果 是 否 有 较 大 影响 。 通 常 影响 不 大 ， 但 你 需要 知道 什么 时 候 会 影响 
不 大 。 这 一 方面 可 以 依靠 经 验 来 判断 ， 另 一 方面 ， 一 些 定理 也 表明 ， 对 于 很 多 刻画 分 治 算法 的 递 
归 式 ， 这 些 细节 不 会 影响 其 渐 近 界 (参见 定理 4. 1) 。 但 是 ， 在 本 章 中 ， 我 们 会 讨论 某 些 细 节 ， 展 
示 递 归 式 求解 方法 的 要 点 。 


4.1 最 大 子 数组 问题 

假定 你 获得 了 投资 挥发 性 化 学 公司 的 机 会 。 与 其 生产 的 化 学 制品 一 样 ， 这 家 公司 的 股票 价 
格 也 是 不 稳定 的 。 你 被 准许 可 以 在 某 个 时 刻 买 进 一 股 该 公司 的 股票 ， 并 在 之 后 某 个 日 期 将 其 卖 
出 ， 买 进 卖 出 都 是 在 当天 交易 结束 后 进行 。 为 了 补偿 这 一 限制 ， 你 可 以 了 解 股票 将 来 的 价格 。 你 
的 目标 是 最 大 化 收益 。 图 4-1 给 出 了 17 天 内 的 股票 价格 。 第 0 天 的 股票 价格 是 每 股 100 美元 ， 你 
可 以 在 此 之 后 任何 时 间 买 进 股票 。 你 当然 希望 “ 低 价 买 进 ， 高 价 卖 出 ”一 一 在 最 低 价格 时 买 进 股 
票 ， 之 后 在 最 高 价格 时 卖 出 ， 这 样 可 以 最 大 化 收益 。 但 遗憾 的 是 ， 在 一 段 给 定时 期 内 ， 可 能 无 法 
做 到 在 最 低 价 格 时 买 进 股票 ， 然 后 在 最 高 价格 时 卖 出 。 例 如 ， 在 图 4-1 中 ， 最 低 价格 发 生 在 第 7 
天 ， 而 最 高 价格 发 生 在 第 1 天 一 一 最 高 价 在 前 ， 最 低 价 在 后 。 
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T(n) = (4. 3) 


wo LN = 
A aa 
| | 
ae 
60 

0 l 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 

0 1 2 3 4 5 6 7 8 9 10 It 12 13 14 15 16 

价格 |100 113 110 85 105 102 86 63 81 101 94 106 101 79 94 90 97 
变化 13 -3 -25 20 -3 -16 -23 18 20 -7 12 -5 -22 15 -4 7 


图 4-1 17 天 内 ， 每 天 交易 结束 后 ， 挥 发 性 化 学 公司 的 股票 价格 信息 。 横 轴 表 示 日 期 ， 纵 轴 表 
示 股 票 价格 。 表 格 的 最 后 一 行 给 出 了 股票 价格 相对 于 前 一 天 的 变化 


你 可 能 认为 可 以 在 最 低 价格 时 买 进 ， 或 在 最 高 价格 时 卖 出 ， 即 可 最 大 化 收益 。 例 如 ， 在 图 4-1 
中 ， 我 们 可 以 在 第 7 天 股票 价格 最 低 时 买 人 ， 即 可 最 大 化 收益 。 如 果 这 种 策略 总 是 有 效 的 ， 则 确 
定 最 大 化 收益 是 非常 简单 的 : 寻找 最 高 和 最 低 价格 ， 然 后 从 最 高 价格 开始 向 左 寻 找 之 前 的 最 低 
价格 ， 从 最 低 价格 开始 向 右 寻找 之 后 的 最 高 价格 ， 取 两 对 价格 中 差 值 最 大 者 。 但 图 4-2 给 出 了 一 
个 简单 的 反例 ， 显 示 有 时 最 大 收益 既 不 是 在 最 低 价格 时 买 进 ， 也 不 是 在 最 高 价格 时 卖 出 。 
11 
10 


天 0 1 2 3 4 

价格 |10 11 7 10 6 

7 变化 1 -4 3 -4 
6 

0 | 2 3 4 

图 4-2 本 例 说 明 最 大 收益 并 不 一 定 从 最 低 价 格 开始 或 者 到 最 高 价格 结束 。 与 图 4-1 
一 样 ， 横 轴 表 示 日 期 ， 纵 轴 表 示 价 格 。 在 本 例 中 ， 最 大 收益 为 每 股 3 美元 ， 
第 2 天 买 进 ， 第 3 天 卖 出 可 获得 此 最 大 收益 。 第 2 天 的 价格 7 美元 并 非 最 低 
价格 ， 而 第 3 天 的 价格 10 美元 也 并 非 最 高 价格 


暴力 求解 方法 
我 们 可 以 很 容易 地 设计 出 一 个 暴力 方法 来 求解 本 问题 :简单 地 尝试 每 对 可 能 的 买 进 和 卖 出 


日 期 组 合 ， 只 要 卖 出 日 期 在 买 人 日 期 之 后 即 可 。” 天 中 共有 (”) 种 日 期 组 合 。 因 为 (”) 一 B(x)， 


而 处 理 每 对 日 期 所 花费 的 时 间 至 少 也 是 常量 ， 因 此 ， 这 种 方法 的 运行 时 间 为 0C(w )。 有 更 好 的 方 
法 吗 ? 

问题 变换 

为 了 设计 出 一 个 运行 时 间 为 oCw ) 的 算法 ， 我们 将 从 一 个 稍微 不 同 的 角度 来 看 待 输 入 数据 。 
我 们 的 目的 是 寻找 一 段 日 期 使 得 从 第 一 天 到 最 后 一 天 的 股票 价格 净 变 值 最 大 。 因 此 ， 我 们 不 再 
从 每 日 价格 的 角度 去 看 待 输入 数据 ， 而 是 考察 每 日 价格 变化 ， 第 i 天 的 价格 变化 定义 为 第 i 天 和 
第 i 一 1 天 的 价格 差 。 图 4-1 中 的 表格 的 最 后 一 行 给 出 了 每 日 价格 变化 。 如 果 将 这 一 行 看 做 一 个 
数组 A， 如 图 4-3 所 示 ， 那 么 问题 就 转化 为 寻找 A 的 和 最 大 的 非 空 连续 子 数 组 。 我 们 称 这 样 的 连 
续 子 数组 为 最 大 子 数 组 (maximum subarray) 。 例如 ， 对 图 4-3 中 的 数组 ，A[1. . 16 的 最 大 子 数 组 
为 AL8. .11]， 其 和 为 43。 因 此 ， 你 可 以 在 第 8 天 (7 天 之 后 ) 买 人 股票 ， 并 在 第 11 天 后 卖 出 ， 获 
得 每 股 收益 43 美元 。 

7 8 9 0 11 2B 14 15 16 





Se 
最 大 子 数 组 


图 4-3 股票 价格 变化 值 的 最 大 子 数组 问题 。 本 例 中 ， 子 数组 AL8.. 11] 的 和 
是 43， 是 A 的 所 有 连续 子 数组 中 和 最 大 的 


乍 一 看 ， 这 种 变换 对 问题 求解 并 没有 什么 帮助 。 对 于 一 段 n 天 的 日 期 ， 我 们 仍然 需要 检查 
(O )=@cz) 个 子 数组 。 练 习 4 1-2 要 求证 明 ， 虽 然 计算 一 个 子 数 组 之 和 所 需 的 时 间 是 线性 


的 ， 但 当 计 算 所 有 9Cz2) 个 子 数 组 和 时 ， 我 们 可 以 重新 组 织 计 算 方式 ， 利 用 之 前 计算 出 的 子 数组 
和 来 计算 当前 子 数 组 的 和 ， 使 得 每 个 子 数组 和 的 计算 时 间 为 O01)， 从 而 暴力 求解 方法 所 花费 的 
时 间 仍 为 OG). 

接 下 来 ， 我 们 寻找 最 大 子 数组 问题 的 更 高 效 的 求解 方法 。 在 此 过 程 中 ， 我 们 通常 说 “一 个 最 
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大 子 数组 ”而 不 是 “最 大 子 数组 ”， 因 为 可 能 有 多 个 子 数组 达到 最 大 和 。 

只 有 当 数 组 中 包含 负数 时 ， 最 大 子 数组 问题 才 有 意义 。 如 果 所 有 数组 元 素 都 是 非 负 的 ， 最 大 
子 数组 问题 没有 任何 难度 ， 因 为 整个 数组 的 和 肯定 是 最 大 的 。 

使 用 分 治 策略 的 求解 方法 

我 们 来 思考 如 何 用 分 治 技术 来 求解 最 大 子 数组 问题 。 假 定 我 们 要 寻找 子 数 组 Allow. . high] 
的 最 大 子 数 组 。 使 用 分 治 技术 意味 着 我 们 要 将 子 数 组 划分 为 两 个 规模 尽量 相等 的 子 数 组 。 也 就 
是 说 ， 找 到 子 数组 的 中 央 人 位置， 比如 mid， 然 后 考虑 求解 两 个 子 数组 Allow. .midj] 和 ALmid 十 
1l.. high] WA 4-4(a) Bras, Allow. .highj] 的 任何 连续 子 数组 ALi. .站 所 处 的 位 置 必然 是 以 下 三 
种 情况 之 一 : 

。 完全 位 于 子 数组 Allow. .midj] 中 ， 因 此 lowKi<jSmid. 

。 完全 位 于 子 数组 Almid+1.. high], Auk mid<i<j<<high。 

。 跨越 了 中 点 ， 因 此 low 二 1 过 mid 二 二 high。 

Alt, Allow. .high jj] 的 一 个 最 大 子 数组 所 处 的 位 置 必然 是 这 三 种 情况 之 一 。 实 际 上 ， 
Allow. . high] 的 一 个 最 大 子 数 组 必然 是 完全 位 于 Allow. .midj 中 、 完 全 位 于 ALmid 十 1.. high] 
中 或 者 跨越 中 点 的 所 有 子 数 组 中 和 最 大 者 。 我们 可 以 递归 地 求解 ALlow. .mid] 和 ALmid 十 
1. high 的 最 大 子 数组 ， 因 为 这 两 个 子 问 题 仍 是 最 大 子 数组 问题 ， 只 是 规模 更 小 。 因 此 ， 剩 下 的 
全 部 工作 就 是 寻找 跨越 中 点 的 最 大 子 数组 ， 然 后 在 三 种 情况 中 选取 和 最 大 者 。 





跨越 中 点 A[mid+1.j] 
low mid high low i high 
HEL EREE caress | 
~~ midl aa J 
完全 位 于 4 [low.mid] 中 E [mid+1..high] 中 A [i..mid] 
Ca) (b) 


图 4-4 (aDALlow. .jigj] 的 子 数 组 的 可 能 位 置 : 完全 位 于 Allow. .midj 中 ， 完 全 位 于 ALmidt+ 
1. .high] 中 ,或 者 跨越 中 点 mid, (b)ALlow. .highj 的 任何 跨越 中 点 的 子 数组 由 两 个 子 
数组 A[i.. mid |# AL mid+1.. j AR, HP lou<ixmid H mid<j<high 


我 们 可 以 很 容易 地 在 线性 时 间 ( 相 对 于 子 数组 A low. . high jj 的 规模 ) 内 求 出 跨越 中 点 的 最 大 
子 数组 。 此 问题 并 非 原 问 题 规模 更 小 的 实例 ， 因 为 它 加 入 了 限制 一 一 求 出 的 子 数组 必须 跨越 中 
点 。 如 图 4-4(b) 所 示 ， 任 何 跨越 中 点 的 子 数组 都 由 两 个 子 数 组 ALi. .mid] 和 ALmid 十 1. .7j] 组 成 ， 
其 中 1ow 和 和 和 mid 且 mid 二 j 二 high。 因 此 ， 我 们 只 需 找 出 形 如 ALi. . mid] 和 ALmid 十 1. .jj 的 最 
大 子 数组 ， 然 后 将 其 合并 即 可 。 过 程 FIND-MAX-CORSSING-SUBARRAY 接收 数组 A 和 下 标 
low, mid 和 high 为 输入 ， 返 回 一 个 下 标 元 组 划 定 跨越 中 点 的 最 大 子 数组 的 边界 ， 并 返回 最 大 子 
数组 中 值 的 和 。 


FIND-MAX-CROSSING-SUBARRAY(A, low, mid, high) 
l left-sum = 一 co 
sum = 0 
for ; = mid downto low 
sum=sum+AlLi] 
if sum > left-sum 
le ft-sum = sum 
max-left = i 


right-sum = —co 


Oo won QO Oo A WH N 


sum = 0 


for j = mid + 1 to high 


| 一 
© 


11 sum=sum 十 Alj ] 

12 if sum > right-sum 

13 right-sum = sum 

14 maz-right = j 

15 return (maz-le ft, max-right, le ft-sum + right-sum) 


此 过 程 的 工作 方式 如 下 所 述 。 第 1 一 ?7 行 求 出 左 半 部 ALlow.. midj 的 最 大 子 数组 。 由 于 此 子 
数组 必须 包含 A[mid]， 第 3 一 7 行 的 for 循环 的 循环 变量 i EM mid 开始， 递减 直至 达到 low, 
因此 ， 它 所 考察 的 每 个 子 数组 都 具有 ALi. midj 的 形式 。 第 1 一 2 行 初始 化 变量 lefi-sum 和 sum, 
前 者 保存 目前 为 止 找到 的 最 大 和 ， 后 者 保存 AL. midj 中 所 有 值 的 和 。 每 当 第 5 行 找 到 一 个 子 数 
组 ALi. . midj 的 和 大 于 Left-sum 时 ， 我 们 在 第 6 行将 left-sum 更 新 为 这 个 子 数组 的 和 ， 并 在 第 7 
行 更 新 变量 marleft 来 记录 当前 下 标 i。 第 8 一 14 求 右 半 部 A[mid 十 1.. high] 的 最 大 子 数 组 ， 过 
程 与 左 半 部 类 似 。 此 处 ,第 10 一 14 行 的 for 循环 的 循环 变量 j 是 从 mid 十 1 开始 ， 递 增 直 至 达到 
high， 因 此 ， 它 所 考察 的 每 个 子 数组 都 具有 A[mid 十 1. .站 的 形式 。 最 后 ， 第 15 行 返回 下 标 
max-left 和 mazx-right， 划 定 跨越 中 点 的 最 大 子 数组 的 边界 ， 并 返回 子 数组 ALmazx-left. .mazx- 
right 的 和 left-sum 十 right-sum。 

如 果子 数组 A[low. .high |] 包含 nn 个 元 素 ( 即 n= 二 high 一 Low 十 1)， 则 调用 FIND-MAX- 
CROSSING-SUBARRAY(A, low, mid, high) 花 费 B(n) 时 间 。 由 于 两 个 for 循环 的 每 次 迭代 花 
费 @(1) 时 间 ， 我 们 只 需 统计 一 共 执 行 了 多 少 次 迭代 。 第 3 一 7 行 的 for 循环 执行 了 mid 一 low 十 1 
次 迭代 ， 第 10 一 14 行 的 for 循环 执行 了 high 一 mid 次 迭代 ， 因 此 总 循环 迭代 次 数 为 

| (mid — low +1) + (high — mid) = high — low +1 = n 

有 了 一 个 线性 时 间 的 FIND-MAX-CROSSING-SUBARRAY 在 手 ， 我 们 就 可 以 设计 求解 最 大 
子 数 组 问题 的 分 治 算法 的 伪 代 码 了 : 

FIND-MAXIMUM-SUBARRAY(A, low, high) 

1 if high == low 


2 return (low, high, Allow ]) // base case: only one element 
3 else mid=| (low+high)/2 | 
4 (left-low, left-high, left-sum) = 
FIND-MAXIMUM-SUBARRAY(A, low, mid) 
5 (right-low, right-high, right-sum) = 
FIND-MAXIMUM-SUBARRAY(A, mid+1, high) 
6 (cross-low, cross-high, cross-sum) = 
FIND-MAX-CROSSING-SUBARRAY(A, low, mid, high) 
7 if le ft-sum 之 right-sum and le ft-sum = cross-sum 
8 return (le ft-low, left-high, left-sum) 
9 elseif rightr-sum 之 le ft-sum and right-sum 之 cross-sum 
10 : return (right-low, right-high, right-sum) 
11 else return (cross-low, cross-high, cross-sum) 


初始 调用 FIND-MAXIMUM-SUBARRAY(A, 1, A. length) 45K 14 ALl. .nj 的 最 大 子 数 组 。 

与 FIND-MAX-CROSSING-SUBARRAY 相似 ， 递 归 过 程 FIND-MAXIMUM-SUBARRAY 返 
回 一 个 下 标 元 组 ， 划 定 了 最 大 子 数组 的 边界 ， 同 时 返回 最 大 子 数组 中 的 值 之 和 。 第 1 行 测试 基本 
情况 ， 即 子 数组 只 有 一 个 元 素 的 情况 。 在 此 情况 下 ， 子 数组 只 有 一 个 子 数组 一 一 它 自身 ， 因 此 第 
2 行 返回 一 个 下 标 元 组 ， 开 始 和 结束 下 标 均 指 向 唯一 的 元 素 ， 并 返回 此 元 素 的 值 作 为 最 大 和 和。 第 
3 一 11 行 处 理 递归 情况 。 第 3 行 划 分 子 数组 ， 计 算 中 点 下 标 mid。 我 们 称 子 数组 A[Llow. . mid]] 为 
左 子 数组 ，A[mid 十 1. . high] 为 右 子 数组 。 因 为 我 们 知道 子 数组 Allow. . highj 至 少 包含 两 个 元 
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素 ， 则 左 、 右 两 个 子 数组 各 至 少 包含 一 个 元 素 。 第 4 行 和 第 5 行 分 别 递 归 地 求解 左右 子 数组 中 的 
最 大 子 数 组 。 第 6~11 行 完成 合并 工作 。 第 6 行 求 跨越 中 点 的 最 大 子 数组 (回忆 一 下 ， 第 6 OR 
解 的 子 问题 并 非 原 问题 的 规模 更 小 的 实例 ， 因 为 我 们 将 其 看 做 合并 部 分 )。 第 7 行 检测 最 大 和 子 
数组 是 否 在 左 子 数组 中 ， 若 是 ， 第 8 行 返回 此 子 数组 。 否 则 ， 第 9 行 检测 最 大 和 子 数 组 是 否 在 右 
子 数 组 中 ， 若 是 ， 第 10 行 返回 此 子 数组 。 如 果 左 、 右 子 数组 均 不 包含 最 大 子 数组 ， 则 最 大 子 数 
组 必然 跨越 中 点 ,第 11 行将 其 返回 。 
分 治 算法 的 分 析 
接 下 来 ， 我 们 建立 一 个 递归 式 来 描述 递归 过 程 FIND-MAXIMUM-SUBARRAY 的 运行 时 间 ， 
如 2. 3. 2 节 中 分 析 归 并 排序 那样 ， 对 问题 进行 简化 ， 假 设 原 问题 的 规模 为 2 的 寡 ， 这 样 所 有 子 问 
题 的 规模 均 为 整数 。 我 们 用 TARR FIND-MAXIMUM-SUBARRAY 求解 ”个 元 素 的 最 大 子 数 
组 的 运行 时 间 。 首 先 , 第 1 行 花费 常量 时 间 。 对 于 "一 1 的 基本 情况 ， 也 很 简单 , 第 2 行 花费 党 
量 时 间 ， 因 此 ， 
TQ) = 9(]) (4. 5) 
当 n>1 时 为 递归 情况 。 第 1 行 和 第 3 行 花费 常量 时 间 。 第 4 行 和 第 5 行 求解 的 子 问题 均 为 
n/2 个 元 素 的 子 数组 (假定 原 问题 规模 为 2 HR, GET n/2 为 整数 )， 因 此 每 个 子 问题 的 求解 时 
间 为 TCn/2) 。 因 为 我 们 需要 求解 两 个 子 问 题 一 左 子 数组 和 右 子 数组 ， 因 此 第 4 行 和 第 5 行 给 
总 运行 时 间 增 加 了 2T(n/2)。 而 我 们 前 面 已 经 看 到 ， 第 6 行 调用 FIND-MAX-CROSSING- 
SUBARRAY 花费 Cn) 时 间 。 第 7~11 行 仅 花费 9(1) 时 间 。 因 此 ， 对 于 递归 情况 ， 我 们 有 





Tm) = OA) +2T(n/2) + O(n) + OC) = 2T(n/2) + OCD) (4. 6) 
组 合式 (4. 5) 和 式 (4. 6) ， 我 们 得 到 FIND-MAXIMUM-SUBARRAY 运行 时 间 TC) 的 递归 式 ， 
1 Æ n= 1 
A kad Pa (4.7) 


2T(n/2)+ O(n) #n>1 
此 递归 式 与 式 (4. 1) 归 并 排序 的 递归 式 一 样 。 我 们 在 4. 5 节 将 看 到 用 主 方法 求解 此 递归 式 ， 其 解 为 
T(n) 二 Bnlgn)。 你 也 可 以 重新 回顾 一 下 图 2-5 中 的 递归 树 ， 来 理解 为 什么 解 是 T(n) 二 BCnlgn)。 
因此 ， 我 们 看 到 利用 分 治 方法 得 到 了 一 个 渐 近 复杂 性 优 于 暴力 求解 方法 的 算法 。 通 过 归并 
排序 和 本 节 的 最 大 子 数组 问题 ， 我 们 开始 对 分 治 方法 的 强大 能 力 有 了 一 些 了 解 。 有 了 时， 对 某 个 问 
题 ， 分 治 方法 能 给 出 渐 近 最 快 的 算法 ， 而 其 他 时 候 ， 我 们 (不 用 分 治 方法 ) 甚 至 能 做 得 更 好 。 如 练 
习 4. 1-5 所 示 ， 最 大 子 数组 问题 实际 上 存在 一 个 线性 时 间 的 算法 ， 并 未 使 用 分 治 方法 。 


练习 

4.1-1 当 A 的 所 有 元 素 均 为 负数 时 ，FIND-MAXIMUM-SUBARRAY 返回 什么 ? 

4.1-2 ”对 最 大 子 数组 问题 ， 编 写 暴力 求解 方法 的 伪 代 码 ， 其 运行 时 间 应 该 为 On’). 

4.1-3 在 你 的 计算 机 上 实现 最 大 子 数 组 问题 的 暴力 算法 和 递归 算法 。 请 指出 多 大 的 问题 规模 n 
是 性 能 交叉 点 一 一 从 此 之 后 递归 算法 将 击败 暴力 算法 ? 然后 ， 修 改 递归 算法 的 基本 情 
况 一 一 当 问 题 规模 小 于 no 时 采用 紧 力 算法 。 修 改 后 ， 性 能 交叉 点 会 改变 吗 ? 

4.1-4 ”假定 修改 最 大 子 数 组 问题 的 定义 ， 人 允许 结果 为 空子 数组 ， 其 和 为 0。 你 应 该 如 何 修改 现 有 
算法 ,使 它们 能 允许 空子 数组 为 最 终结 果 ? 

4.1-5 使 用 如 下 思想 为 最 大 子 数 组 问题 设计 一 个 非 递归 的 、 线 性 时 间 的 算法 。 从 数组 的 左边 界 
开始 ， 由 左 至 右 处 理 ， 记 录 到 目前 为 止 已 经 处 理 过 的 最 大 子 数 组 。 知 已 知 AL1. .jj 的 最 
大 子 数组 ， 基 于 如 下 性 质 将 解 扩展 为 AL1. .7 十 1 的 最 大 子 数 组 : AL1. .7 十 ] 的 最 大 子 数 
组 要 么 是 AL1. .jj 的 最 大 子 数组 ， 要 么 是 某 个 子 数 组 ALi..j 十 1j(1<&i<j 十 1)。 在 已 知 
ALL. .jj 的 最 大 子 数 组 的 情况 下 ， 可 以 在 线性 时 间 内 找 出 形 如 ALi. . ;十 1j 的 最 大 子 数组 。 


4.2 矩阵 乘法 的 Strassen 算法 


如 果 你 以 前 曾经 接触 过 矩阵， 可 能 了 解 如 何 进行 矩阵 乘法 (否则 ， 请 阅读 D. 1 7). A= 
(Ca; ) 和 B=(b;) Æ nXn 的 方 阵 ， 则 对 i, j=l, 2， eee Ns 定义 乘积 CSA ° B 中 的 元 素 cy 为 : 


Cj 一 2) a ° bj (4. 8) 


我 们 需要 计算 n 个 矩阵 元 素 ， 每 个 元 素 是 nn 个 值 的 和 。 下 面 过程 接 收 nXn 和 矩阵 A MB, RAE 
们 的 乘积 一 一 nXn 和 矩阵 C。 假 设 每 个 矩阵 都 有 一 个 属性 rorws， 给 出 矩阵 的 行 数 。 

SQUARE-MATRIX-MULTIPLY(A，B) 
l n = A. rows 
2 let C be a new nXn matrix 
3 fori = lton 
4 for j = l ton 
5 cj 一 0 
6 for k = 1 ton 
7 cj= cyt ar * by 

8 return C 

过 程 SQUARE-MATRIX-MULTIPLY 工作 过 程 如 下 。 第 3~7 行 的 for 循环 计算 每 行 中 的 元 
素 ， 在 第 ; 行 中 ， 第 4 一 ?7 行 的 for 循环 计算 每 列 中 的 每 个 元 素 cj 。 第 5 行将 cj 初始 化 为 0， 开 始 
公式 (4. 8) 中 的 求 和 计算 ， 第 6 一 7 行 的 for 循环 的 每 步 迭 代 将 公式 (4. 8) 中 的 一 项 累加 进来 。 

由 于 三 重 for 循环 的 每 一 重 都 恰好 执行 n 步 ， 而 第 7 行 每 次 执行 都 花费 常量 时 间 ， 因 此 过 程 
”SQUARE-MATRIX-MULTIPLY 花费 Bm) 时 间 。 

你 最 初 可 能 认为 任何 矩阵 乘法 都 要 花费 QCm) 时 间 ， 因 为 矩阵 乘法 的 自然 定义 就 需要 进行 这 
么 多 次 的 标量 乘法 。 但 这 是 错误 的 : 我 们 有 方法 在 oC ) 时 间 内 完成 矩阵 乘法 。 在 本 节 中 ， 我 们 
将 看 到 Strassen 的 著名 nXn 和 矩阵 相 有 乘 的 递归 算法 。 我 们 将 在 4. 5 节 证 明 其 运行 时 间 为 Oa). 
由 于 lg7 在 2.80 和 2.81 之 间 ， 因 此 ，Strassen 算 法 的 运行 时 间 为 Ol(w”)， 渐 近 复 杂 性 优 于 简单 
的 SQUARE-MATRIX-MULTIPLY 过 程 。 

一 个 简单 的 分 治 算法 

为 简单 起 见 ， 当 使 用 分 治 算法 计算 矩阵 积 C=A，。，B 时 ,假定 三 个 矩阵 均 为 nxXn 和 矩阵， 其 中 
ny 2 的 守 。 我 们 做 出 这 个 假设 是 因为 在 每 个 分 解 步骤 中 ，zXz 矩阵 都 被 划分 为 4 个 n/2Xn/2 
的 子 和 矩阵 ， 如 果 假 定 * 是 2 的 医 ， 则 只 要 n 宇 2 即 可 保证 子 矩 阵 规 模 n/2 为 整数 。 

假定 将 A、B 和 C 均 分 解 为 4 个 n/2Xn/2 HF: 


Ace pa se B= 区 | f= be og (4.9) 
Ay Az Ba Bz Ca Cz 
因此 可 以 将 公式 CHA BASY: 
Ci Cp An Ay By By 
| ae Ht, ale eel aia 
公式 (4. 10) 等 价 于 如 下 4 个 公式 : 

Ca = An * Bu A ° Ba (4. 11) 
Ciz: = An ° By +A + By (4. 12) 
Cy = An ° By +Az ° By (4. 13) 
Cz = An * By Az ° Bz (4. 14) 


每 个 公式 对 应 两 对 n/2Xn/2 矩阵 的 乘法 及 n/2Xn/2 积 的 加 法 。 我 们 可 以 利用 这 些 公式 设计 一 个 


上 
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直接 的 递归 分 治 算法 : 


SQUARE-MATRIX-MULTIPLY-RECURSIVE(A, B) 
l n= A. rows 
let C be a new nXn matrix 


if 2 一 一 1 


else partition A, B, and C as in equations (4. 9) 
Cy =SQUARE-MATRIX-MULTIPLY-RECURSIVE(A;,, Bu) 
+ SQUARE-MATRIX-MULTIPLY-RECURSIVE(A;,, Ba) 
7 Cı: =SQUARE-MATRIX-MULTIPLY-RECURSIVE(A,,, Biz) 
+ SQUARE-MATRIX-MULTIPLY-RECURSIVE(A,,, Bz) 
8 Cz =SQUARE-MATRIX-MULTIPLY-RECURSIVE(A2, , Bi) 
+ SQUARE-MATRIX-MULTIPLY-RECURSIVE(A» , Ba) 
9 Cx. = SQUARE-MATRIX-MULTIPLY-RECURSIVE(A2,, Biz) 
+ SQUARE-MATRIX-MULTIPLY-RECURSIVE(A2 , Bz) 
10 return C 


KRANE TMA ABE Sa. ER 5 ITAA EEE? 如 果 我 们 真 的 
创建 12 个 新 的 n/2Xn/2 矩阵 ， 将 会 花费 OO ) 时 间 复 制 矩阵 元 素 。 实 际 上 ， 我 们 可 以 不 必 复 制 
元 素 就 能 完成 矩阵 分 解 ， 其 中 的 诀窍 是 使 用 下 标 计算 。 我 们 可 以 通过 原 和 矩阵 的 一 组 行 下 标 和 一 
组 列 下 标 来 指明 一 个 子 矩 阵 。 最 终 表 示 子 矩阵 的 方法 与 表示 原 矩 阵 的 方法 略 有 不 同 ， 这 就 是 我 
们 省 略 的 细节 。 这 种 表示 方法 的 好 处 是 ， 通 过 下 标 计 算 指 明子 矩阵 ， 执 行 第 5 行 只 需 @(1) 的 时 
间 ( 虽 然 我 们 将 看 到 是 否 通过 复制 元 素来 分 解 矩 阵 对 总 渐 近 运行 时 间 并 无 影响 ) 。 

现在 ， 我 们 推导 出 一 个 递归 式 来 刻画 SQUARE-MATRIX-MULTIPLY-RECURSIVE 的 运行 
时 间 。 令 T(n) 表 示 用 此 过 程 计算 两 个 nXn 和 矩阵 乘积 的 时 间 。 对 n=l 的 基本 情况 ， 我 们 只 需 进 
行 一 次 标量 乘法 (第 4 行 )， 因 此 


2 
3 
4 cu =a ° bn 
5 
6 


T) = @(1) (4. 15) 
“n> 时 是 递归 情况 。 如 前 文 所 讨论 ， 在 第 5 行使 用 下 标 计 算 来 分 解 矩 阵 花费 OCD ATA. 
第 6 一 9 行 ， 我 们 共 8 次 递归 调用 SQUARE-MATRIX-MULTIPLY-RECURSIVE。 由 于 每 次 递归 
调用 完成 两 个 n/2Xn/2 矩阵 的 乘法 ， 因 此 花费 时 间 为 TC(n/2)，8 次 递归 调用 总 时 间 为 8T(n/2)。 
我 们 还 需要 计算 第 6~9 行 的 4 次 矩阵 加 法 。 每 个 矩阵 包含 ww/4 个 元 素 ， 因 此 ， 每 次 矩阵 加 法 花 
费 @(m) 时 间 。 由 于 矩阵 加 法 的 次 数 是 常数 ， 第 6 一 9 行进 行 矩 阵 加 法 的 总 时 间 为 OC’) (这 里 我 
们 仍然 使 用 下 标 计算 方法 将 矩阵 加 法 的 结果 放置 于 矩阵 C 的 正确 位 置 ， 由 此 带 来 的 额外 开销 为 
每 个 元 素 8(1) 时 间 )。 因 此 ， 递 归 情 况 的 总 时 间 为 分 解 时 间 、 递 归 调 用 时 间 及 矩阵 加 法 时 间 
之 和 : 
T(n) = @(1) + 8T(n/2) + OC’) = 8T(n/2) + O(n) (4. 16) 
注意 ， 如 果 通 过 复制 元 素来 实现 矩阵 分 解 ， 额 外 开销 为 B(z )， 递 归 式 不 会 发 生 改 变 ， 只 是 总 运 
se cide BUR o 
组 合 公式 (4. 15) 和 公式 (4. 16) ， 我 们 得 到 SQUARE-MATRIX-MULTIPLY-RECURSIVE 32 
行 时 间 的 递归 式 : | 
@(1) #n=1 
SUE 8T(n/2) +A) #n>l ae 
我 们 在 4.5 节 将 会 看 到 利用 主 方法 求解 递归 式 (4. 17) ， 得 到 的 解 为 TCD) 一 8Cs)。 因 此 ， 简 单 的 
分 治 算法 并 不 优 于 直接 的 SQUARE-MATRIX-MULTIPLY 过 程 。 
在 继续 介绍 Strassen 算法 之 前 ， 让 我 们 先 回顾 一 下 公式 (4. 16) 的 几 个 组 成 部 分 都 是 从 何 而 来 


的 。 用 下 标 计算 方法 分 解 每 个 zX7 矩阵 花费 8(1) 时 间 , 但 有 两 个 矩阵 需要 分 解 。 虽 然 你 可 能 认 
为 分 解 两 个 矩阵 需要 9(2) 时 间 ， 但 实际 上 @ 符号 中 已 经 包含 常数 2 在 内 了 。 假 定 每 个 矩阵 包含 
& 个 元 素 ， 则 两 个 矩阵 相 加 需 花 费 BC&) 时 间 。 由 于 每 个 矩阵 包含 n/4 个 元 素 ， 每 次 加 法 花费 
OC’ /4) 时 间 。 但 是 同样 ，@ 符号 已 经 包含 常数 因子 1/4, Alt, Wt n/2Xn/2 和 矩阵 相 加 花费 
9@(2) 时 间 。 我 们 需要 进行 4 次 矩阵 加法， 再 次 ， 我 们 并 不 说 花费 了 89(4” ) 时 间 ， 而 是 Cr’) AY 
间 。 (当然 ， 你 可 能 发 现 我 们 可 以 说 4 次 矩阵 加 法 花费 了 OUr /4) 时 间 ， 而 4n°/4—=n’, (Aster 
的 要 点 是 @ 符号 已 经 包含 了 常数 因子 ， 无 论 怎 样 的 常数 因子 均 可 省 略 .) 因 此 ， 我 们 最 终 得 到 两 
项 9()， 可 以 将 它们 合 二 为 一 。 

但 是 ， 当 分 析 8 次 递归 调用 时 ， 就 不 能 简单 省 略 常 数 因子 8 了 。 换 句 话说 ， 我 们 必须 说 递归 
调用 共 花 费 8TCn/2) 时 间 ， 而 不 是 TCn/2) 时 间 。 至 于 这 是 为 什么 ， 你 可 以 回顾 一 下 图 2-5 PH 
归 树 ， 它 对 应 递归 式 (2. 1) (与 递归 式 (4.7) 相 同 )， 其 递归 情况 为 TCn) 二 2T(n/2) 十 @(n)。 因 子 2 
决定 了 树 中 每 个 结 点 有 几 个 孩子 结 点 ， 进 而 决定 了 树 的 每 一 层 为 总 和 贡献 了 多 少 项 。 如 果 省 略 
公式 (4. 16) 中 的 因子 8 或 递归 式 (4. 1) 中 的 因子 2， 递归 树 就 变 为 线性 结构 ， 而 不 是 “茂盛 的 ”了 ， 
树 的 每 一 层 只 为 总 和 贡献 了 一 项 。 

因此 ， 切 记 ， 虽 然 渐 近 符 号 包含 了 和 负数 因子 ， 但 递归 符号 (如 (wyV2)) 并 不 包含 。 

Strassen 方法 

Strassen 算法 的 核心 思想 是 令 递 归 树 稍微 不 那么 茂盛 一 点 儿 ， 即 只 递归 进行 7 次 而 不 是 8 
次 n/2Xn/2' 和 矩阵 的 乘法 。 减 少 一 次 矩阵 乘法 带 来 的 代价 可 能 是 额外 几 次 n/2Xn/2 矩阵 的 加 
法 ,但 只 是 常数 次 。 与 前 文 一 样 ， 当 建立 递归 式 刻 画 运行 时 间 时 ， 常 数 次 矩阵 加 法 被 9 符号 包 
含 在 内 。 

Strassen 算法 不 是 那么 直观 (这 可 能 是 本 书 陈 述 最 不 充分 的 地 方 了 ) 。 它 包含 4 个 步骤 : 

1. 按 公式 (4. ORE TAR A, B 和 输出 矩阵 C 分 解 为 %/2Xn/2 OSE. KATRAN 
法 ， 此 步骤 花费 OCD ATI], 455 SQUARE-MATRIX-MULTIPLY-RECURSIVE 相同 。 

2. 创建 10 AS n/2Xn/2 的 和 矩阵 S, ’ S, 9 etea Sio 9 每 个 矩阵 保存 步骤 1 中 创建 的 两 个 子 和 矩阵 
的 和 或 差 。 花 费时 间 为 O). 

3. 用 步骤 1 中 创建 的 子 矩 阵 和 步骤 2 中 创建 的 10 个 和 矩阵， 递归 地 计算 7 个 矩阵 积 PP, Ph. vos 
P,- 每 个 矩阵 P; 都 是 n/2Xn/2 的 。 

4. 通过 P; 矩阵 的 不 同 组 合 进行 加 减 运算 ， 计 算出 结果 和 矩阵 CTER Cas Cz» Cas Czo 
花费 时 间 O). 

我 们 稍 后 会 看 到 步骤 2~4 的 细节 ， 但 现在 可 以 建立 Strassen 算法 的 运行 时 间 递 归 式 。 假 定 
一 旦 矩阵 规模 从 n 变 为 1， 就 进行 简单 的 标量 乘法 计算 ， 正 如 SQUARE-MATRIX-MULTIPLY- 
RECURSIVE 的 第 4 行 那 样 。 当 x 盖 1 时， 步骤 1、2 和 4 共 花 费 9(z2) 时 间 ， 步 又 3 要 求 进 行 7 
次 n/2Xn/2 矩阵 的 乘法 。 因 此 ， 我 们 得 到 如 下 描述 Strassen 算法 运行 时 间 T(Gz)? 的 递归 式 : 

eC aa os (4. 18) 
7T(n/2) +0) #n>l 
我 们 用 常数 次 矩阵 乘法 的 代价 减少 了 一 次 矩阵 乘法 。 一 旦 我 们 理解 了 递归 式 及 其 解 ， 就 会 看 到 
这 种 交换 确实 能 带 来 更 低 的 渐 近 运行 时 间 。 利 用 4. 5 节 的 主 方法 ， 可 以 求 出 递归 式 (4. 18) 的 解 为 
T(n)= O(n®’ ) 。 
我 们 现在 来 介绍 Strassen 算法 的 细节 。 在 步骤 2 中 ， 创 建 如 下 10 个 矩阵 ; 
S; = Bx — Bz 
Sz = Ay + Ai 
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Ss = Aa + A 
S, = Ba — By 
Ss = Ay + Az 
Ss = By + Bz 
S, = Ay — Az 
Ss = By + By 
Sy = Ay — Aa 
So = By + By 


由 于 必须 进行 10 次 n/2Xn/2 矩阵 的 加 减法 ， 因 此 ， 该 步骤 花费 O(n’ ) 时 间 。 
在 步骤 3 中 ， 递 归 地 计算 7 次 n/2Xn/2 和 矩阵 的 乘法 ， 如 下 所 示 : 

P, = Ay + S = An * Be — An * Be 

P, = S, * By = An * Bz +A ° Bz 

P; = S; * By = An ° Bu + A. By 

P, = Ane Sy = Az ° Ba — Anz * By 

P; = S; °° Ss = An Bit A ° Be A ° Bu A ° By 

P; = S, » Se = An * Ba + Anr » Bz — Az * Ba — Az » Bz 

P, = Sy * So = An * By +An ° Br — Az ° By — Anz ° By 
注意 ， 上 述 公 式 中 ， 只 有 中 间 一 列 的 乘法 是 真正 需要 计算 的 。 右 边 这 列 只 是 用 来 说 明 这 些 乘 积 与 
步骤 1 创建 的 原始 子 矩阵 之 间 的 关系 。 

步骤 4 对 步 又 3 创建 的 已 矩阵 进行 加 减法 运算 ， 计 算出 C 的 4 个 mw2xwV2 的 子 和 矩阵 ， 
首先 ， 
Cu = P; + P, — P, + P: 
利用 每 个 P; 的 展开 式 展开 等 式 右 部 ， 每 个 P; 的 展开 式 位 于 单独 一 行 ， 并 将 可 以 消去 的 项 垂直 对 
齐 ， 我 们 可 以 看 到 Cu 等 于 
Ay * By An BA, » Bu A » Bz 
— Ay ° Bn + Az * Ba 
—An * By — Ay ° Bz 
— Åz * Bz — Az » By A 。 By + Ay ° Ba 


Ay * By +A * Ba 
与 公式 (4. 11) 相 同 。 类 似 地 ， 令 
C =P, +P, 
则 Cs 等 于 
Ay * B — An + By 
二 An。 By + Arx * Bz 


An * By - +A * By 
与 公式 (4. 12) 相 同 。 令 
Ca = P, +P, 
使 Ca FF 
Az * By + Az * By 
— Åz ° By +Az » Ba 


An y By + Az» g Ba 


与 公式 (4. 13) 相 同 。 最 后 ， 令 
Cz. = P; + P, — P, — P; 
则 Cw 等 于 
An * By +Ay ° By + Ag ° Bu +Az ° Bz 
— An * Bz +An * By 
— Ay ° By — Áz * By 
— Án * By — Ån * Bt A ° By +A ° By 
Az * Bz + Aaz * By 
与 公式 (4. 14) 相 同 。 在 步骤 4 中 ， 共 进行 了 8 次 n/2Xn/2 矩阵 的 加 减法 ， 因 此 花费 B(x ) 时 间 。 
因此 ,我 们 看 到 由 4 个 步骤 构成 的 Strassen 算法 ， 确实 生成 了 正确 的 矩阵 乘积 ， 递归 
式 (4.18) 刻 画 了 它 的 运行 时 间 。 由 于 我 们 将 在 4.5 节 看 到 此 递归 式 的 解 为 T(n) = O(n"), 
Strassen 方法 的 渐 近 复杂 性 低 于 直接 的 SQUARE-MATRIX-MULTIPLY 过 程 。 本 章 注 记 会 讨论 
Strassen 算法 实际 应 用 方面 的 一 些 问题 。 


练习 
注意 ; 虽然 练习 4. 2-3、4. 2-4 和 4.2-5 是 关于 Strassen 算法 的 变形 的 ， 但 你 应 该 先 阅读 4.5 
节 ， 然 后 再 尝试 求解 这 几 个 问题 。 
4.2-1 使 用 Strassen 算 法 计算 如 下 矩阵 乘法 : 
. 1 3776 8 

Eade 
给 出 计算 过 程 。 

4. 2-2 ”为 Strassen 算法 编写 伪 代 码 。 

4. 2-3 如 何 修改 Strassen 算法 ， 使 之 适应 矩阵 规模 不 是 2 的 只 的 情况 ? 证 明 : 算法 的 运行 时 
间 为 O(n’), 

4.2-4 ”如 果 可 以 用 次 乘法 操作 (假定 乘法 的 交换 律 不 成 立 ) 完 成 两 个 3X3 矩阵 相 乘 ， 那 么 你 可 
以 在 on ) 时 间 内 完成 Xn EER, IAHR AW RED? 此 算法 的 运行 
时 间 是 怎样 的 ? 

4.2-5 V. Pan 发 现 一 种 方法 ， 可 以 用 132 464 次 乘法 操作 完成 68X68 的 矩阵 相 乘 ， 发 现 另 一 种 
方法 ， 可 以 用 143 640 次 乘法 操作 完成 70X 70 的 矩阵 相 乘 ， 还 发 现 一 种 方法 ， 可 以 用 
155 424 次 乘法 操作 完成 72X72 的 和 矩阵 相 乘 。 当 用 于 矩阵 相 乘 的 分 治 算法 时 ， 上 述 哪 种 方 
法 会 得 到 最 佳 的 渐 近 运行 时 间 ? 与 Strassen 算法 相 比 ， 性 能 如 何 ? 

4.2-6 用 Strassen 算法 作为 子 进程 来 进行 一 个 knXn 和 矩阵 和 一 个 nX kn ERR, RRB 
费 多 长 时 间 ? 对 两 个 输入 矩阵 规模 互 换 的 情况 ， 回 答 相 同 的 问题 。 

4.2-7 设计 算法 ， 仅 使 用 三 次 实数 乘法 即 可 完成 复数 a 十 bi 和 c 十 di tie. HAREM a, b, c 
和 4d 为 输入 ， 分 别 生成 实 部 ac 一 bd 和 虚 部 ad 十 pc。 


4.3 用 代入 法 求解 递归 式 
我 们 已 经 看 到 如 何 用 递归 式 刻画 分 治 算法 的 运行 时 间 ， 下 面 将 学 习 如 何 求解 递归 式 。 我 们 


从 “代入” 法 开始 。 
代入 法 求解 递归 式 分 为 两 步 ， 


47 


48 


第 一 部 分 基础 知识 


1. 猜测 解 的 形式 。 

2. 用 数学 归纳 法 求 出 解 中 的 常数 ， 并 证 明 解 是 正确 的 。 

当 将 归纳 假设 应 用 于 较 小 的 值 时 ， 我 们 将 猜测 的 解 代 入 函数 ， 因 此 得 名 “代入 法 ”。 这 种 方法 很 强 
大 ， 但 我 们 必须 能 猜 出 解 的 形式 ， 以 便 将 其 代入 。 
我 们 可 以 用 代入 法 为 递归 式 建立 上 界 或 下 界 。 例 如 ， 我 们 确定 下 面 递 归 式 的 上 界 : 
T(n) = 2T(Ln/2) +n (4. 19) 
该 递归 式 与 递归 式 (4. 3) 和 (4.4) 相 似 。 我 们 猜测 其 解 为 T(n) 二 Onlgn)。 代 入 法 要 求证 明 ， 恰当 
选择 常数 c>0, WA T(n) 二 cn lgn。 首 先 假定 此 上 界 对 所 有 正 数 m<n 都 成 立 ， 特 别 是 对 于 m= 
Ln/2], Æ TCLn/2))<cln/2}ig(ln/2)). 将 其 代入 递归 式 ， 得 到 
T(n) < 2¢c [n/2] Ig(Ln/2))) +n < cn lg(n/2) +n 

=cnlgn—cnlg2+n 

= cnlgn—cn+n<cnlgn 
其 中 ， 只 要 c 宇 1， 最 后 一 步 都 会 成 立 。 

数学 归纳 法 要 求 我 们 证 明 解 在 边界 条 件 下 也 成 立 。 为 证 明 这 一 点 ， 我 们 通常 证 明 对 于 归纳 
证 明 ， 边 界 条 件 适 合作 为 基本 情况 。 对 递归 式 (4.19)， 我们 必须 证 明 ， 通 过 选择 足够 大 的 常数 
c， 可 以 使 得 上 界 Tn) cen lgn 对 边界 条 件 也 成 立 。 这 一 要 求 有 时 可 能 引起 问题 。 例 如 ， 为 了 方 
便 讨论 ， 假 设 TO) =1 是 递归 式 唯 一 的 边界 条 件 。 对 n 二 1， 边 界 条 件 TMc lgn 推导 出 TOA) 
cllg1=0, 与 T(1)= 二 1 矛盾 。 因 此， 我 们 的 归纳 证 明 的 基本 情况 不 成 立 。 

我 们 稍微 多 付出 一 点 努力 ， 就 可 以 克服 这 个 障碍 ， 对 特定 的 边界 条 件 证 明 归 纳 假设 成 立 。 例 
如 ， 在 递归 式 (4. 19) 中 ， 渐 近 符 号 仅 要 求 我 们 对 nn, 证 明 Tcen lgn， 其 中 no 是 我 们 可 以 自 
己 选择 的 常数 ， 我 们 可 以 充分 利用 这 一 点 。 我 们 保留 麻烦 的 边界 条 件 T(G1) 王 1， 但 将 其 从 归纳 证 
明 中 移 除 。 为 了 做 到 这 一 点 ， 首 先 观 察 到 对 于 " 盖 3， 递 归 式 并 不 直接 依赖 T(1)。 因 此 ， 将 归纳 
证 明 中 的 基本 情况 T(1) 替 换 为 T(2) 和 T(3)， 并 令 mw 二 2。 注 意 ， 我 们 将 递归 式 的 基本 情况 (nn 二 
1) 和 归纳 证 明 的 基本 和 情况 (n= 二 2 和 "一 3) 区 分 开 来 了 。 由 工 (1) 王 1， 从 递归 式 推 导出 工 2) 王 4 和 
T(3)= 二 5。 现 在 可 以 完成 归纳 证 明 ， 对 某 个 常数 cl, Tin<cnign, FREE BAN co W 
Æ T(2)<c2lg2 和 了 T(3) 委 c31lg3。 事 实 上 ， 任 何 c>2 都 能 保证 n= 二 2 和 zx 一 3 的 基本 情况 成 立 。 对 
于 我 们 所 要 讨论 的 大 多 数 递 归 式 来 说 ， 扩 展 边界 条 件 使 归纳 假设 对 较 小 的 nn 成立， 是 一 种 简单 直 
接 的 方法 ， 我 们 将 不 再 总 是 显 式 说 明 这 方面 的 细节 。 

做 出 好 的 猜测 

遗憾 的 是 ， 并 不 存在 通用 的 方法 来 猜测 递归 式 的 正确 解 。 猜 测 解 要 靠 经验 ， 偶 尔 还 需要 创造 
力 。 幸 运 的 是 ， 你 可 以 使 用 一 些 启发 式 方法 帮助 你 成 为 一 个 好 的 猜测 者 。 你 也 可 以 使 用 递归 树 来 
做 出 好 的 猜测 ， 我 们 将 在 4. 4 节 看 到 这 一 方法 。 

如 果 要 求解 的 递归 式 与 你 曾 见 过 的 递归 式 相似 ， 那 么 猜测 一 个 类 似 的 解 是 合理 的 。 例 如 ， 考 
虑 如 下 递归 式 : 

T(n) = 2TCn/2]/ +17) 十 7 
看 起 来 很 困难 ， 因 为 在 等 式 右边 工 的 参数 中 增加 了 ”17”。 但 直观 上 ， 增 加 的 这 一 项 不 会 显著 影 
响 递 归 式 的 解 。 当 nn 较 大 时 ，[Ln/2j 和 [Ln/2J 十 17 的 差距 不 大 : 都 是 接近 n 的 一 半 。 因 此 ， 我 们 猜 
W TC(n) 二 Olnlgn)， 你 可 以 使 用 代入 法 验证 这 个 猜测 是 正确 的 ( 见 练习 4. 3-6). 

另 一 种 做 出 好 的 猜测 的 方法 是 先 证 明 递归 式 较 松 的 上 界 和 下 界 ， 然 后 缩小 不 确定 的 范围 。 
例如 ， 对 递归 式 (4. 19) ， 我 们 可 以 从 下 界 To) 二 9 开始 ， 因 为 递归 式 中 包含 ”这 一 项 ， 还 可 
以 证 明 一 个 初始 上 界 TC(n) 二 OC )。 然 后 ， 我 们 可 以 逐渐 降低 上 界 ， 提 升 下 界 ， 直 至 收敛 到 渐 近 
紧 确 界 T(n) 一 @(nlgn)。 
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微妙 的 细节 

有 时 你 可 能 正确 猜 出 了 递归 式 解 的 渐 近 界 ， 但 莫名 其 妙 地 在 归纳 证 明 时 失败 了 。 问 题 常 常 
出 在 归纳 假设 不 够 强 ， 无 法 证 出 准确 的 界 。 当 遇 到 这 种 障碍 时 ， 如 果 修 改 猜测 ， 将 它 减 去 一 个 低 
阶 的 项 ， 数 学 证 明 常常 能 顺利 进行 

考虑 如 下 递归 式 : 

T(n) = T(n/2) + TU n/2) +1 
我 们 猜测 解 为 T(n) 二 OCn)， 并 尝试 证 明 对 某 个 恰当 选 出 的 常数 c，T(n) 二 cn 成 立 。 将 我 们 的 猜 
测 代入 递归 式 ， 得 到 
T(n) <cln/2]+c[n/2|+1=cn+1 
这 并 不 意味 着 对 任意 c 都 有 TCn) 二 cn。 我 们 可 能 忍 不 住 尝试 狂 测 一 个 更 大 的 界 ， 比 如 Tn) 二 Ox )。 
虽然 从 这 个 猜测 也 能 推出 结果 ， 但 原来 的 猜测 T(n) = O(n) 是 正确 的 。 然 而 为 了 证 明 它 是 正确 
的 ， 我 们 必须 做 出 更 强 的 归纳 假设 。 

直觉 上 ， 我 们 的 猜测 是 接近 正确 的 : 只 差 一 个 常数 1， 一 个 低 阶 项 。 但 是 ， 除 非 我 们 证 明 与 
归纳 假设 严格 一 致 的 形式 ， 否 则 数学 归纳 法 还 是 会 失败 。 克 服 这 个 困难 的 方法 是 从 先前 的 猜测 
中 减 去 一 个 低 阶 项 。 新 的 猜测 为 T(n) 志 cn 一 4，d 是 大 于 等 于 0 的 一 个 常数 。 我 们 现在 有 

T(n) < Celn/2]— dD + (c[n/2|—d) +1 
=cn—2d+l<cn—d 
只 要 d 之 1， 此 式 就 成 立 。 与 以 前 一 样 ， 我 们 必须 选择 足够 大 的 c 来 处 理 边界 条 件 。 

你 可 能 发 现 减 去 一 个 低 阶 项 的 想法 与 直觉 是 相悖 的 。 毕 竟 ， 如 果 证 明 上 界 失 败 了 ， 就 应 该 将 
猜测 增加 而 不 是 减少 ， 更 松 的 界 难道 不 是 更 容易 证 明 吗 ? 不 一 定 ! 当 利 用 归纳 法 证 明 一 个 上 界 
时 ， 实 际 上 证 明 一 个 更 弱 的 上 界 可 能 会 更 困难 一 些 ， 因 为 为 了 证 明 一 个 更 弱 的 上 界 ， 我 们 在 归纳 
证 明 中 也 必须 使 用 同样 更 弱 的 界 。 在 当前 的 例子 中 ， 当 递归 式 包 含 超 过 一 个 递归 项 时 ， 将 猜测 的 
界 减 去 一 个 低 阶 项 意味 着 每 次 对 每 个 递归 项 都 减 去 一 个 低 阶 项 。 在 上 例 中 ， 我 们 减 去 常数 d 两 
次 ,一 次 是 对 T(Ln/2) 项 ， 另 一 次 是 对 TC([n/2) 项 。 我们 以 不 等 式 Tin)<cn—2d+1 结束 ， 可 
以 很 容易 地 找到 一 个 4 值 ， 使 得 cn 一 24d 十 1 小 于 等 于 cnd. 

避免 陷阱 

使 用 渐 近 符号 很 容易 出 错 。 例 如 ， 在 递归 式 (4. 19) 中 ， 我 们 可 能 错误 地 “证 明 ”T(n) =O(n) : 
猜测 Tnn, HWE 

| Tin) <2(c|n/2P-+n<entn=On) <BR! 
AA < 是 常数 。 错 误 在 于 我 们 并 未 证 出 与 归纳 假设 严格 一 致 的 形式 ， 即 T(n) 志 cn。 因 此 ， 当 要 
证 明 T(n)= 二 O(n) 时 ， 需 要 显 式 地 证 出 T(n)<cn, 

改变 变量 

有 时 ， 一 个 小 的 代数 运算 可 以 将 一 个 未 知 的 递归 式 变 成 你 所 熟悉 的 形式 。 例 如 ， 考 虑 如 下 递 
Jaxx: 

Tin) = 2TClVzj) 十 lgz 
它 看 起 来 很 困难 。 但 我 们 可 以 通过 改变 变量 来 简化 它 。 为 方便 起 见 ， 我 们 不 必 担 心 值 的 舍 入 误差 
问题 ， PENER 情形 即 可 。 令 m= lgn， 得 到 

TOA = 2T(2™) +m 
ic Sim) =T”), Fe BSBA 

S(m) = 2S(m/2) +m 
它 与 递归 式 (4 19) 非 常 像 。 这 个 新 的 递归 式 确实 与 (4. 19) 具 有 相同 的 解 ， S() 三 O(m lg ) 。 再 
从 SCm) 转 换 回 T, RIA Tr) =T) =Sm)=0mlgm)=0lgn]g Ign). 
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练习 


4.3-1 WEH: Ti) =T(n—1)+7 WEI O). 

4.3-2 证明; TM =T n/2) +1 WHA Ogn). 

4.3-3 我 们 看 到 TM =2T(Ln/2) +7 的 解 为 O(nlgn)。 证 明 Qnlgn) 也 是 这 个 递归 式 的 解 。 从 

而 得 出 结论 : FRA @(nlgn)。 

4.3-4 证明; 通过 做 出 不 同 的 归纳 假设 ， 我 们 不 必 调 整 归纳 证 明 中 的 边界 条 件 ， 即 可 克服 递归 
式 (4. 19) 中 边界 条 件 T 1) = 1 带 来 的 困难 。 

4.3-5 WR: 归并 排序 的 “严格 ?递归 式 (4. 3) 的 解 为 8(nlgn)。 

4.3-6 EAR: Tin) =2T(Ln/2)417)-+n 的 解 为 O(nlgn)。 

4.3-7 使 用 4.5 节 中 的 主 方法 ， 可 以 证 明 Tn) =4T(n/3) +n WER Tn) =at), GLAZE 
于 假设 TM Scn: 的 代 人 法 不 能 证 明 这 一 结论 。 然 后 说 明 如 何 通过 减 去 一 个 低 阶 项 完 
成 代入 法 证 明 。 

4.3-8 ”使 用 4.5 节 中 的 主 方法 ， 可 以 证 明 Td) = 二 4T(n/2) 十 n WRIT =O), AET 
Be TMn 的 代入 法 不 能 证 明 这 一 结论 。 然 后 说 明 如 何 通 过 减 去 一 个 低 阶 项 完成 代入 
法 证 明 。 

4.3-9 利用 改变 变量 的 方法 求解 递归 式 T(n) = 二 3T(Yn) 十 logn。 你 的 解 应 该 是 浙 近 紧 确 的 。 不 必 
担心 数值 是 否 是 整数 。 


4.4 用 递归 树 方法 求解 递归 式 

虽然 你 可 以 用 代入 法 简洁 地 证 明 一 个 解 确 是 递归 式 的 正确 解 ， 但 想 出 一 个 好 的 猜测 可 能 会 
很 困难 。 画 出 递归 树 ， 如 我 们 在 2. 3. 2 节 分 析 归 并 排序 的 递归 式 时 所 做 的 那样 ， 是 设计 好 的 猜测 
的 一 种 简单 而 直接 的 方法 。 在 递归 树 中 ， 每 个 结 点 表示 一 个 单一 子 问题 的 代价 ， 子 问题 对 应 某 次 
递归 函数 调用 。 我 们 将 树 中 每 层 中 的 代价 求 和 ， 得 到 每 层 代 价 ， 然 后 将 所 有 层 的 代价 求 和 ， 得 到 
所 有 层次 的 递归 调用 的 总 代价 。 

递归 树 最 适合 用 来 生成 好 的 猜测 ， 然 后 即 可 用 代入 法 来 验证 猜测 是 否 正确 。 当 使 用 递归 
树 来 生成 好 的 猜测 时 ， 常 常 需要 忍受 一 点 儿 “不 精确 ”， 因 为 稍 后 才 会 验证 猜测 是 否 正确 。 但 
如 果 在 画 递归 树 和 代价 求 和 时 非常 仔细 ， 就 可 以 用 递归 树 直 接 证 明 解 是 否 正确 。 在 本 节 中 ， 
我 们 将 使 用 递归 树 生成 好 的 猜测 ， 并 且 在 4.6 节 中 ， 我 们 将 使 用 递归 树 直接 证 明 主 方法 的 基 
础 定理 。 

我 们 以 递归 式 Tn) 三 3T(LwV 4 十 9(0z ) 为 例 来 看 一 下 如 何 用 递归 树 生成 一 个 好 的 猜测 。 首 
先 关注 如 何 寻 找 解 的 一 个 上 界 。 因 为 我 们 知道 舍 人 对 求解 递归 式 通常 没有 影响 (此 处 即 是 我 们 需 
要 忍受 不 精确 的 一 个 例子 ) Aa Awa Tin) =3T(Ln/4)+cn’ 创建 一 棵 递归 树 ， 其 中 已 
将 渐 近 符号 改写 为 隐 含 的 常数 系数 c>0。 

图 4-5 显示 了 如 何 从 递归 式 Tn) =3T(Ln/4)) +n? 构造 出 递归 树 。 为 方便 起 见 ， 我 们 假定 
是 4 的 笑 ( 忍 受 不 精确 的 另 一 个 例子 )， 这 样 所 有 子 问 题 的 规模 均 为 正 数 。 图 4-5(a) 显 示 了 T), 
CER 4-5(b) 中 扩展 为 一 棵 等 价 的 递归 树 。 根 结 点 中 的 cn’ 项 表示 递归 调用 顶层 的 代价 ， 根 的 三 
棵 子 树 表示 规模 为 n/4 的 子 问题 所 产生 的 代价 。 图 4-5(c) 显示 了 进一步 构造 递归 树 的 过 程 ， 将 
图 4-5(b) 中 代价 为 T(r/4) 的 结 点 逐一 扩展 。 我 们 继续 扩展 树 中 每 个 结 点 ， 根 据 递 归 式 确定 的 关 
系 将 其 分 解 为 几 个 组 成 部 分 (孩子 绪 氮 )。 
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图 4-5 为 递归 式 TMS3TUn/4) Hen’ 构造 递归 树 。(a) 显 示 了 Toz)， 在 (b) 一 (d) 中 逐步 扩展 为 
递归 树 的 形式 。(d) 中 显示 了 扩展 完毕 的 递归 树 ， 其 高 度 为 logn A log4z 十 1 层 ) 


因为 子 问 题 的 规模 每 一 步 减少 为 上 一 步 的 1/4， 所 以 最 终 必然 会 达到 边界 条 件 。 那 么 根 结 点 与 
距离 为 1 的 子 问 题 距离 多 远 呢 ?深度 为 i 的 结 点 对 应 规模 为 n/t 的 子 问题 。 因 此 ， 当 n/4:==1, 或 
等 价 地 i 二 log,n 时 ， 子 问题 规模 变 为 1。 因 此 ， 递 归 树 有 log,n 十 1 层 (深度 为 0，1，2， 

接 下 来 确定 树 的 每 一 层 的 代价 。 每 层 的 结 点 数 都 是 上 一 层 的 3 倍 ， 因 此 深度 为 i 的 结 点 数 为 
3t: 因为 每 一 层 子 问题 规模 都 是 上 一 层 的 1/4， 所 以 对 i 二 0，1，2，…， log,n—1, 深度 为 i 的 每 
个 结 点 的 代价 为 c(n/4')”。 做 一 下 乘法 可 得 ， 对 i 二 0，1，2，…，log,n 一 1， 深 度 为 i 的 所 有 结 
点 的 总 代价 为 3c(n/4')? 二 (3/16)'cn*。 树 的 最 底层 深度 为 log,n， 有 3%" 二 nos: 个 结 点 ， 每 个 结 
点 的 代价 为 TC1)， 总 代价 为 nesT(1) BD OG), ERE T(1) 是 常量 。 

现在 我 们 求 所 有 层次 的 代价 之 和 ， 确 定 整 棵 树 的 代价 : 
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最 后 的 这 个 公式 看 起 来 有 些 姿 乱 ， 但 我 们 可 以 再 次 充分 利用 一 定 程 度 的 不 精确 ， 并 利用 无 限 递 
减 几何 级 数 作为 上 界 。 回 退 一 步 ， 应 用 公式 (A. 6) ， 我 们 得 到 
Tin) = X (2) en? tect) < 六 (号 ) om 十 go) 


i=0 


=|) ey +O) 


= Son? +O?) 


= O(n’) 

这 样 ， 对 原始 的 递归 式 Tin) =3T(1n/4)) +O’), RTE TMM T(n) =O’), FE 
BIE, cn’ 的 系数 形成 了 一 个 递减 几何 级 数 ， 利 用 公式 (A.6)， 得 出 这 些 系数 的 和 的 一 个 上 
界 一 一 常数 16/13。 由 于 根 结 点 对 总 代价 的 贡献 为 cn*， 所 以 根 结 点 的 代价 占 总 代价 的 一 个 常数 
比例 。 换 句 话 说， 根 结 点 的 代价 支配 了 整 棵 树 的 总 代价 。 

实际 上 ， 如 果 OG’ ) 确 实 是 递归 式 的 上 界 ( 稍 后 就 会 证 明 这 一 点 )， 那 么 它 必 然 是 一 个 紧 确 
界 。 为 什么 ? 因为 第 一 次 递归 调用 的 代价 为 8(02 ) ， 因 此 QCx) 必 然 是 递归 式 的 一 个 下 界 。 

现在 用 代入 法 验证 猜测 是 正确 的 ， 即 Tn) =O’) BBA Tn) =3T(Ln/4) +O’) WH 
个 上 界 。 我 们 希望 证 明 TM Sdn 对 某 个 常数 d> 成 立 。 与 之 前 一 样 ， 使 用 常数 OO, RNA 

Tin) 过 3T( On/4D)D +n? < 3d |n/4]? + cn? < 3d(n/4)? + cn? 


= dn’ 十 cn’ < dn’ 


4 d>(16/13)c 时 ， 最 后 一 步 推导 成 立 。 pe m cn 

在 另 一 个 更 复杂 的 例子 中 ， 图 4-6 显示 了 
如 下 递归 式 的 递归 树 : 一 N 

T(n) = T(n/3) + T(2n/3) + O(n) 
(为 简单 起 见 ， 再 次 忽略 了 伟人 问题 .) 与 之 前 gen / \ \ 
一 样 ， 令 “表示 OM 项 中 的 常数 因子 。 对 图 中 (8) (Z) (HB) (YB) emm on 
显示 出 的 递归 树 的 每 个 层次 ， 当 求 代 价 之 和 ， E ae i 
时 ， 我 们 发 现 每 层 的 代价 均 为 cn。 从 根 到 叶 的 
最 长 简单 路 径 是 n>(2/3)n 一 (2/3)?n 一 … 一 1。 
HFH k=log,,n 时 ，(2/3)*n 二 1， 因 此 树 高 PR SRA 
Wi log, zno 图 4-6 递归 式 T(m =T(n/3) + T(2n/3) +n 

直觉 上 ， 我 们 期 望 递归 式 的 解 最 多 是 层 数 乘 以 每 层 的 代价 ， 即 OCcn log,sn) 二 Oltnlgn)。 但 
图 4-6 仅 显 示 了 递归 树 的 顶部 几 层 ， 并 不 是 递归 树 中 每 个 层次 的 代价 都 是 cn。 考 虑 叶 结 点 的 代 
价 。 如 果 递 归 树 是 一 棵 高 度 为 logan 的 完全 二 叉 树 ， 则 叶 结 点 的 数量 应 为 2 "一 ms 。 由 于 
每 个 叶 结 点 的 代价 为 常数 ， 因 此 所 有 叶 结 点 的 总 代价 为 On), FF log ,sn 是 严格 大 于 1 的 
常数 ， 因 此 叶 结 点 代价 总 和 为 QCn1lgn)。 但 递归 树 并 不 是 完全 二 又 树 ， 因 此 叶 结 点 数量 小 于 
nz?。 而 且 ， 当 从 根 结 点 逐步 向 下 走时 ， 越 来 越 多 的 内 结 点 是 缺失 的 。 因 此 ， 递 归 树 中 靠 下 的 
层次 对 总 代价 的 贡献 小 于 cn。 我 们 可 以 计算 出 所 有 代价 的 准确 值 ， 但 记 住 我 们 只 是 希望 得 到 一 
个 猜测 ， 用 于 代入 法 。 我 们 还 是 忍受 一 些 不 精确 ， 尝 试 证 明 猜 测 的 上 界 Ollem EEK. 

我 们 确实 可 以 用 代入 法 验证 OC(nlgn) 是 递归 式 解 的 一 个 上 界 。 我 们 来 证 明 T(n)<dn lgn， 其 
Hd 是 一 个 适当 的 正常 数 。 我 们 有 

T(n) < T(n/3) + T(2n/3) + cn 
< d(n/3) lg (n/3) + d(2n/3) lg (2n/3) + cn 
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= (d(n/3) lgn— d(n/3) lg3) + (d(2n/3) lgn— d(2n/3) lg (3/2)) + cn 
= dn lgn— d((n/3) lg3 + (2n/3) lg (3/2)) + cn 
= dn lgn— d((n/3) lg3 + (2n/3) lg3 — (2n/3) lg2) + cn 

~ = dn lgn— dn(1g3— 2/3) + cn 


< dn lgn 
只 要 d 宇 c/ (lg3 一 (2/3))。 因 此 ， 无需 对 递归 树 的 代价 进行 更 精确 的 计算 。 
练习 
4. 4-1 对 递归 式 Tin) 二 3T(Ln/2]) 十 nx， 利用 递归 树 确定 一 个 好 的 渐 近 上 界 ， 用 代入 法 进行 
验证 。 


4.4-2 ”对 递归 式 T(n)= 二 TC(n/2) 十 ww ， 利 用 递归 树 确定 一 个 好 的 渐 近 上 界 ， 用 代入 法 进行 验证 。 

4. 4-3 ”对 递归 式 Tin) 二 4T(n/2 十 2) 十 wx， 利 用 递归 树 确定 一 个 好 的 渐 近 上 界 ， 用 代入 法 进行 

4. 4-4 对 递归 式 T(n) 二 TCn 一 1) 十 1， 利 用 递归 树 确定 一 个 好 的 渐 近 上 界 ， 用 代入 法 进行 验证 。 

4.4-5 对 递归 式 TCn) 二 Tn 一 1) 十 T(n/2) 十 x， 利用 递归 树 确定 一 个 好 的 渐 近 上 界 ， 用 代入 法 
进行 验证 。 

4. 4-6 ”对 递归 式 T(n) 二 Tn/3) 十 TC(2n/3) 十 cn， 利 用 递归 树 论 证 其 解 为 O(nilgen), EP cX 
常数 。 

4. 4-7 ”对 递归 式 TOn)= 二 4T(n/2]) 十 cn(c 为 常数 )， 画 出 递归 树 ， 并 给 出 其 解 的 一 个 渐 近 紧 确 
界 。 用 代 和 人 法 进行 验证 。 

4.4-8 对 递归 式 TT(n) 二 Tn 一 a) 十 T(a) 十 cn， 利 用 递归 树 给 出 一 个 渐 近 紧 确 解 ， 其 中 al 和 


COR FR. 
4.4-9 ”对 递归 式 T(n)= 二 TCan) 十 T((1 一 qa)n) 十 cn， 利 用 递归 树 给 出 一 个 渐 近 紧 确 解 ， 其 中 0 二 
axl 和 c>0 是 常数 。 


4.5 用 主 方法 求解 递归 式 
主 方法 为 如 下 形式 的 递归 式 提供 了 一 种 “菜谱 ” 式 的 求解 方法 
T(n) = aT(n/b) + f(n) (4. 20) 
KpaSl 和 >1 是 常数 ，FCo) 是 渐 近 正 函 数 。 为 了 使 用 主 方法 ， 和 情况 ， 但 随后 你 
就 可 以 很 容易 地 求解 很 多 递归 式 ， 通 常 不 需要 纸 和 笔 的 帮助 。 
递归 式 (4. 20) 描 述 的 是 这 样 一 种 算法 的 运行 时 间 : 它 将 规模 为 n 的 问题 分 解 为 a 个 子 问题 ， 
每 个 子 问题 规模 为 n/b, HP a Alb 都 是 正常 数 。a 个 子 问题 递归 地 进行 求解 ， 每 个 花费 时 间 
T(n/b). PM f() 包 含 了 问题 分 解 和 子 问题 解 合 并 的 人 代价。 例如， 描述 Strassen 算法 的 递归 式 
H, a=1, 5 二 2，f(n) 二 8B(n)。 
从 技术 的 正确 性 方面 看 ， 此 递归 式 实 际 上 并 不 是 良好 定义 的 ， 因 为 n/b 可 能 不 是 整数 。 但 将 a 
项 T(n/5) 都 替换 为 TCLn/6j]) 或 Tn/61) 并 不 会 影响 递归 式 的 渐 近 性 质 (我 们 将 在 下 一 节 证 明 这 个 断 
言 );。 因 此 ,我 们 通常 发 现 当 写 下 这 种 形式 的 分 治 算法 的 递归 式 时 ， 和 忽略 舍 人 问题 是 很 方便 的 。 
主 定理 
主 方法 依赖 于 下 面 的 定理 。 
定理 4.1( 主 定理 ) 令 a 之 1 和 05>1 是 常数 ，f(n) 是 一 个 函数 ，T(n) 是 定义 在 非 负 整 数 上 的 
递归 式 : 
T(n) = aT(n/b) + f(n) 
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其 中 我 们 将 n/5 AH Aln/b\%R[n/b], AA Tin) A FHER: 
1. BREAK se>0 有 f(n) SOn), A] Tn) = O(n"), 
2. 若 fn) =O(n'™"), A) TOn) =O(n'*? Ign). 
3. 若 对 某 个 常数 e>>0 有 fn) =A(n'***), ARERR c<<1 HOH ALBA NA af(n/D< 
cfln)， 则 Ti)=O(f(™)). E 
在 使 用 主 定 理 之 前 ， 我 们 花 一 点 儿 时 间 尝 试 理解 一 下 它 的 含义 。 对 于 三 种 情况 的 每 一 
种 ， 我 们 将 函数 f(n) 与 函数 2 至" 进行 比较 。 直 觉 上 ， 两 个 函数 较 大 者 决定 了 递归 式 的 解 。 
ARA n EK, WRL, MAA TM=), BRM f(n) 更 大 ， 如 情况 3， 则 解 为 TH) = 
Of). BATRA, Mf 2， 则 乘 上 一 个 对 数 因 子 ， 解 为 Tn) =OCr'™* Ign) = 
ACFfn) Ign). 
在 此 直觉 之 外 ， 我 们 需要 了 解 一 些 技术 细节 。 在 第 一 种 情况 中 ， 不 是 f(n) 小 于 n BE T , 
而 是 要 多 项 式 意义 上 的 小 于 。 也 就 是 说 ，f(n) 必 须 浙 近 小 于 rn*%*， 要 相差 一 个 因子 n, HP eÈ 
大 于 0 的 常数 。 在 第 三 种 情况 中 ， 不 是 SOK no "就 够 了 ， 而 是 要 多 项 式 意义 上 的 大 于 ， 而 且 
还 要 满足 “正则 ”条 件 af(n/5) 二 cf(n)。 我 们 将 会 遇 到 的 多 项 式 界 的 函数 中 ， 多 数 都 满足 此 条 件 。 
注意 ， 这 三 种 情况 并 未 覆盖 f(n) 的 所 有 可 能 性 。 情 况 1 和 情况 2 之 间 有 一 定 间 际 ，f(n) 可 
能 小 于 mn 但 不 是 多 项 式 意义 上 的 小 于 。 类 似 地 ， 情 况 2 和 情况 3 之 间 也 有 一 定 间 隙 ，JFCz) 可 
能 大 于 nw“ 但 不 是 多 项 式 意 义 上 的 大 于 。 如 果 函 数 f(n) 落 在 这 两 个 间隙 中 ， 或 者 情况 3 中 要 求 
的 正则 条 件 不 成 立 ， 就 不 能 使 用 主 方法 来 求解 递归 式 。 
使 用 主 方法 
使 用 主 方法 很 简单 ， 我 们 只 需 确定 主 定理 的 哪 种 情况 成 立 ， 即 可 得 到 解 。 
我 们 先 看 下 面 这 个 例子 
T(n) = 9T(n/3) +n 
对 于 这 个 递归 式 ， 我 们 有 a=9, b=3, f(n)=n, Alb n% =n? =A), AT f(n)=O 
(n%**)， 其 中 e 二 1， 因 此 可 以 应 用 主 定理 的 情况 1， 从 而 得 到 解 TMS). 
现在 考虑 
T(n) = T(2n/3) +1 
其 中 a=1, 6=3/2, f(=1, Au nt =n! =n =1, AF fn =O(n"™*)=@(1), Albay 
用 情况 2， 从 而 得 到 解 T(n) =OC gn). 
对 于 递归 式 
T(n) = 3T(n/4) +nlgn 
我 们 有 a=3, b=4, fd—nl_gn, Ale n =n =O), AF fC) SAn), FE ea. 2, 
因此 ， 如 果 可 以 证 明正 则 条 件 成 立 ， 即 可 应 用 情况 3. Hn BRAN, 对 于 c= 二 3/4,， af(n/d)= 
3(7WV4)lg(C2wV4) 委 (3/4)2lg2 一 cz) 。 因 此 ， 由 情况 3， 递 归 式 的 解 为 T(n) 二 8B(nlgn)。 
主 方法 不 能 用 于 如 下 递归 式 : 
Tin) = 2T(n/2) +nlgn 
虽然 这 个 递归 式 看 起 来 有 恰当 的 形式 ， a=2, b=2, fmM=nlgn, UR me" 一 2。 你 可 能 错误 地 
认为 应 该 应 用 情况 3， 因 为 f(n) 二 nlgn 渐 近 大 于 n= 二 nx。 问题 出 在 它 并 不 是 多 项 式 意义 上 的 大 
于 。 对 任意 正常 数 e， 比 值 f(r) /n™* = (nign)/n= lgn 都 浙 近 小 于 n:。 因 此 ， 递 归 式 落 入 了 情况 
2 和 情况 3 之 间 的 间 际 (此 递归 式 的 解 参见 练习 4. 6-2) 。 
我 们 利用 主 方法 求解 在 4.1 节 和 4.2 节 中 曾 见 过 的 递归 式 (4.7)， 
T(n) = 2T(n/2) + O(n) 
它 刻 画 了 最 大 子 数组 问题 和 归并 排序 的 分 治 算 法 的 运行 时 间 ( 按 照 通 稼 的 做 法 ， 我 们 忽略 了 递归 
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式 中 基本 情况 的 描述 ) 。 这 里 ， 我 们 有 a=2, b=2, fi =O), Bit n =n’ =n, AT 
f(n)=O(n), ， 应 用 情况 2， 于 是 得 到 解 TC(n) 二 BC(nlgn)。 
递归 式 (4. 17)， 
T(n) = 8T(n/2) + O(n’) 
它 描述 了 矩阵 乘法 问题 第 一 个 分 治 算法 的 运行 时 间 。 我 们 有 a=8, b=2, Fm0), A 
n = ye? — 73, Hn 多 项 式 意义 上 大 于 mB e=1, FMS), MAL 1, 
A T(n)=@(n*). 
最 后 ， 我 们 考虑 递归 式 (4. 18), 
T(n) = 7T(n/2) + QC’) 
它 描述 了 Strassen 算法 的 运行 时 间 。 这 里 ， 我 们 有 a=7, b=2, fim =O’), Al n= 
mez7 。 将 log,7 改写 为 jg7， 由 于 2. 80< lg7<2. 81， 我 们 知道 对 e==0.8， 有 Fa) 王 OOnae?-) 。 再 
次 应 用 情况 1， 我 们 得 到 解 Tn) = O(n"). 


练习 

4.5-1 对 下 列 递 归 式 ， 使 用 主 方法 求 出 渐 近 紧 确 界 。 
a. T(n) =2T(n/4) +1 
b. T(n) =2T(n/4) Hn 
c. T(n) =2T(n/4) +n 
d. T(n) =2T(n/4) +n? 

4.5-2 Caesar 教授 想 设计 一 个 渐 近 快 于 Strassen 算法 的 矩阵 相 乘 算法 。 他 的 算法 使 用 分 治 方法 ， 
将 每 个 矩阵 分 解 为 %/4Xn/4 的 子 矩 阵 ， 分 解 和 合并 步骤 共 花 费 OC” ) 时 间 。 他 需要 确定 ， 
他 的 算法 需要 创建 多 少 个 子 问题 ， 才 能 击败 Strassen 算法 。 如 果 他 的 算法 创建 a 个 子 问 
题 ， 则 描述 运行 时 间 T(z) 的 递归 式 为 Tn) =aTn/4) +0), Caesar 教授 的 算法 如 果 
要 渐 近 快 于 Strassen 算法 ，a 的 最 大 整数 值 应 是 多 少 ? 

4. 5-3 ”使 用 主 方法 证 明 ， 二 分 查找 递归 式 Tn) =T(n/2) +001) RE Tin) 一 B(lgz) 。( 二 分 查 
找 的 描述 见 练习 2. 3-5). 

4. 5-4” 主 方法 能 应 用 于 递归 式 T) =4T(n/2) +r Ign 吗 ? 请 说 明 为 什么 可 以 或 者 为 什么 不 可 
以 。 给 出 这 个 递归 式 的 一 个 渐 近 上 界 。 

*4. 5-5 ”考虑 主 定理 情况 3 的 一 部 分 : 对 某 个 常数 <1, IEW af(n/D<cfiM EGR. Bi 

一 个 例子 ， 其 中 常数 alSl, b> ARK f(n) 满 足 主 定理 情况 3 中 除 正则 条 件 外 的 所 有 

条 件 。 


“4.6 证 明 主 定理 


本 节 给 出 主 定理 (定理 4. 1) 的 证 明 。 但 如 果 只 是 为 了 使 用 主 定理 ， 你 不 必 理 解 这 个 证 明 。 

证 明 分 为 两 部 分 。 第 一 部 分 分 析 主 递归 式 (4. 20) ， 为 简单 起 见 ， 假 定 TCn) 仅 定义 在 OCOD 
WEL, BX n 二 1，6， 如 ，… 定 义 。 这 一 部 分 给 出 了 为 理解 主 定理 是 正确 的 所 需 的 所 有 直觉 
知识 。 第 二 部 分 显示 了 如 何 将 分 析 扩展 到 所 有 正 整 数 n; 这 一 部 分 应 用 了 处 理 向 下 和 向 上 取 整 问 
题 的 数学 技巧 。 

在 本 节 中 ， 我 们 有 时 会 稍微 滥用 渐 近 符号 ， 用 来 描述 仅仅 定义 在 咏 的 寡 上 的 函数 的 行为 。 回 
忆 一 下 ， 渐 近 符 号 的 定义 要 求 对 所 有 足够 大 的 数 都 证 明 函 数 的 界 ， 而 不 是 仅仅 对 的 守 。 因 为 可 
以 定义 出 仅仅 应 用 于 集合 { 人 :三 0，1，2，…} 上 而 不 是 所 有 非 负数 上 新 的 渐 近 符号 ， 所 以 这 种 
滥用 问题 不 大 。 
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然而 ， 当 我 们 在 一 个 局 限 的 值 域 上 使 用 渐 近 符号 时 ， 必 须 时 刻 小 心 ， 避 免得 到 错误 的 结论 。 
例如 ， 对 是 2 的 寡 的 情况 证 明 TO 二 O(n) 并 不 保证 TCn) =O). BRIBE TCD 可 能 是 这 样 定义 的 ， 
n 若 n 二 1,2,4,8,…: 
n 其 他 
此 例 中 适用 于 所 有 nn (RE LAW Tn) = 二 O(n?)。 由 于 可 能 导致 这 种 严重 后 果 ， 在 并 不 绝对 清 
楚 应 用 环境 的 情况 下 ， 永 远 也 不 要 在 一 个 有 限 的 值 域 上 使 用 渐 近 符号 。 


4.6.1 对 b 的 突 证 明 主 定理 


主 定理 证 明 的 第 一 部 分 分 析 主 定理 的 递归 式 (4. 20): 
T(n) = aT(n/b) + f(n) 
假定 2 是 (>1) 的 寄 ，2 不 一 定 是 一 个 整数 。 我 们 将 分 析 过 程 分 解 为 三 个 引 理 。 第 一 个 引 理 将 
求解 主 递归 式 的 问题 归 约 为 一 个 求 和 表达 式 的 求 值 问题 。 第 二 个 引 理 确 定 这 个 和 式 的 界 。 第 三 
个 引 理 将 前 两 个 引 理 合 二 为 一 ， 证 明 ”为 2 的 戎 的 情况 下 的 主 定 理 。 
引 理 4.2 令 a 之 1 和 65>1 是 常数 ，f(n) 是 一 个 定义 在 56 的 规 上 的 非 负 函数 。T(ln) 是 定义 在 
b iy HE AG aX: 


Tn) = 


@(1) #n=1 
T(n) = 
al (n/b) + f(n) Fn=b 
其 中 i 是 正 整 数 。 那 么 
log, n—1 
T(n) = O(n") + D, a fnb) (4. 21) 


证 明 使 用 图 4-7 中 的 递归 树 。 树 的 根 结 点 的 代价 为 f(n)， 它 有 a 个 孩子 结 点 ， 每 个 的 代价 
为 f(n/b)。( 将 a 看 做 一 个 整数 非常 方便 ， 当 可 视 化 递归 树 时 尤其 如 此 ， 但 从 数学 角度 并 不 要 求 
这 一 点 ) 。 每 个 孩子 结 点 又 有 a 个 孩子 ， 使 得 在 深度 为 2 的 层次 上 有 a 个 结 点 ， 每 个 的 代价 为 
fln/5)。 一 般 地 ， 深 度 为 7 的 层次 上 有 ai 个 结 点 ， 每 个 的 代价 为 f(n/5)。 每 个 叶 结 点 的 代价 为 
T(1)= 二 @(1)， 深 度 为 log,n， 因 为 n/b*" 二 1。 树 中 共有 am" 二 mn*%* 个 叶 结 点 。 


Kan) sneersondo0esonboro ror rr jh- Kn) 
a 
Kin/b) Kalb) ue An/b) we i afln/b) 
a a a 
log,n 

fn/b’) An/b’) Rnb?) Knlb’) An/b’) Rnb) fn/b’) Rnb?) fnb we m» qfAn/b’) 

@(1) @(1) @(1) @(1) @(1) @(1) @(1) @(1) @(1) @(1) we @(1) @(1) @(1) eit O(nte,®) 
np 


Bp n-l 
2, aifinib/) 
$ 


=0 


lo 
总 计 : O(n 9)+ 


E 4-7 T(n)=aT(n/b)+ fC) BIA. MRSS a N, REN login, HA noe Pat 
结 点 。 每 层 结 点 的 代价 显示 在 右 侧 ， 代 价 和 如 公式 (4, 21) 所 示 
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我 们 将 图 4-7 所 示 的 递归 树 中 的 每 层 结 点 的 代价 求 和 ， 得 到 公式 (4. 21)。 深 度 为 7 了 的 所 有 内 
部 结 点 的 代价 为 ax)， 所 以 内 部 结 点 的 总 代价 为 : 


Ye if (n/b') 
在 分 治 算法 中 ， 这 个 和 表示 分 解 子 问题 与 合并 子 问 题解 的 代价 。 所 有 叶 结 点 的 代价 (表示 完成 所 [99] 
有 ne“ 个 规模 为 1 的 子 问题 的 代价 ) 为 On). a 


从 递归 树 看 ， 主 定理 的 三 种 情况 分 别 对 应 以 下 三 种 情况 : (1) 树 的 总 代价 由 叶 结 点 的 代价 决 
定 ; (2) 树 的 总 代价 均匀 分 布 在 树 的 所 有 层次 上 ; (3) 树 的 总 代价 由 根 结 点 的 代价 决定 。 

公式 (4. 21) 中 的 和 式 描述 了 分 治 算法 中 分 解 与 合并 步骤 的 代价 。 下 一 个 定理 则 给 出 了 这 个 和 
式 增长 速度 的 渐 近 界 。 

引 理 4.3 令 a 宇 ] 和 05>1 是 常数 ，f(n) 是 一 个 定义 在 6 的 办 上 的 非 负 函数 。g(n) 是 定义 在 
bo HE Hy Bw: 


log, "一 1 
g(n) = 3 aif (n/b') (4. 22) 
SOW, g(n) 有 如 下 渐 近 界 : 
1. 若 对 某 个 常数 e 汪 0 有 f(n) =O"), N] gln) =O(n"™*) , 
2. Æ fm) =n), N) gn) =O(n"™?* Ign), 
3. 若 对 某 个 常数 c 二 1 和 所 有 足够 大 的 站 有 ar(xwVDs 二 cfGa)， 则 g(n) 二 BCf(n))。 
证 明 对 情况 1， 我 们 有 fm) 50n), KERE fnb) =OCn/h') 2"), RAA 
式 (4. 22) 得 


g(n) = O( > ai (4)”7) (4. 23) 
对 于 O 符 号 内 的 和 式 ， 通 过 提取 因子 并 化 简 来 求 得 到 一 个 递增 的 几何 级 数 : 


log, a— J : 
2 (FF) = = oe e. ) cae cae > (bi 
Og, a—e pil eel | — logp a el 
= nso ( Fi )= n G 100 
HT > 和 es 是 常数 ， 因 此 可 以 将 最 后 一 个 表达 式 重 写 为 n O(n) = 0n) FS RIAR TE 
BARU 23) 中 的 和 式 ， 得 到 g(m) 二 OCnow")， 因 此 情况 1 得 证 。 
由 于 情况 2 假定 f(n) = O(n"), AULA f(n/B') =OC(n/b' 2), ARAARA. 22) 得 


gin) = @( > ai (2) (4. 24) 
采用 与 情况 1 相同 的 方式 ， 求 出 @ 符号 内 和 式 的 界 ， 但 这 次 并 未 得 到 一 个 几何 级 数 ， 而 是 发 现 
和 式 的 每 一 项 都 是 相同 的 : 


log, nl | 2 log, ; l log, n—1 j j | lo; og, nm 一 1 
> a’ (4) = no" > (E) = 1 > 1 = n" log,n 


用 这 个 表达 式 替 换 公 式 (4. 24) 中 的 和 式 ， 我 们 得 到 
g(n) = O(n" log n) = On Ign) 





情况 2 得 证 。 

情况 3 的 证 明 类 似 。 由 于 Fo) 出 现在 g(z) 的 定义 (4. 22) 中 ， 且 g(z) 的 所 有 项 都 是 非 负 的 ， 
因此 可 以 得 出 结论 : 对 2 的 短 ，g(n) 二 QCf(n))。 假 定 在 这 个 引 理 中 ， 对 某 个 常数 c 二 1 和 所 有 足 
够 大 的 n 有 af(n/b) 志 cf(n)。 将 这 个 假设 改写 为 FCwy 轧 委 (c/a) Fo 并 和 迭代 次， 得 到 fab 
(c/a)if《n)， 或 等 价 地 ，a;f(n/5) 二 cf(n)， 其 中 假设 进行 迄 代 的 值 足够 大 。 由 于 最 后 一 个 ,也 
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就 是 最 小 的 值 为 ww ， 因 此 假定 n/d EBEKRE T. 
代入 公式 (4. 22) 并 化 简 ， 我 们 得 到 一 个 几何 级 数 ， 但 与 情况 1 证 明 中 的 几何 级 数 不 同 ， 这 次 
得 到 的 是 递减 的 几何 级 数 。 使 用 一 个 O(1) 项 来 表示 n 足够 大 这 个 假设 未 覆盖 的 项 : 


g(n) = J, df n/K Def wO) < fw De +00) 


= f(n)(—-)+00) = OC fn) 


因为 是 一 个 常数 。 因 此 可 以 得 到 结论 : XT ORE, eC) =OCf™)). HAUL 3 得 证 ， 引 理 证 毕 。 m 

现在 我 们 来 证 明 ”为 2 的 容 的 情况 下 的 主 定 理 。 

引 理 4.4 Fall 和 6b 汪 1 是 常数 ，f(n) 是 一 个 定义 在 6 的 和 规 上 的 非 负 浮 数 。T(n) 是 定义 在 
bt) RE is aX: 
@(1) n=] 
al(n/D + fln) # n= h 
KPi x ESR, PAN OMR, TDA wT HILF: 

1. BMH HK >00 有 f(r) =O"), ， 则 Tin) = O(n?) 。 

2. Æ fn) =O"), AY) To) =O(n"™? Ign). 

3. BME GK EO, Ff =n"), HARRARI 和 所 有 足够 大 的 n， 有 
af(n/D<cf(r), A) Tin) =O0Cf(—n)). 

证 明 利用 引 理 4. 3 中 的 界 对 引 理 4. 2 中 的 和 式 (4. 21) 进 行 求 值 。 对 情况 1， 我 们 有 

T(n) = ACn) + O(n?) = ACn") 


T(n) = | 


对 于 情况 2， 
T(n) = ACn) + O(n? Ign) = An" Ign) 
对 于 情况 3, 
T(n) = Aln) + OC f(n)) = OCf(n)) 
因为 f(n) = Alnet), m 


4.6.2 向 下 取 整 和 向 上 取 整 


为 了 完成 主 定理 的 证 明 ， 我 们 必须 将 上 述 分 析 扩 展 到 主 递 归 式 中 使 用 向 下 取 整 和 向 上 取 整 
的 情况 ， 这 样 递归 式 就 定义 在 所 有 整数 上 ， 而 非 仅 仅 针 对 2 的 医 。 很 容易 获得 如 下 递归 式 的 
PH: 
T(n) = aT([n/b) + f(r) (4. 25) 
以 及 如 下 递归 式 的 上 界 ， 
T(n) = aT(Ln/b) + fi) (4. 26) 
AAR Ta ARE ARAMA PAI nbn b RSA GAR, WALA LAL nb] 
n/b。 可 以 使 用 几乎 一 样 的 技术 来 处 理 递 归 式 (4. 26) 的 下 界 和 递归 式 (4. 25) 的 上 界 ， 因 此 我 们 只 
给 出 后 一 个 界 的 证 明 。 
对 图 4-7 中 的 递归 树 进行 修改 ， 得 到 图 4-8 中 的 递归 树 。 当 沿 着 递归 树 向 下 时 ， 我 们 得 到 如 
下 递归 调用 的 参数 序列 : 
[n/b| 
[Tn /b] /b| 
[n/b| /b) /b] 
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Hn 表示 序列 中 第 7 个 元 素 ， 其 中 
n 若 j = 二 0 








i; 一 et (4. 27) 
“o nabl 若 j 之 0 
a ee ere m 是 常数 时 的 深度 &。 利 用 不 等 式 | z| 狼 z 十 1， 可 得 

Ny Sn 

mc ats ti 

1 1 
ns S T 严 F b aail 
typl on Me E E E- 
a Oaa a a 
令 7 二 [log,nj， 可 得 
n b n b _ nn b 
N Log 7] < geyl ki < jee, ta = Je E=] 
= 一 0 十 7 一 = O(1) 
因此 我 们 可 以 看 到 在 深度 | log,nj， a 
Kn) ET A 3» Kin) 
a, 
Kn) Kn) Ka,) a ip. afn) 
An) fin) … Rn) Km) Am) 1… Kn) Kn) Ka) fna) e» i»: @fn,) 
@(1) @(1) 00) 8(1) @(1) 00) el) e0D 00) A) = O Q0) OL) em- Ono) 
(nss °) 
ilog, 2 J-1 
Bit: O(n'e7)+ > afr) 
图 4-8 T(n)=aT([n/oD +f) BIT. HIB n 的 定义 见 公式 (4. 27) 
从 图 4-8 可 以 看 出 ， 
| Llog,n Hi 
T(n) = Oln) + > ai f (n;) (4. 28) 


除了 n 为 任意 整数 ， 未 局 限 为 已 的 寡 之 外 ， 这 个 公式 与 公式 (4. 21) 几 乎 一 样 。 
我 们 现在 可 以 对 公式 (4. 28) 中 的 和 式 进行 求 什 
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Llog,n}+1 
gin) = >? a’ f (n;) (4. 29) 
方法 与 引 理 4. 3 的 证 明 类 似 。 我 们 从 情况 3 开始 ， 如 果 对 n>b+5/(b—-1), af (n/bD<cf(n) E 
立 ， 其 中 <1 是 常数 ， 则 有 aif (nj) 志 ofln)。 因 此 ， 我 们 可 以 像 引 理 4. 3 的 证 明 一 样 来 对 公式 
(4. 29) 的 和 式 进 行 求 值 。 对 于 情况 2， 我 们 有 f(r) = 二 Bn )。 如 果 能 证 明 fC) =O" /ai) 
) | = 二 OCn/5)**)， 则 情况 2 的 证 明 直 接 使 用 引 理 4. 3 证 明 的 方法 即 可 。 观 察 到 ;二 | logn | 意味 着 
六 [pr<1。 界 f(n) =O(n"™") BRS ER c>0， 使 得 对 所 有 足够 大 的 万， 


pyc epg)” =A (ree gh)” 


la ori aa ae) 


a ee ee ae -olz | 


aj qi 
因为 c(l+6/(o—-1))* EAE. A, TOL 2 得 证 。 情 况 1 的 证 明 几 乎 是 一 样 的 。 关 键 是 证 明 
界 fln) 二 OCCm/5)%*“)， 这 部 分 与 情况 2 证明 中 的 对 应 部 分 相似 ， 尽 管 使 用 的 代数 方法 更 复杂 些 。 
现在 我 们 已 经 对 所 有 整数 证 明了 主 定 理 的 上 界 。 下 界 的 证 明 类 似 。 


练习 
*4.6-1 对 5 是 正 整 数 而 非 任 意 实数 的 情况 ， 给 出 公式 (4. 27) 中 nj 的 简单 而 准确 的 表达 式 。 
*4.6-2 证明: 如 果 (MAn: lg*n)， 其 中 & 宇 0， 那 么 主 递归 式 的 解 为 Tn) =O? Ig**'n), 
为 简单 起 见 ， 假定 n 是 6 WEF 
*4. 6-3 证明， 主 定 理 中 的 情况 3 被 过 分 强调 了 ， 从 某 种 意义 上 来 说 ， 对 某 个 常数 c<1， 正 则 条 
106 件 af (n/b)<cf(n) MILA ARBRE EEE s>>0， 使 得 FC) =O"), 


4-1 (递归 式 例子 ) 对 下 列 每 个 递归 式 ， 给 出 T(n) 的 渐 近 上 界 和 下 界 。 假 定 n 二 2 时 T(n) 是 常 
数 。 给 出 尽量 紧 确 的 界 ， 并 验证 其 正确 性 。 
a. T(n) =2T(n/2)-+n! 
b. T(n)=T(7n/10) +n 
c. T(n) =16T(n/4) +r 
d. T(n) =7T(n/3) +n? 
e. T(n) =7T(n/2) +n? 
£. T(n) =2T(n/4) Hn 
g. T(n)=T(n—2) +r 
4-2 (参数 传递 代价 ) 我们 有 一 个 贯穿 本 书 的 假设 一 一 过 程 调 用 中 的 参数 传递 花费 常量 时 间 ， 
即使 传递 一 个 NN 个 元 素 的 数组 也 是 如 此 。 在 大 多 数 系统 中 ， 这 个 假设 是 成 立 的 ， 因 为 传递 
的 是 指向 数组 的 指针 ， 而 非 数 组 本 身 。 本 题 讨论 三 种 参数 传递 策略 : 
1. 数组 通过 指针 来 传递 。 时 间 王 B(1) 。 
2. 数组 通过 元 素 复制 来 传递 。 时 间 二 BCN)， 其 中 NN 是 数组 的 规模 。 
3. 传递 数组 时 ， 只 复制 过 程 可 能 访问 的 子 区 域 。 知 子 数组 AL. qj 被 传递 ， 则 时 间 二 (gg 一 
力 十 1) 。 
a. 考虑 在 有 序数 组 中 查找 元 素 的 递归 二 分 查找 算法 (参见 练习 2. 3-5) 。 分 别 给 出 上 述 三 种 
参数 传递 策略 下 ， 二 分 查找 最 坏 情 况 运 行 时 间 的 递归 式 ， 并 给 出 递归 式 解 的 好 的 上 界 。 











4-4 


4-5 
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S NN 为 原 问题 的 规模 ，n 为 子 问 题 的 规模 。 
b. 对 2. 3. 1 节 的 MERGE-SORT 算法 重 做 (a) 。 107 
(更 多 的 递归 式 例 子 ) 对 下 列 每 个 递归 式 ， 给 出 TI 的 渐 近 上 界 和 下 界 。 假 定 对 足够 小 的 
n，T(n) 是 常数 。 给 出 尽量 紧 确 的 界 ， 并 验证 其 正确 性 。 
a. T(n) =4T(n/3) +nlgn 
b. T(n) =3T(n/3) +n/ lgn 
c. T(n) =4T(n/2) +r? Vn 
d. T(n) =3T(n/3—2) +n/2 
e. T(n) =2T(n/2)+n/ lgn 
f. Tid) = T(n/2) + T(n/4) + T(n/8) +0 
g. T(n)=T(n—-1) + 1/n 
h. T(n) =T(n—1) + Ign 
i. Tir) =T(n—2) +1/ lgn 
j. Tn) =/nT Nn) +n 
(CERRAR) ”本题 讨论 递归 式 (3. 22) 定 义 的 斐 波 那 契 数 的 性 质 。 我 们 将 使 用 生成 函数 技 
术 来 求解 韭 波 那 契 递归 式 。 生 成 函数 (又 称 为 形式 帘 级 数 ) 了 定义 为 


F(z) = SD Fi = 0 十 z 十 十 2 十 3x +52? + 82° +1327 +2122 十 … 
其 中 F 为 第 ; 个 斐 波 那 契 数 。 


a. 证 明 ; F(QDHeteF (Dte F(z). 108 
b. 证 明 : 
站 
ne = l-z-2 (1—¢z)(—¢z) Ik Er. 
其 中 
$= itv = 1. 618 03-+ 
$= if =— 0. 618 03++ 
c. HEAR: 
Fa) = Dy Fe Be 


d. 利用 (c) 的 结果 证 明 : 对 i 汪 >0，F, = 二 #/N5， 结 果 舍 人 到 最 接近 的 整数 。( 提 示 : 观察 到 
1$| <=1.) 

(芯片 检测 )” Diogenes 教授 有 nn 片 可 能 完全 一 样 的 集成 电路 芯片 ， 原 理 上 可 以 用 来 相互 检 

测 。 教 授 的 测试 夹具 同时 只 能 容纳 两 块 芯 片 。 当 夹具 装载 上 时 ， 每 块 芯 片 都 检测 另 一 块 ， 

并 报告 它 是 好 是 坏 。 一 块 好 的 芯片 总 能 准确 报告 另 一 块 芯 片 的 好 坏 ， 但 教授 不 能 信任 坏 芯 

片 报告 的 结果 。 因 此 ，4 种 可 能 的 测试 结果 如 下 : 


芯片 A 的 结果 芯片 B 的 结果 结 论 
如 是 好 的 A 是 好 的 两 片 都 是 好 的 ， 或 都 是 坏 的 
B 是 好 的 A 是 坏 的 至 少 一 块 是 坏 的 
也 是 坏 的 A 是 好 的 至 少 一 块 是 坏 的 


B 是 坏 的 A 是 坏 的 至 少 一 块 是 坏 的 
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a. WEAR: 如 果 超 过 n/2 块 芯 片 是 坏 的 ， 使 用 任何 基于 这 种 逐 对 检测 操作 的 策略 ， 教 授 都 不 
能 确定 哪些 芯片 是 好 的 。 假 定 坏 芯片 可 以 合谋 欺骗 教授 。 
b. 考虑 从 ? 块 世 片 中 寻找 一 块 好 芯片 的 问题 ， 假 定 超 过 n/2 块 芯 片 是 好 的 。 证 明 : 进行 LV2j 
次 逐 对 检测 足以 将 问题 规模 减 半 。 
c. 假定 超过 n/2 块 芯片 是 好 的 ， 证 明 : 可 以 用 8(n) 次 逐 对 检测 找 出 好 的 芯片 。 给 出 描述 检 
测 次 数 的 递归 式 ， 并 求解 它 。 
4-6 (Monge 阵列 ) 对 一 个 mXn 的 实数 阵列 A， 若 对 所 有 满足 li<k<m AIS Kn Wi, 
1，& 和 /7 有 
Ali,j]+ALk,l] < ALi, i] +ALk,j] 
则 称 A 是 Monge 阵列 (Monge array) 。 换 句 话 说， 无 论 何 时 选 出 Monge 阵列 的 两 行 和 两 列 ， 
对 于 交叉 点 上 的 4 个 元 素 ， 左 上 和 右 下 两 个 元 素 之 和 总 是 小 于 等 于 左下 和 右上 元 素 之 和 。 
例如 ， 下 面 就 是 一 个 Monge 阵列 : 
10 17 13 28 23 
17 22 16 29 23 
24 28 22 34 24 
11 13 6 17 7 
45 44 32 37 23 
36 33 19 21 6 
75 66 51 53 34 
a. WEBB: 一 个 数组 是 Monge 阵列 当 且 仅 当 对 所 有 ;一 1， 2，…，71X 一 ] 和 j=1, 2，…，7 一 1， 有 
ALi,j]+ALi+1,j +1] <Ali,j+1]+Ali+1,7] 
(提示 : 对 于 “ 当 ? 的 部 分 ， 分 别 对 行 和 列 使 用 归纳 法 。) 
b. 下 面 数 组 不 是 Monge 阵列 。 改 变 一 个 元 素 使 其 变 成 Monge 阵列 。( 提 示 : 利用 (a) 的 
结果 。) 
37 23 22 32 
21 6 7 10 
53 34 30 31 
32 13 9 6 
43 21 15 8 
e S SORRE i 行 的 最 左 最 小 元 素 的 列 下 标 。 证 明 ， 对 任意 mX n 的 Monge FF, FO) 
FDF). 
d. 下 面 是 一 个 计算 mXn 的 Monge 阵列 A 每 一 行 最 左 最 小 元 素 的 分 治 算法 的 描述 : 
提取 A 的 偶数 行 构造 其 子 矩 阵 A 。 递 归 地 确定 A 每 行 的 最 左 最 小 元 素 。 
然后 计算 A 的 奇数 行 的 最 左 最 小 元 素 。 
解释 如 何在 Om +n) AHE A 的 奇数 行 的 最 左 最 小 元 素 ( 在 偶数 行 的 最 左 最 小 元 素 
已 知 的 情况 下 ) 。 
e 给 出 Cd) 中 描述 的 算法 的 运行 时 间 的 递归 式 。 证 明 其 解 为 OC(m 十 nlogm)。 
本 章 注 记 


分 治 作为 一 种 算法 设计 技术 至 少 可 以 追溯 到 1962 年 Karatsuba 和 Ofman 的 一 篇 文章 L194j。 


但 是 在 这 之 前 ， 分 治 技术 已 经 有 很 好 的 应 用 ， 根 据 Heideman, Johnson 和 Burrus 的 论文 [163j]， 
卡尔 。 弗 雷 德 里 希 。 高 斯 在 1805 年 设计 了 第 一 个 快速 傅 里 叶 变 换算 法 ， 而 高 斯 的 算法 就 是 将 问 


题 分 解 为 更 小 的 子 问题 ， 求 解 完 子 问 题 后 将 它们 的 解 组 合 起 来 。 

4. 1 节 中 讨论 的 最 大 子 数 组 问题 是 BentlyL43， 第 7 章 ] 研 究 的 问题 的 一 个 简单 变形 。 

Strassen 算法 [325 ] 发 表 于 1969 年 ， 它 的 出 现 引起 了 很 大 的 又 动 。 在 此 之 前 ， 很 少 人 敢 设 想 
一 个 算法 能 渐 近 快 于 平凡 算法 SQUARE-MATRIXMULTIPLY。 和 矩阵 乘法 的 渐 近 上 界 自 此 被 改 
进 了 。 到 目前 为 止 , xXn 和 矩阵 相 乘 的 浙 近 复杂 性 最 优 的 算法 是 Coppersmith 和 WinogradL78j 提 
出 的 ， 运 行 时 间 为 O) 已 知 的 最 好 的 下 界 显 然 是 OC) (这 是 显然 的 下 界 ， 因 为 我 们 必须 
填写 结果 和 矩阵 的 对 TIGR)» 

从 实用 的 角度 看 ，Strassen 算法 通常 并 不 是 解决 矩阵 乘法 的 最 好 选择 ， 原 因 有 4 个 : 

1. 隐藏 在 Strassen 算法 运行 时 间 O Cn*) 中 的 常数 因子 比 过 程 SQUARE-MATRIX- 
MULTIPLY 的 Oma ) 时 间 的 常数 因子 大 。 

2. 对 于 稀 玻 和 矩阵， 专用 算法 更 快 。 

3. Strassen 算法 的 数值 稳定 性 不 如 SQUARE-MATRIX-MULTIPLY 那么 好 。 换 名 话说， 由 
于 计算 机 计算 非 整 数值 时 有 限 的 精度 ，Strassen 算法 累积 的 误差 比 SQUARE-MATRIX- 
MULTIPLY 大 。 

4. 递归 过 程 中 生成 的 子 和 矩阵 消耗 存储 空间 。 
后 两 个 原因 在 1990 年 左右 得 到 了 缓解 。HighamL167] 显 示 了 数值 稳定 性 上 的 差异 被 过 分 强调 了 ; 
虽然 Strassen 算法 对 某 些 应 用 来 说 数值 稳定 性 太 差 ， 但 对 其 他 应 用 来 说 ， 它 所 产生 的 数值 误差 还 
在 可 接受 的 范围 内 。Bailey、Lee 和 Simon[ 32 讨论 了 降低 Strassen 算法 内 存 需求 的 技术 。 

在 实际 应 用 中 ， 秽 密 和 矩阵 的 快速 乘法 程序 在 矩阵 规模 超过 一 个 “交叉 点 ”时 使 用 Strassen 算 
法 ， 一 旦 子 问题 规模 降低 到 交叉 点 之 下 ， 就 切换 到 一 个 更 简单 的 方法 。 交 叉 点 的 确切 值 高 度 依赖 
于 具体 系统 。 有 一 些 分 析 统 计 操 作 次 数 ， 但 忽略 CPU 缓存 和 流水 线 的 影响 ， 得 出 的 交叉 点 低 至 
7 一 8(Higham[ 167]) 或 n=12( Huss-Lederman $A[186]), D’Alberto 和 Nicolau[ 81 ] 设 计 了 一 个 
自 适应 方法 ， 在 软件 包 安 装 完毕 后 通过 基准 测试 确定 交叉 点 。 他 们 发 现 ， 在 不 同 的 系统 上 ， 交 又 
点 的 值 从 n=400 到 n=2 150 变化 ， 而 在 几 个 系统 中 无 法 找到 交叉 点 。 

递归 式 的 研究 最 早 可 追溯 到 1202 年 李 奥 纳 多 。 斐 波 那 契 的 工作 ， 斐 波 那 契 数 就 是 以 他 命名 
的 。A. De Moivre 提出 了 用 生成 函数 (参见 思考 题 4-4) 求 解 递归 式 的 方法 。 主 方法 改 自 Bentley, 
Haken 和 Saxe[L44 | 的 方法 ， 这 篇 文章 提供 了 一 种 扩展 方法 ， 在 练习 4. 6-2 中 已 经 得 到 验证 。 
Knuth[209] 和 Liu[ 237j] 展 示 了 如 何 使 用 生成 函数 的 方法 求解 线性 递归 式 。Purdom 和 Brown 的 论 
文 [287j] 及 Graham, Knuth 和 Patashnik 的 论文 [L152 包含 了 递归 式 求解 的 进一步 讨论 。 

相对 于 主 方法 可 求解 的 分 治 算 法 递归 式 ， 多 名 研究 者 ， 包 括 Akra 和 Bazzi[ 13]、Roura 
[299], Verma[346]%& YapL360]， 都 给 出 过 更 一 般 的 递归 式 的 求解 方法 。 我 们 介绍 一 下 Akra 和 
Bazzi 的 结果 ， 这 里 给 出 的 是 Leighton[L228j 修 改 后 的 版 本 。Akra-Bazzi 方法 求解 如 下 形式 的 递 
xk: 


T(x) = (4. 30) 


k 
DaT) +f) 车 zx 这 zo 
i=l 
其 中 


Z 之 1 是 一 个 实数 ， 

Xo 是 一 个 常数 ， 满足 对 2 一 ]，2，…，R， xy 21/b; Boxy 1/A—))); 
。 MP i=l, 2, 0, ky a; 是 一 个 正常 数 ， 

。 对 1 二 1]，2，…，k，b; 是 一 个 常数 ， 范 围 在 0 二 5; 达 1， 

° k=1 是 一 个 整数 常数 ， 且 
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。 f(z) 是 一 个 非 负 函数 ， 满 足 多 项 式 增长 条 件 ， 存在 正常 数 c 和 cs ， 使 得 对 所 有 r21, 
i 二 1]，2，…, 上 以 及 所 有 满足 bx 二 u 过 z+ 的 w， 有 cf(z) 志 flw) 志 co f(z)。( 车 | 了 ' (zx)| 
的 上 界 是 z 的 某 个 多 项 式 ， 则 f(x) 满足 多 项 式 增 长 条 件 。 例 如 ， 对 任意 实 常 数 a AP, 
fo =r lgx 满足 此 条 件 。) 

虽然 主 定理 不 能 应 用 于 OT) = TCL n/3.) + TCL2n/3) +O) 这样 的 递归 式 ， 但 Akra-Bazzi 方 


法 可 以 。 为 了 求解 递归 式 (4. 30) ， 我 们 首先 寻找 满足 2) ab? = 1 的 实数 p( 这 样 的 p 总 是 存在 
的 )。 那 么 递归 式 的 解 为 
Tae “(14 | f du) ) 


Akra-Bazzi 方法 可 能 有 点 儿 难 用 ， 但 它 ER 主 方法 
很 容易 使 用 ， 但 只 能 用 于 子 问题 规模 相等 的 情况 。 


| 第 5 章 


Introduction to Algorithms，Third Edition 


本 章 介 绍 概率 分 析 和 随机 算法 。 如 果 你 不 熟悉 概率 论 的 基本 知识 ， 应 先 阅读 附录 CC， 复习 这 
部 分 材料 。 我 们 将 在 本 书 中 多 次 提 到 概率 分 析 和 随机 算法 。 


51 雇用 问题 


假如 你 要 雇用 一 名 新 的 办 公 助 理 。 你 先前 的 雇用 尝试 都 失败 了 ， 于 是 你 决定 找 一 个 雇用 代 
理 。 雇 用 代理 每 天 给 你 推荐 一 个 应 聘 者 。 你 面试 这 个 人 ， 然 后 决定 是 否 雇用 他 。 你 必须 付 给 雇用 
代理 一 小 笔 费 用 ， 以 便 面 试 应 聘 者 。 然 而 要 真 的 雇用 一 个 应 聘 者 需要 花 更 多 的 钱 ， 因 为 你 必须 群 
掉 目 前 的 办 公 助 理 ， 还 要 付 一 大 笔 中 介 费 给 雇用 代理 。 你 承诺 在 任何 时 候 ， 都 要 找 最 适合 的 人 来 
担任 这 项 职务 。 因 此 ， 你 决定 在 面试 完 每 个 应 聘 者 后 ， 如 果 该 应 聘 者 比 目 前 的 办 公 助 理 更 合适 ， 
就 会 辞 掉 当前 的 办 公 助 理 ， 然 后 聘用 新 的 。 你 愿意 为 该 策略 付费 ， 但 希望 能 够 估算 该 费用 会 是 
Bb, 

下 面 给 出 的 HIRE-ASSISTANT 过 程 以 伪 代 码 表示 该 雇用 策略 。 假 设 应 聘 办 公 助 理 的 候选 人 
编号 为 1 到 ”。 该 过 程 中 假设 你 能 在 面试 完 应 聘 者 后， 决定 应 聘 者 i 是 否 是 你 目前 见 过 的 最 佳 
人 选 。 初 始 化 时 ， 该 过 程 创建 一 个 虚拟 的 应 聘 者 ， 编 号 为 0， 他 比 其 他 所 有 应 聘 者 都 差 。 

HIRE-ASSISTANT(n) 


1 best = 0 // candidate 0 is a least-qualified dummy candidate 





2 for: = 1 ton 

3 interview candidate i 
4 if candidate z is better than candidate best 
5 best = i 
6 


hire candidate i 


这 个 问题 的 费用 模型 与 第 2 章 中 描述 的 模型 不 同 。 我 们 关注 的 不 是 HIRE-ASSISTANT 的 执 
行 时 间 ， 而 是 面试 和 雇用 所 产生 的 费用 。 表 面 上 看 起 来 ， 分 析 这 个 算法 的 费用 与 分 析 归 并 排序 等 
的 运行 时 间 有 很 大 不 同 。 然 而 ， 我 们 在 分 析 费 用 或 者 分 析 运 行 时 间 时 ， 所 采用 的 分 析 技术 却 是 相 
同 的 。 在 任何 情形 中 ， 我 们 都 是 在 计算 特定 基本 操作 的 执行 次 数 。 

面试 的 费用 较 低 ， 比 如 为 c;， 然 而 雇用 的 费用 较 高 ， 设 为 o,。 假 设 m 是 雇用 的 人 数 ， 那 么 该 
算法 的 总 费用 就 是 O(cm 十 orz) 。 不 管 雇用 多 少 人 ， 我 们 总 会 面试 ”个 应 聘 者 ， 于 是 面试 产生 的 
费用 总 是 cn。 因 此 ， 我 们 只 关注 于 分 析 cm， 即 雇用 的 费用 。 这 个 量 在 该 算法 的 每 次 执行 中 都 
不 同 。 
这 个 场景 用 来 作为 一 般 计 算 范式 的 模型 。 我 们 通常 通过 检查 序列 中 的 每 个 成 员 ， 并 且 维 护 
一 个 当前 的 “获胜 者 "， 来 找 出 序列 中 的 最 大 值 或 最 小 值 。 这 个 雇用 问题 对 当前 获胜 成 员 的 更 新 频 
率 建立 模型 

最 坏 情形 分 析 

在 最 坏 情况 下 ， 我 们 实际 上 雇用 了 每 个 面试 的 应 聘 者 。 当 应 聘 者 质量 按 出 现 的 次 序 严格 弟 
增 时 ， 这 种 情况 就 会 出 现 ， 此 时 雇用 了 次 ， 总 的 费用 是 Oan). 

当然 ， 应 聘 者 并 非 总 以 质量 递增 的 次 序 出 现 。 事 实 上 ， 我 们 既 不 知道 他 们 出 现 的 次 序 ， 也 不 
能 控制 这 个 次 序 。 因 此 ， 很 自然 地 会 问 在 一 种 典型 或 者 平均 的 情形 下 ， 会 有 什么 发 生 。 
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概率 分 析 
概率 分 析 是 在 问题 分 析 中 应 用 概率 的 理念 。 大 多 数 情况 下 ， 我 们 采用 概率 分 析 来 分 析 一 个 


算法 的 运行 时 间 ， 有 时 也 用 它 来 分 析 其 他 的 量 , 例如， 过 程 HIRE-ASSISTANT 中 的 雇用 费用 。 


为 了 进行 概率 分 析 ， 我 们 必须 使 用 或 者 假设 关于 输入 的 分 布 。 然 后 分 析 该 算法 ， 计 算出 一 个 平均 
情形 下 的 运行 时 间 ， 其 中 我 们 对 所 有 可 能 的 输入 分 布 取 平 均值 。 因 此 ， 实 际 上 ， 我 们 对 所 有 可 能 
输入 产生 的 运行 时 间 取 平均 。 当 报告 此 种 类 型 的 运行 时 间 时 ， 我 们 称 其 为 平均 情况 运行 时 间 。 

我 们 在 确定 输入 分 布 时 必须 非常 小 心 。 对 于 某 些 问题 ， 我 们 可 以 对 所 有 可 能 的 输入 集合 做 
某 种 假定 ， 然 后 采用 概率 分 析 来 设计 一 个 高 效 算法 ， 并 加 深 对 问题 的 认识 。 对 于 其 他 一 些 问题 ， 
我 们 不 能 描述 一 个 合理 的 输入 分 布 ， 此 时 就 不 能 采用 概率 分 析 。 

在 雇用 问题 中 ， 我 们 可 以 假设 应 聘 者 以 随机 顺序 出 现 。 这 一 假设 意味 着 什么 ? 假定 可 以 对 任 
何 两 个 应 聘 者 进行 比较 ， 并 决定 哪 一 个 更 有 资格 ; 也 就 是 说 ， 所 有 应 聘 者 存在 一 个 全 序 关 系 ( 全 
序 的 定义 可 参见 附录 B) 。 因 此 ， 可 以 使 用 从 1 到 ”的 唯一 号 码 对 应 聘 者 排列 名 次 ， 用 rank i) # 
示 应 聘 者 i 的 名 次 ， 并 照常 约定 一 个 较 高 名 次 对 应 一 个 更 好 的 应 聘 者 。 有 序 序列 (rank (1)， 
rank(2) ，…，rank(n)) 是 序列 (1 ，2，…，n) 的 一 个 排列 。 称 应 聘 者 以 随机 顺序 出 现 ， 等 价 于 称 
这 个 排名 列表 是 数字 1 到 的 2! 种 排列 表 中 的 任 一 个 。 或 者 ， 我 们 也 称 这 些 排 名 构成 一 个 均匀 
随机 排列 ; 也 就 是 说 ， 在 n! 种 可 能 的 排列 中 ， 每 一 种 以 等 概率 出 现 。 

5. 2 节 包 含 这 个 雇用 问题 的 一 个 概率 分 析 。 

随机 算法 

为 了 利用 概率 分 析 ， 我 们 需要 了 解 关 于 输入 分 布 的 一 些 信息 。 在 许多 情况 下 ， 我 们 对 输入 分 
布 了 解 很 少 。 即 使 知道 输入 分 布 的 某 些 信息 ， 也 可 能 无 法 从 计算 上 对 该 分 布 知识 建立 模型 。 然 
而 ， 我 们 通过 使 一 个 算法 中 某 部 分 的 行为 随机 化 ， 常 可 以 利用 概率 和 随机 性 作为 算法 设计 和 分 
析 的 工具 。 

在 雇用 问题 中 ， 看 起 来 应 聘 者 好 像 以 随机 顺序 出 现 ， 但 我 们 无 法 知道 是 否 的 确 如 此 。 因 此 ， 
为 了 设计 雇用 问题 的 一 个 随机 算法 ， 我 们 必须 对 面试 应 聘 者 的 次 序 有 更 大 的 控制 。 所 以 ， 稍 稍 改 
变 这 个 模型 。 假 设 雇用 代理 及 个 应 聘 者 ， 而 且 他 们 事先 给 我 们 一 份 应 聘 者 名 单 。 每 天 随机 选择 
某 个 应 聘 者 来 面试 。 尽 管 除了 应 聘 者 的 名 字 外 对 其 他 信息 一 无 所 知 ， 但 我 们 已 经 做 了 一 个 显著 
的 改变 。 不 是 像 以 前 依赖 于 猜测 应 聘 者 以 随机 次 序 出 现 ， 取 而 代 之 ， 我 们 获得 了 对 流程 的 控制 并 
且 加 强 了 随机 次 序 。 

更 一 般 地 ， 如 果 一 个 算法 的 行为 不 仅 由 输入 决定 ， 而 且 也 由 随机 数 生成 器 (random-number 
generator) 产 生 的 数值 决定 ， 则 称 这 个 算法 是 随机 的 (randomized) 。 我 们 将 假设 有 一 个 可 以 自由 
使 用 的 随机 数 生成 器 RANDOM。 调用 RANDOM(a，b 将 返回 一 个 介 于 a Md 之 间 的 整数 ， 并 
日 每 个 整数 以 等 概率 出 现 。 例 如 ，RANDOM(0，1) 产 生 0 的 概率 是 1/2， 产 生 1 的 概率 也 是 1/2。 
调用 RANDOM(3，7) 将 返回 3、4、5、6 或 7， 每 个 出 现 的 概率 都 是 1/15。 每 次 RANDOM 返回 
的 整数 独立 于 前 面 调用 的 返回 值 。 可 以 将 RANDOM 想象 成 所 一 个 (5 一 a 十 1) 面 的 骨 子 ， 获 得 出 
现 的 点 数 。( 在 实践 中 ， 大 多 数 编程 环境 会 提供 一 个 伪 随 机 数 生成 器 ， 它 是 一 个 确定 性 算法 ， 返 
回 值 在 统计 上 看 起 来 是 随机 的 。) 

当 分 析 一 个 随机 算法 的 运行 时 间 时 ， 我 们 以 运行 时 间 的 期 望 值 衡量 ， 其 中 输入 值 由 随机 数 
生成 器 产生 。 我 们 将 一 个 随机 算法 的 运行 时 间 称 为 期 望 运行 时 间 ， 以 此 来 区 分 这 类 算法 和 那些 
输入 是 随机 的 算法 。 一 般 而 言 ， 当 概率 分 布 是 在 算法 的 输入 上 时 ， 我 们 讨论 的 是 平均 情况 运行 时 
间 ; 当 算 法 本 身 做 出 随机 选择 时 ， 我 们 讨论 其 期 望 运行 时 间 。 


练习 
5.1-1 WH: 假设 在 过 程 HIRE-ASSISTANT 的 第 4 行 中 ， 我 们 总 能 决定 哪 一 个 应 聘 者 最 佳 ， 
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则 意味 着 我 们 知道 应 聘 者 排名 的 全 部 次 序 。 

xs. 1-2 ”请 描述 RANDOM(a， 纪 过 程 的 一 种 实现 ， 它 只 调用 RANDOM, 1). EX a 和 6 WR 
数 ， 你 的 过 程 的 期 望 运行 时 间 是 多 少 ? 

xs. 1-3 ”假设 你 希望 以 1/2 的 概率 输出 0 与 1。 你 可 以 自由 使 用 一 个 输出 0 或 1 的 过 程 BIASED- 
RANDOM。 它 以 某 概 率 p 输出 1， 概 率 1 一 p 输 出 0， 其 中 OK<, 但 是 p 的 值 未 知 。 
请 给 出 一 个 利用 BIASED-RANDOM 作为 子 程序 的 算法 ， 返 回 一 个 无 偏 的 结果 ， 能 以 概 
率 1/2 返回 0， 以 概率 1/2 返回 1。 作为 pb 的 函数 ， 你 的 算法 的 期 望 运行 时 间 是 多 少 ? 


5.2 指示 器 随机 变量 
为 了 分 析 雇 用 问题 在 内 的 许多 算法 ， 我 们 采用 指示 需 随 机 变量 (indicator random variable), 
它 为 概率 与 期 望 之 间 的 转换 提供 了 一 个 便利 的 方法 。 给 定 一 个 样本 空间 S 和 一 个 事件 A， 那 么 事 
件 A 对 应 的 指示 器 随机 变量 HA EXN: 
1 WRAZ 
UA) = {0 ae a Rope 6.1) 
举 一 个 简单 的 例子 ， 我 们 来 确定 抛掷 一 枚 标准 硬币 时 正面 朝 上 的 期 望 次 数 。 样 本 空间 为 S= 
(H, T}, F Pr{( 互 }=Pr( 人 一 1/2。 接 下 来 定义 一 个 指示 器 随机 变量 Xa， 对 应 于 硬币 正面 朝 
上 的 事件 互 。 这 个 变量 计数 抛 硬币 时 正面 朝 上 的 次 数 ， 如 果 正 面 朝 上 则 值 为 1， 否则 为 0。 我 们 
WR: 
1 WRARE 
0 如 果 工 发 生 
在 一 次 抛掷 硬币 时 ， 正 面 闽 上 的 期 望 次 数 就 是 指示 器 变量 Xr 的 期 望 值 ; 
EL Xy] = ELI{H}] 1。Pr( 互 ) 十 0。Pr{ 全) 
一 1。(1/2) 十 0。(1/2) = 1/2 
因此 抛掷 一 枚 标准 人 硬币 时 ， 正 面 朝 上 的 期 望 次 数 是 1/2。 如 下 面 引 理 所 示 ， 一 个 事件 A 对 应 的 指 
示 器 随机 变量 的 期 望 值 等 于 事件 A 发 生 的 概率 。 
引 理 5. 1 给 定 一 个 样本 空间 S 和 S 中 的 一 个 事件 A, 设 X 二 I{A)}， 那 么 ELX, ]=Pr(A)} 
证 明 ”由 等 式 (5.1) 指 示 器 随机 变量 的 定义 ， 以 及 期 望 值 的 定义 ， 我们 有 
EL X, | = ELI{A} ] = 1. Pr{A}+0 + Pr{A} = Pr{A} 
其 中 及 表示 S 一 A， 即 A 的 补 。 m 
虽然 指示 器 随机 变量 看 起 来 很 麻烦 ， 比 如 在 计算 单 枚 硬币 一 次 投 邱 的 正面 次 数 期 望 时 ， 但 
是 它 在 分 析 重 复 随 机 试验 时 是 有 用 的 。 例 如 ， 指 示 器 随机 变量 为 我 们 求 等 式 (C. 37) 的 结果 提供 
了 一 个 简单 方法 。 在 这 个 等 式 中 ， 我 们 分 别 考 虑 出 现 0 个 、1 个 、2 个 … 正 面 朝 上 的 概率 ， 以 计 
算 抛 ”次 硬币 时 正面 朝 上 的 次 数 。 等 式 (C. 38) 中 给 出 了 简单 方法 ， 隐 含 使 用 了 指示 器 随机 变量 。 
为 使 讨论 更 清楚 ， 我 们 设 指示 器 随机 变量 X; 对 应 第 i 次 抛 硬币 时 正面 朝 上 的 事件 : X; 二 IT( 第 i 次 
抛掷 时 出 现 事件 五 } 。 设 随机 变量 X 表示 7 次 抛 硬币 中 出 现 正 面 的 总 次 数 ， 于 是 
X= Xx, 
人 所 以 对 上 面 等 式 两 边 取 期 望 ， 得 到 
ELX] = E| > 3 X; | 
上 面 等 式 给 出 了 ?个 指示 器 随机 变量 总 和 的 期 望 值 。 由 引 理 5. 1， 我 们 容易 计算 出 每 个 随机 变量 
的 期 望 值 。 根 据 反映 期 望 线 性 性 质 的 等 式 (C. 21)， 容 易 计 算出 总 和 的 期 望 值 ， 它 等 于 个 随机 
变量 期 望 值 的 总 和 。 期 望 的 线性 性 质 利 用 指示 器 随机 变量 作为 一 种 强大 的 分 析 技 术 ; 当 随 机 变量 
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之 间 存 在 依赖 关系 时 也 成 立 。 现 在 我 们 可 以 轻松 地 计算 正面 出 现 次 数 的 期 望 : 
E[X] = E| >) x, = 2, EX] = 2,1/2 = n/2 

因此 ， 和 等 式 (C. 37) 中 用 到 的 方法 相 比 ， 指 示 器 随机 变量 极 大 地 简化 了 计算 过 程 。 我 们 将 在 本 
书 中 一 直 采 用 指示 器 随机 变量 。 

用 指示 器 随机 变量 分 析 雇 用 问题 

返回 到 雇用 问题 上 来 。 我 们 希望 计算 雇用 一 个 新 的 办 公 助 理 的 期 望 次 数 。 为 了 利用 概率 分 
析 ， 假 设 应 聘 者 以 随机 顺序 出 现 ， 如 前 一 节 所 述 。( 我 们 将 看 到 在 5. 3 节 如 何 去 除 这 个 假设 。) 设 
X 是 一 个 随机 变量 ， 其 值 等 于 我 们 雇用 一 个 新 办 公 助 理 的 次 数 。 然 后 ， 应 用 等 式 (C. 20) 中 期 望 
值 的 定义 ， 得 到 


PAIE N ea) 


但 是 这 种 计算 会 很 有 麻烦。 取而代之 ， 我 们 将 采用 指示 器 随机 变量 来 大 大 简化 计算 。 

为 了 利用 指示 器 随机 变量 ， 我 们 不 是 通过 定义 与 雇用 一 个 新 办 公 助 理 所 需 次 数 对 应 的 一 个 
变量 来 计算 ELXJj， 而 是 定义 2 个 变量 ， 与 每 个 应 聘 者 是 否 被 雇用 对 应 。 特 别 地 ， 假 设 X 对 应 于 
第 ;个 应 聘 者 被 雇用 该 事件 的 指示 器 随机 变量 。 因 而 ， 

l 1 WRN BS i REA 
X; 二 I{ 应 聘 者 i 被 座 用 )} 一 0 如 果 应 聘 者 i 不 被 雇用 
以 及 
X=X,+X,+--4+X, (5. 2) 
根据 引 理 5. 1， 我 们 有 
ELX;] = Pri MRA i REA} 
因此 必须 计算 HIRE-ASSISTANT 中 第 5 一 6 行 被 执行 的 概率 。 

在 第 6 行 中 ， 应 聘 者 ; 被 雇用 ， 正 好 应 聘 者 ; 比 从 1 到 ;一 1 的 每 一 个 应 聘 者 优秀 。 因 为 我 们 
已 经 假设 应 聘 者 以 随机 顺序 出 现 ， 所 以 前 ;个 应 聘 者 也 以 随机 次 序 出 现 。 这 些 前 i 个 应 聘 者 中 的 
任意 一 个 都 等 可 能 地 是 目前 最 有 资格 的 。 应 聘 者 i 比 应 聘 者 1 到 i 一 1 更 有 资格 的 概率 是 1/i， 因 
而 也 以 1/i 的 概率 被 雇用 。 由 引 理 5. 1， 可 得 

E[X;] = 1/i (5. 3) 
现在 可 以 计算 ELX]: 


E[X] 一 E| Sx] (根据 等 式 (5.2)) (5.4) 
= PHX] (根据 期 望 的 线性 性 质 ) 


= D1/i (根据 等 式 (5. 3)) 


二 Inn 十 O(1) 〈 根 据 等 式 (A. 7)) (5. 5) 

尽管 我 们 面试 了 nn 个人， 但 平均 起 来 ， 实际 上 大 约 只 雇用 他 们 之 中 的 Inn 个人。 我 们 用 下 面 的 引 
理 来 总 结 这 个 结果 。 

引 理 5.2 假设 应 聘 者 以 随机 次 序 出 现 ， 算 法 HIRE-ASSISTANT 4H BAA RA ESB 
为 Olc, Inn). 

证 明 根据 雇用 费用 的 定义 和 等 式 (5. 5) ， 可 以 立即 推出 这 个 界 ， 说 明 雇 用 的 人 数 期 望 值 大 
约 是 lgn。 a 

平均 情形 下 的 雇用 费用 比 最 坏 情 况 下 的 雇用 费用 Ocin) SRY HE 
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练习 


5.2-1 在 HIRE-ASSISTANT 中 ， 假 设 应 聘 者 以 随机 顺序 出 现 ， 你 正好 雇用 一 次 的 概率 是 多 少 ? 
正好 雇用 nn 次 的 概率 是 多 少 ? 

5.2-2 在 HIRE-ASSISTANT #, 假设 应 聘 者 以 随机 顺序 出 现 ， 你 正好 雇用 两 次 的 概率 是 多 少 ? 

5.2-3 ”利用 指示 器 随机 变量 来 计算 找 个 角 子 之 和 的 期 望 值 。 

5.2-4 利用 指示 器 随机 变量 来 解 如 下 的 帽子 核对 问题 (hatrheck problem): n 位 顾客 ， 他 们 每 个 
人 给 餐厅 核对 帽子 的 服务 生 一 顶 帽 子 。 服 务 生 以 随机 顺序 将 帽子 归还 给 顾客 。 请问 拿 到 
自己 帽子 的 客户 的 期 望 数 是 多 少 ? 

5.2-5 设 A[l..nj] 是 由 个 不 同 数 构 成 的 数列 。 如 果 i< HALSALL). WEG, DITA A W 
一 个 逆序 对 (inversion) 。( 参 看 思考 题 2-4 中 更 多 关于 逆序 对 的 例子 .) 假 设 A 的 元 素 构 成 
(1，2，…，7) 上 的 一 个 均匀 随机 排列 。 请 用 指示 器 随机 变量 来 计算 其 中 逆序 对 的 数目 
期 望 。 


5.3 随机 算法 


在 前 面 一 节 中 ， 我 们 已 说 明了 输入 的 分 布 是 如 何 有 助 于 分 析 一 个 算法 的 平均 情况 行为 。 许 
多 时 候 ， 我 们 无 法 得 知 输入 分 布 的 信息 ， 因 而 阻碍 了 平均 情况 分 析 。 如 5. 1 节 中 所 提 及 ， 我 们 也 
许可 以 采用 一 个 随机 算法 。 

对 于 诸如 雇用 问题 之 类 的 问题 ， 其 中 假设 输入 的 所 有 排列 等 可 能 出 现 往往 有 益 ， 通 过 概率 
分 析 可 以 指导 设计 一 个 随机 算法 。 我 们 不 是 假设 输入 的 一 个 分 布 ， 而 是 设 定 一 个 分 布 。 特 别 地 ， 
在 算法 运行 前 ， 先 随机 地 排列 应 聘 者 ， 以 加 强 所 有 排列 都 是 等 可 能 出 现 的 性 质 。 尽 管 已 经 修改 了 
这 个 算法 ， 我 们 仍 希望 雇用 一 个 新 的 办 公 助 理 大 约 需要 Inn 次 期 望 值 。 但 是 现在 我 们 期 望 对 于 所 
有 的 输入 它 都 是 这 种 情况 ， 而 不 是 对 于 一 个 具有 特别 分 布 的 输入 。 

我 们 来 进一步 探索 概率 分 析 和 随机 算法 之 间 的 区 别 。 在 5. 2 节 中 ， 我 们 断言 ， 如 果 应 聘 者 以 
随机 顺序 出 现 ， 则 聘用 一 个 新 办 公 助 理 的 期 望 次 数 大 约 是 Inn。 注 意 ， 这 个 算法 是 确定 性 的 ; 对 
于 任何 特定 输入 ， 雇 用 一 个 新 办 公 助 理 的 次 数 始终 相同 。 此 外 ， 我 们 雇用 一 个 新 办 公 助 理 的 次 数 
将 因 输入 的 不 同 而 不 同 ， 而 且 依赖 于 各 个 应 聘 者 的 排名 。 既 然 次 数 仅 依 赖 于 应 聘 者 的 排名 ， 我 们 
可 以 使 用 应 聘 者 的 有 序 排名 列表 来 代表 一 个 特定 的 输入 ， 例 如 《rank(1)，rank(2)，…，ramk(n))。 给 
定 排名 列表 A,=(1，2，3，4，5，6，7，8，9，10)， 一 个 新 的 办 公 助 理会 雇用 10 次 ， 因 为 每 
一 个 后 来 应 聘 者 都 优 于 前 一 个 ， 在 算法 的 每 次 迭代 中 ,第 5 一 6 行 都 要 被 执行 。 给 定 排名 列表 
A,=(10, 9, 8, 7, 6, 5, 4, 3, 2, 1), 一 个 新 的 办 公 助 理 只 雇用 一 次 ， 在 第 一 次 迭代 中 。 给 
定 排 名 序列 A = 45, 2， l, 8, 4, 75 10, 9, 3, 6), 一 个 新 的 办 公 助 理会 雇用 三 次 ， 即 面试 排 
名 为 5、8 和 10 的 3 位 应 聘 者 。 回 顾 一 下 ， 算 法 的 费用 依赖 于 雇用 一 个 新 办 公 助 理 的 次 数 。 我 们 
可 以 看 到 ， 有 昂贵 的 输入 (如 A,) 、 不 贵 的 输入 (如 A:) ， 以 及 适中 贵 的 输入 (如 A). 

另外 ， 考 虑 先 对 应 聘 者 进行 排列 ， 然 后 确定 最 佳 应 聘 者 的 随机 算法 。 此 时 ， 我 们 让 随机 发 生 
在 算法 上 ， 而 不 是 在 输入 分 布 上 。 给 定 一 个 输入 ， 如 上 面 的 A, ， 我 们 无 法 说 出 最 大 值 会 被 更 新 
多 少 次 ， 因 为 此 变量 在 每 次 运行 该 算法 时 都 不 同 。 第 一 次 在 A; 上 运行 这 个 算法 时 ， 可 能 会 产生 
排列 A, 并 执行 10 次 更 新 ; 但 第 二 次 运行 算法 时 ， 可 能 会 产生 排列 A, 并 只 执行 1 次 更 新 。 第 三 
次 执行 时 ， 可 能 会 产生 其 他 次 数 的 更 新 。 每 次 运行 这 个 算法 时 ， 执 行 依赖 于 随机 选择 ， 而 且 很 可 
能 和 前 一 次 算法 的 执行 不 同 。 对 于 该 算法 及 许多 其 他 的 随机 算法 ， 没 有 特别 的 输入 会 引出 它 的 
最 坏 情况 行为 。 即 使 你 最 坏 的 敌人 也 无 法 产生 最 坏 的 输入 数组 ， 因 为 随机 排列 使 得 输入 次 序 不 
再 相关 。 只 有 在 随机 数 生成 器 产生 一 个 “不 走运 ”的 排列 时 ， 随 机 算法 才 会 运行 得 很 差 。 
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对 于 雇用 问题 ， 代 码 中 唯一 需要 改变 的 是 随机 地 变换 应 聘 者 序列 。 

RANDOMIZED-HIRE-ASSISTANT(n) 

1 randomly permute the list of candidates 

2 best = 0 / candidate 0 is a least-qualified dummy candidate 

3 for: = 1 ton 

4 interview candidate 1 

5 if candidate z is better than candidate best 

6 best = 1 

7 hire candidate i 
通过 这 个 简单 改变 ， 我 们 已 经 建立 了 一 个 随机 算法 ， 其 性 能 和 假设 应 聘 者 以 随机 次 序 出 现 所 得 
结果 是 匹配 的 。 

引 理 5.3 过 程 RANDOMIZED-HIRE-ASSISTANT 的 雇用 费用 期 望 是 OCclnn)。 

证 明 对 输入 数组 进行 变换 后 ， 我 们 已 经 达到 了 和 HIRE-ASSISTANT 概率 分 析 时 相同 的 
o = 
比较 引 理 5. 2 和 引 理 5. 3 突出 了 概率 分 析 和 随机 算法 的 差别 。 在 引 理 5. 2 中 ， 我 们 在 输入 上 
做 了 一 个 假设 。 在 引 理 5. 3 中 ， 我 们 没有 做 这 种 假设 ， 尽 管 随机 化 输入 会 花费 一 些 额 外 时 间 。 为 
了 保持 术语 的 一 致 性 ， 我 们 用 平均 情形 下 的 雇用 费用 来 表达 引 理 5. 2， 而 用 期 望 雇用 费用 来 表达 
引 理 5. 3。 在 本 节余 下 部 分 里 ， 我 们 讨论 关于 随机 排列 输入 的 一 些 议题 。 

随机 排列 数组 

很 多 随机 算法 通过 对 给 定 的 输入 变换 排列 以 使 输入 随机 化 。( 还 有 其 他 使 用 随机 化 的 方法 。) 
这 里 ， 我 们 将 讨论 两 种 随机 化 方法 。 不 失 一 般 性 ， 假 设 给 定 一 个 数组 A， 包 含 元 素 1 到 n。 我 们 
的 目标 是 构造 这 个 数组 的 一 个 随机 排列 。 

一 个 通常 的 方法 是 为 数组 的 每 个 元 素 ALij] 赋 一 个 随机 的 优先 级 PLi]， 然 后 依据 优先 级 对 数 
组 A 中 的 元 素 进行 排序 。 例 如 ， 如 果 初 始 数组 A 二 (1，2，3，4);， 随 机 选择 的 优先 级 P= (36， 
3，62，19) ， 则 将 产生 一 个 数组 B= 二 (2，4，1，3)， 因 为 第 2 个 优先 级 最 小 ， 接 下 来 是 第 4 个 ， 
然后 第 1 个， 最 后 第 3 个 。 我 们 称 这 个 过 程 为 PERMUTE-BY-SORTING: 


PERMUTE-BY-SORTING(A) 
1 n= A. length 


情况 


2 let PL1. .n] be a new array 

3 fori = lton 

4 Pi] = RANDOMC(1, n?) 
5 


sort A, using P as sort keys 


第 4 行 选取 一 个 在 1~n 之 间 的 随机 数 。 我 们 使 用 范围 or 是 为 了 让 P 中 所 有 优先 级 尽 可 能 唯 
一 。( 练 习 5. 3-5 要 求 读者 证 明 所 有 元 素 都 唯一 的 概率 至 少 是 1 一 1/n， 练 习 5. 3-6 问 如 何在 两 个 
或 更 多 优先 级 相同 的 情况 下 ， 实 现 这 个 算法 。) 我 们 假设 所 有 的 优先 级 都 唯一 。 

这 个 过 程 中 耗 时 的 步 又 是 第 5 行 的 排序 。 正 如 我 们 将 在 第 8 章 看 到 的 那样 ， 如 果 使 用 比较 排 
序 ， 排 序 将 花费 Qnlgn) 时 间 。 我 们 可 以 达到 这 个 下 界 ， 因 为 我 们 已 经 看 到 归并 排序 时 间 代 价 为 
Bnlgn)。( 我 们 将 在 第 二 部 分 看 到 ， 其 他 的 比较 排序 花费 时 间 代 价 为 Olen). wY 8. 3-4 要 求 
读者 解决 一 个 非常 类 似 的 问题 ， 在 O(n) 时 间 内 对 0 一 到 一 1 范围 之 内 的 整数 排序 。) 排 序 以 后 ， 如 
R PLIES j 个 最 小 的 优先 级 ， 那 么 ALij 将 出 现在 输出 位 置 ; 上 。 用 这 种 方式 ， 我 们 得 到 了 一 
个 排列 。 还 需要 证 明 这 个 过 程 能 产生 一 个 均匀 随机 排列 ， 即 该 过 程 等 可 能 地 产生 数字 1 一 ?的 每 
一 种 排列 。 

引 理 5.4 假设 所 有 优先 级 都 不 同 ， 则 过 程 PERMUTE-BY-SORTING 产生 输入 的 均匀 随机 


第 5 章 概率 分 析 和 随机 算法 


排列 。 

证 明 ”我 们 从 考虑 每 个 元 素 A[i] 分 配 到 第 i 个 最 小 优先 级 的 特殊 排列 开始 ， 并 说 明 这 个 排列 
正好 发 生 的 概率 是 1/n!。 对 i 二 1，2，…，n， 设 E; 代表 元 素 ALij 分 配 到 第 i 个 最 小 优先 级 的 事 
件 。 然 后 我 们 想 计 算 对 所 有 的 io JHF E 发 生 的 概率 ， 即 

PE, N E: N Es N° N Em N E? 

运用 练习 C. 2-5， 这 个 概率 等 于 

Pr{Fl}. Pr{E, | E,} K Pr{E; | E: NE?” Pr{E, | E; NENRB? 

“e Pr{ E; |E. (EaR TEPE, |En A 1 Ey} 

因为 PrE } 是 从 一 个 元 素 的 集合 中 随机 选取 的 优先 级 最 小 的 概率 ， 所 以 有 Pr{E,\}=1/n. BP 
来 ， 我 们 观察 到 Pr{E; | Ei} 二 1/(n 一 1)， 因 为 假定 元 素 AL1J 有 最 小 的 优先 级 ， 余 下 来 的 ”一 1 个 
元 素 都 有 相等 的 可 能 成 为 第 二 小 的 优先 级 别 。 一 般 地 ， 对 i 二 2，3，…，n， 我们 有 Pr{ |E- N 
E ;站 … 站 巨 } 二 1/(n 一 i 十 1)。 因 为 给 定 元 素 AL1j 到 A[Li 一 1j( 按 顺序 ) 有 前 i 一 1 DCR Hl 
下 的 n 一 (i 一 1) 个 元 素 中 ， 每 一 个 都 等 可 能 具有 第 i 小 优先 级 。 所 以 有 


PrE N E N E N e N Emn NED = (=) (45) (F(T) = 


n— 1 n! 

并 且 我 们 已 说 明 ， 获 得 等 同 排列 的 概率 是 1/n!。 

我 们 可 以 扩展 这 个 证 明 ， 使 其 对 任何 优先 级 的 排列 都 有 效 。 考 虑 集合 {1 ，2，…，n} 的 任意 
一 个 确定 排列 o 二 (co(1)，o(2)，…，oln))。 我 们 用 r 表示 赋予 元 素 ALij 优 先 级 的 排名 ， 其 中 优 
先 级 第 7 小 的 元 素 名 次 为 7。 如 果 定 义 为 元 素 A[ 引 分 配 到 优先 级 第 oC) 小 的 事件 ， 或 者 n= 
oli)， 则 同样 的 证 明 仍 适用 。 因 此 ， 如 果 要 计算 得 到 任何 特定 排列 的 概率 ， 该 计算 与 前 面 的 计算 
完全 相同 ， 于 是 得 到 此 排列 的 概率 也 是 1/n1。 图 

你 可 能 会 这 样 想 ， 要 证 明 一 个 排列 是 均匀 随机 排列 ， 只 要 证 明 对 于 每 个 元 素 ALi]， 它 排 在 
位 置 7 的 概率 是 1/n。 练 习 5. 3-4 证 明 这 个 弱 条 件 实际 上 并 不 充分 。 

产生 随机 排列 的 一 个 更 好 方法 是 原址 排列 给 定数 组 。 过 程 RANDOMIZE-IN-PLACE 在 Oln) 
时 间 内 完成 。 在 进行 第 ;次 迭代 时 ， 元 素 ALi Mock Alila ALzj 中 随机 选取 的 。 第 ;次 迭代 
Wie, ALi 不 再 改变 。 

RANDOMIZE-IN-PLACE(A) 

l n = A. length 

2 fori = lton 

3 swap ALi] with ALRANDOM(, n)] 


我 们 将 使 用 循环 不 变 式 来 证 明 过 程 RANDOMIZE-IN-PLACE 能 产生 一 个 均匀 随机 排列 。 一 
个 具有 个 元 素 的 k 排列 (k-permutation) 是 包含 这 个 元 素 中 的 & 个 元 素 的 序列 ， 并 且 不 重复 ( 参 
见 附录 C) 。 一 共有 n! /(n—k)! 种 可 能 的 & 排 列 。 

引 理 5.5 过 程 RANDOMIZE-IN-PLACE 可 计算 出 一 个 均匀 随机 排列 。 

证 明 ”我们 使 用 下 面 的 循环 不 变 式 : 

在 第 2 一 3 行 for 循环 的 第 i 次 迭代 以 前 ， 对 每 个 可 能 的 (i 一 1) 排 列 ， 子 数组 AL1.. i 一 1 

包含 这 个 (i 一 1) 排 列 的 概率 是 (n 一 i 十 1)! /nl。 
我 们 需要 说 明 这 个 不 变 式 在 第 1 次 循环 迭代 以 前 为 真 ， 循 环 的 每 次 迭代 能 够 维持 此 不 变 式 ， 并 且 
当 循环 终止 时 ， 这 个 不 变 式 提供 一 个 有 用 的 性 质 来 说 明正 确 性 。 

初始 化 : 考虑 正好 在 第 1 次 循环 迭代 以 前 的 情况 ， 此 时 ;一 1。 由 循环 不 变 式 可 知 ， 对 每 个 可 
能 的 0 排列 ， 子 数组 AL1. . 0] 包含 这 个 0 排列 的 概率 是 (2 一 ;十 1)1 /al =n! /n! 三 1。 子 数组 
ALl. .0] 是 一 个 空 的 子 数组 ， 并 且 0 排列 也 没有 元 素 。 因 而 ，A[1.. 0] 包含 任 何 0 排列 的 概率 是 
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1， 在 第 1 次 循环 迭代 以 前 循环 不 变 式 成 立 。 

保持 : 我 们 假设 在 第 i 次 迭代 之 前 ， 每 种 可 能 的 (i 一 1) 排 列 出 现在 子 数组 A[1. .i 一 1] 中 的 概 
率 是 (n 一 i 十 1)! /za1， 我 们 要 说 明 在 第 ;次 迭代 以 后 ， 每 种 可 能 的 ;排列 出 现在 子 数 组 AL1..?z 
PERREN i)! /n!l。 下 一 次 迭代 i 累加 后 ， 还 将 保持 这 个 循环 不 变 式 。 

我 们 来 检查 第 i 次 迭代 。 考 虑 一 个 特殊 的 i 排列 ， 并 以 (zi，z:，…，zi) 来 表示 其 中 的 元 素 。 
这 个 排列 中 包含 一 个 (i 一 1) 排 列 《xi， Ta，…，i-12， 后 面 接着 算法 在 A[ij 里 放置 的 值 x;。 Ù E, 
表示 前 i 一 1 次 迭代 已 经 在 AL1..i 一 1j 中 构造 了 特殊 (i 一 1) 排 列 的 事件 。 根 据 循环 不 变 式 ， 
Pr{E,}=(n—-ivtl)! /nl!。 设 Es 表示 第 i KEREEME ALIKE z; 的 事件 。 当 五 ME, 恰好 都 
发 生 时 ,i 排列 (zi1，…，Zzi) 出 现在 ALl. .i 中， 因此 ， 我 们 希望 计算 Pri EoI Er 利用 等 式 
(C.14), RNA 

Pr{E, N E?) = PriE, | E, }Pr{E, } 

概率 PriE, | EST 1/(n—itl), 因为 在 算法 第 3 fF; M ALi. ° nj 的 7 一 1 十] 个 值 中 随机 选取 
Zi。 因 此， 我 们 有 


Pr{E, N E} = Pr{E,| E,}Pr{E,} = ere mai = (n=! 


终止 : 终止 时 ，i 二 n 十 1， 子 数组 ALL .nj 是 一 个 给 定 n 排列 的 概率 为 (n 一 (n 十 1) 十 1)/n! = 
0! /n! =1/n!. 

因此 ，RANDOMIZE-IN-PLACE 产生 一 个 均匀 随机 排列 。 E 

一 个 随机 算法 通常 是 解决 一 个 问题 最 简单 、 最 有 效 的 方法 。 我 们 将 在 本 书 中 偶尔 用 到 随机 
算法 。 


练习 


5.3-1 Marceau 教授 不 同意 引 理 5. 5 证 明 中 使 用 的 循环 不 变 式 。 他 对 第 1 次 迭代 之 前 循环 不 变 式 
是 否 为 真 提 出 质疑 。 他 的 理由 是 ， 我 们 可 以 很 容易 宣称 一 个 空 数组 不 包含 0 排列 。 因 此 ， 
一 个 空 的 子 数 组 包含 一 个 0 排列 的 概率 应 是 0， 从 而 第 1 次 迭代 之 前 循环 不 变 式 无 效 。 请 
重 写 过 程 RANDOMIZE-IN-PLACE， 使 得 相关 循环 不 变 式 适 用 于 第 1 次 迭代 之 前 的 非 空 
子 数组 ， 并 为 你 的 过 程 修改 引 理 5. 5 的 证 明 。 

5.3-2 Kelp 教授 决定 写 一 个 过 程 来 随机 产生 除 恒 等 排列 (identity permutation) 外 的 任意 排列 。 他 
提出 了 如 下 过 程 : 
PERMUTE-WITHOUT-IDENTITY (A) 
l n = A. length 
2 fori = lton— 1 
3 swap A[i] with ALRANDOM(G + 1, n)] 


这 段 代 码 实现 了 Kelp 教授 的 意图 吗 ? 
5.3-3 假设 我 们 不 是 将 元 素 ALij 与 子 数 组 ALi. .nj 中 的 一 个 随机 元 素 交 换 ， 而 是 将 它 与 数组 任 
何 位置 上 的 随机 元 素 交 换 : 
PERMUTE-WITH-ALL(A) 
1 n= A. length 


2 fori: = 1 ton 
3 swap A[i] with ALRANDOMC(1, n) ] 


这 段 代 码 会 产生 一 个 均匀 随机 排列 吗 ? 为 什么 会 或 为 什么 不 会 ? 
5.3-4 Armstrong 教授 建议 用 下 面 的 过 程 来 产生 一 个 均匀 随机 排列 ， 
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PERMUTE-BY-CYCLIC(A) 

l n= A. length 

2 let B[1..n] be a new array 
3 offset = RANDOMC1, n) 
4 for: = 1 ton 

5 dest = i + offset 
6 if dest > n 

7 dest = dest — n 
8 Bl dest] = A[i] 

9 


return B 


请 说 明 每 个 元 素 AL 站 出 现在 B 中 任何 特定 位 置 的 概率 是 1/n。 然 后 通过 说 明 排 列 结 果 不 
是 均匀 随机 排列 ， 表 明 Armstrong As J. 

*5.3-5 EBA: 在 过 程 PERMUTE-BY-SORTING 的 数组 P 中， 所 有 元 素 都 唯一 的 概率 至 少 是 1 一 1/n。 

5.3-6 ”请 解释 如 何 实现 算法 PERMUTE-BY-SORTING， 以 处 理 两 个 或 更 多 优先 级 相同 的 情形 。 
也 就 是 说 ， 即 使 有 两 个 或 更 多 优先 级 相同 ， 你 的 算法 也 应 该 产生 一 个 均匀 随机 排列 。 
5.3-7 ”假设 我 们 希望 创建 集合 {1，2，3，…，n} 的 一 个 随机 样本 ， 即 一 个 具有 m 个 元 素 的 集合 

S， 其 中 0 万 mn， 使 得 每 个 m 集合 能 够 等 可 能 地 创建 。 一 种 方法 是 对 ;一 1，2，…，7 
ALi ]=i, WJH RANDOMIZE-IN-PLACE(A), JG BRIM m 个 数组 元 素 。 这 种 方 
法 会 对 RANDOM JERA nK. WE ntem KRE, 我们 能 够 创建 一 个 随机 样本 ， 只 
对 RANDOM 调用 更 少 的 次 数 。 请 说 明 下 面 的 递归 过 程 返 回 {1，2，3，…，n}) 的 一 个 随 [129 
机 m 子 集 S$， 其 中 每 个 m 子 集 是 等 可 能 的 ， 然 而 只 对 RANDOM H mK. 
RANDOM-SAMPLE(m, n) 
1 ifm==0 

2 return Ø 

3 else S = RANDOM-SAMPLE(m — 1, 2 — 1) 

4 i = RANDOM(1, n) 

5 if: € S 

6 S=SU {n} 

7 else S = S U {i} 

8 


return S 


“5.4 概率 分 析 和 指示 器 随机 变量 的 进一步 使 用 

本 节 通 过 4 个 例子 进一步 阐释 概率 分 析 。 第 1 个 例子 确定 在 一 个 有 有 & 个 人 的 屋子 中 ， 某 两 个 
人 生日 相同 的 概率 。 第 2 个 例子 讨论 把 球 随 机 投入 箱子 的 问题 。 第 3 个 例子 探究 抛 硬币 时 连续 出 
现 正面 的 情况 。 最 后 一 个 例子 分 析 雇 用 问题 的 一 个 变形 ， 其 中 你 必须 在 没有 面试 所 有 的 应 聘 者 
时 做 出 决定 。 


5.4.1 EA Rit 


我 们 的 第 一 个 例子 是 生日 悖 论 。 一 个 屋子 里 人 数 必须 要 达到 多 少 人 ， 才 能 使 其 中 两 人 生日 
相同 的 机 会 达到 50%? 这 个 问题 的 答案 是 一 个 很 小 的 数值 ， 让 人 吃惊 。 下 面 我 们 将 看 到 ， 所 出 
现 的 悖 论 在 于 ， 这 个 数目 实际 上 远 小 于 一 年 中 的 天 数 ， 甚 至 不 足 一 年 天 数 的 一 半 。 

为 了 回答 这 个 问题 ， 我 们 用 整数 1，2，…，, 有 对 屋子 里 的 人 编号 ， 其 中 上 是 屋子 里 的 总 人 
数 。 另 外 ， 我 们 不 考虑 疾 年 的 情况 ， 并 且 假 设 所 有 年 份 都 有 "一 365 R. MFI=1, 2, +, k, 
Kb 表示 编号 为 i 的 人 的 生日 ， 其 中 1<b. 人 mn。 还 假设 生日 均匀 分 布 在 一 年 的 n 天 中 ， 因 此 对 
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i=l, 2, +, RAr=1, 2, «+, n, Pr(b=r}=1/n, 
两 个 人 i 和 j 的 生日 正好 相同 的 概率 依赖 于 生日 的 随机 选择 是 否 独立 。 从 现在 开始 ， 假 设 生 


日 是 独立 的 ， 于 是 i 和 j 的 生日 都 落 在 同一 日 + 上 的 概率 是 


Pr{b; =r Hb; = r} = Pr(b; = r}Pr{b; = r} = 1/n’ 
这 样 ， 他 们 的 生日 落 在 同一 天 的 概率 是 


Pr{b; = b;} = S)Pr{b, =r Hb, = 7) = >) (1172 ) = 1/n (5. 6) 
r=] r=] 


更 直观 地 说 ,一 旦 选 定 b, b 被 选 在 同一 天 的 概率 是 1/n。 因 此 ，i 和 j 有 相同 生日 的 概率 与 他 们 
其 中 一 个 的 生日 落 在 给 定 一 天 的 概率 相同 。 然 而 需要 注意 ， 这 个 巧合 依赖 于 各 人 的 生日 是 独立 
的 这 个 假设 。 

我 们 可 以 通过 考察 一 个 事件 补 的 方法 ， 来 分 析 & 个 人 中 至 少 有 两 人 生日 相同 的 概率 。 至 少 有 
两 个 人 生日 相同 的 概率 等 于 1 减 去 所 有 人 生日 都 不 相同 的 概率 。& 个 人 生日 互 不 相同 的 事件 为 


B, = N A; 
Hp A BMA I<, 157 生日 不 同 的 事件 。 既 然 可 以 写成 B54 N Bai, HAC. 16) 
可 得 递归 式 
Pr{B,} = Pr{B,,}Pr{A, | B+} (5. 7) 

其 中 取 Pr{B, }=Pr{A,}=1 作为 初始 条 件 。 换 名 话说， 对 i=l, 2, +, k—1, R bis b, 0, 
b- AA [al , 那么 bis bzs coy br 两 两 不 同 的 概率 等 于 六 ， bzs °°" bi-1 两 两 不 同 的 概率 乘 以 
i=l, 2, =t, k—1 if b Ab: 的 概率 。 

WR b, bs e ba PAAS, XP i=l, 2, +, R—-1, OO; 的 条 件 概率 是 Pr(A | Be-1 }= 
(n—k+1)/n, RÆKJ n RFA ”一 (一 1) 天 没 被 占用 。 我 们 反复 应 用 递归 式 (5. 7) 得 到 

Pr(B,) = Pr( Bm }Pr{A, |B} 
s Pr{ B }Pr{ Ar | B-z }Pr{ A, |B? 


L Pr B, }Pr(Ay | Bi )Pr(A; | By} Pr{ Ay | Baa} 
nr ee ce 
=1-(2—*)(4—*)...(2- 84S) 


aaga (1) 
由 不 等 式 (3. 12)，1 十 x<e， 我 们 得 出 
Pr { B;} < et neg GE D/n 一 ae 一 Ek-D/2n <1 /2 

%4—k(k—1)/2n<1n(1/2 At Rw. 4 RCR—-1)S2nln2, 或 者 ， 解 二 次 方程 ， 当 之 (1 十 
V1 十 (8 In2)n)/2 时 ， 所 有 个 生日 两 两 不 同 的 概率 至 多 是 1/2。 当 n= 二 365 Hf, VA k>23. A 
而 ， 如 果 至 少 有 23 个 人 在 一 间 屋 子 里 ， 那 么 至 少 有 两 个 人 生日 相同 的 概率 至 少 是 1/2。 在 火星 
bk, 一 年 有 f669 个 火星 日 ， 所 以 达到 相同 效果 须 有 31 个 火星 人 。 

采用 指示 器 随机 变量 的 一 个 分 析 

我 们 可 以 利用 指示 器 随机 变量 给 出 生日 悖 论 的 一 个 简单 而 近似 的 分 析 。 对 屋子 里 8 个 人 中 的 
每 一 对 (i，7)， 对 1 二 二 jk， 定 义 指示 融 随 机 变量 X; 如 下 : 

Xs 一 (i 和 j 生日 相同 ) = |。 — 

根据 等 式 (5. 6), PAS AZ: ABI 1 /n, HERSH 5.1, RITE 
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ELX; ] = Prii 和 7 生日 相同 } = 1/n 
E X 表示 计数 生日 相同 两 人 对 数目 的 随机 变量 ， 我 们 有 


E[X] = E| > Xs = 5 S ECX,] = (+ 一 


因此 ， 当 (4 一 1) 宇 2n 时， 生日 相同 的 两 人 对 的 期 望 数 至 少 是 1。 因 此 ， 若 屋子 里 至 少 有 V2n 十 1 
AK, 我们 可 以 期 望 至 少 有 两 人 生日 相同 。 对 于 n= 二 365， 若 = 二 28， 生 日 相同 人 对 数目 的 期 望 值 
为 (28。27)/(2。365) 守 1.035 6。 因 此 ， 如 果 至 少 有 28 人， 我 们 可 以 期 望 找 到 至 少 一 对 人 生日 
相同 。 在 火星 上 , 一 年 有 669 个 火星 日 ， 我 们 至 少 需 要 38 个 火星 人 。 

第 一 种 分 析 仅 用 了 概率 ， 确 定 了 为 使 存在 至 少 一 对 人 生日 相同 概率 大 于 1/2 所 需 的 人 数 ; 第 
二 种 分 析 使 用 了 指示 器 随机 变量 ， 给 出 了 相同 生日 期 望 数 为 1 时 的 人 数 。 虽 然 两 种 情形 下 人 的 准 
确 数目 不 同 ， 但 它们 在 渐 近 阶 数 上 是 相等 的 ， 都 为 BCVz) 。 


5.4.2 球 与 箱子 


现在 我 们 来 考虑 这 样 一 个 过 程 ， 即 把 相同 的 球 随机 投 到 6 个 箱子 里 ， 箱 子 编号 为 1，2，…， 
b。 每 次 投球 都 是 独立 的 ， 每 一 次 投球 ， 球 等 可 能 落 在 每 一 个 箱子 中 。 球 落 在 任 一 个 箱子 中 的 概 
率 为 1/56。 因 此 ， 投 球 的 过 程 是 一 组 伯 努 利 试验 (参见 附录 C.4)， 每 次 成 功 的 概率 是 1/5， 其 中 
成 功 是 指 球 落 入 指定 的 箱子 中 。 这 个 模型 对 分 析 散 列 ( 参 见 第 11 章 ) 特 别 有 用 ， 而 且 我 们 可 以 回 
答 关 于 该 投球 过 程 的 各 种 有 趣 问题 。( 思 考题 C1 提出 了 另外 一 些 关 于 球 和 箱子 的 问题 。) 

有 多 少 球 落 在 给 定 的 箱子 里 ? 落 在 给 定 箱子 里 的 球 数 服 从 二 项 分 布 &CR; n, 1/b), WARE n 
个 球 ， 公 式 (C. 37) 告 诉 我 们 ， 落 在 给 定 箱子 里 的 球 数 期 望 值 是 wp。 

在 平均 意义 下 ， 我 们 必须 要 投 多 少 个 球 ， 才 能 在 给 定 的 箱子 里 投 中 一 个 球 ? 直至 给 定 箱子 收 到 一 
个 球 的 投球 次 数 服 从 几何 分 布 ， 概 率 为 1/2， 根 据 等 式 (C 32) ， 成 功 的 投球 次 数 期 望 是 1/ (1/5) 二 6b。 

我 们 需要 投 多 少 次 球 ， 才 能 使 每 个 箱子 里 至 少 有 一 个 球 ? 一 次 投球 落 在 空 箱 子 里 称 为 一 次 
“命中 ”。 我们 想 知道 为 了 获得 5 次 命中 ， 所 需 的 投球 次 数 期 望 n。 

采用 命中 次 数 ， 可 以 把 nn 次 投球 分 为 几 个 阶段 。 第 i 个 阶段 包括 从 第 i 一 1 次 命中 到 第 i 次 命 
中 之 间 的 投球 。 第 1 阶段 包含 第 1 次 投球 ， 因 为 我 们 可 以 保证 一 次 命中 ， 此 时 所 有 的 箱子 都 是 空 
的 。 对 第 i 阶段 的 每 一 次 投球 ， 有 ;一 1 个 箱子 有 球 ，2 一 :十 1 个 箱子 是 空 的 。 因 而 ， 对 第 i 阶段 
的 每 次 投球 ， 得 到 一 次 命中 的 概率 是 (5 一 i 十 1)/6。 


设 表示 第 i 阶段 的 投球 次 数 。 因 而 ， 为 得 到 5 次 命中 所 需 的 投球 次 数 为 一 Dn. EA 
随机 变量 n 服从 几何 分 布 ， 成功 的 概率 是 (5 一 i 十 1)/5， 根 据 公式 (C. 32)， 于 是 有 


Bln] = pi 





根据 期 望 的 线性 性 质 ， 我 们 有 
Eln] = E| >)n,] = Em] = > 二 


i=] 1 


= D> + = b(ln6 十 OC(1)) (根据 等 式 (A.7)) | 
所 以 ， 在 我 们 期 望 每 个 箱子 里 都 有 一 个 球 之 前 ， 大 约 要 投 51nb 次 。 这 个 问题 也 称 为 礼券 收集 者 
问题 ， 意 思 是 一 个 人 如 果 想 要 收集 齐 b 种 不 同 礼券 中 的 每 一 种 ， 大 约 需 要 8 ln2g 张 随机 得 到 的 礼 
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券 才能 成 功 。 


5.4.3 ”特征 序列 


假设 抛 投 一 枚 标准 的 硬币 n 次 ， 最 长 连续 正面 的 序列 的 期 望 长 度 有 多 长 ? 答案 是 Olen), 
如 以 下 分 析 所 示 。 

首先 证 明 最 长 的 连续 正面 的 特征 序列 的 长 度 期 望 是 O(lgz) 。 每 次 抛 硬币 时 是 一 次 正面 的 概 
率 为 1/2。 设 A; 为 这 样 的 事件 ， 长 度 至 少 为 的 正面 特征 序列 开始 于 第 i 次 抛 搓 ， 或 更 准确 地 
说 ,有 次 连续 硬币 抛 毛 i，i 十 1，…，i 十 & 一 1 得 到 的 都 是 正面 ， 其 中 l<k<n, 1<Si<n—k+1, 
因为 每 次 抛 硬币 是 互相 独立 的 ， 对 任何 给 定 事 件 AL. ， 所 有 次 抛掷 都 是 正面 的 概率 是 

Pr{Az } = 1/2* (5. 8) 
XIF k=2 [lgan], 
Pr{ Aizrien) = 1/20 < 1/228" = 1/7 

因而 ， 长 度 至 少 为 2 | lgz|、 起 始 于 位 置 i 的 一 个 正面 特征 序列 的 概率 是 很 小 的 。 这 种 序列 起 始 位 
置 至 多 有 2 一 2 | lg 十 1 个 。 所 以 长 度 至 少 为 2 人 


n—2[ Ign H-1 


Pr U Aizrien | > Vk < 一 1/n (5. 9) 


因为 根据 布尔 不 等 式 (C. 19), 一 组 事件 并 集 的 概率 至 多 是 各 个 事件 的 概率 之 和 ， (注意 ， 即 使 这 
些 事件 不 独立 ， 布 尔 不 等 式 依然 成 立 。) 

我 们 现在 利用 不 等 式 (5. 9) 来 给 出 最 长 特征 序列 的 长 度 界 。 对 于 7j 一 0，1，2，…，7， 令 记 ; 
表示 最 长 连续 正面 的 特征 序列 长 度 正 好 是 7 的 事件 ， 并 设 最 长 特征 序列 的 长 度 是 L。 由 期 望 值 的 
EX, RATA 


ELE > jPri{L;} (5. 10) 


我 们 可 以 尝试 用 每 个 Pr{L; ) 的 上 界 来 估计 这 个 和 ， 就 像 不 等 式 (5.9) 所 计算 的 那样 。 遗 憾 的 
是 ， 这 种 方法 将 导致 弱 的 界 。 不 过 ， 我 们 可 以 用 从 上 面 分 析 得 到 的 一 些 直观 知识 来 得 到 一 个 好 的 
界 。 然 而 非 正 式 地 说 ， 我 们 观察 到 在 等 式 (5. 10) 的 总 和 中 ， 没 有 任何 一 项 同时 让 7 和 Pr{L;} AT 
都 是 大 的 。 为 什么 呢 ? 当 j 宇 2[lgnI 时 ，Pr{L;} 很 小 ; 4j<2llenlt, j 相当 小 。 更 正式 地 说 ， 
我 们 注意 到 对 于 7 一 0， 1, t, n, 事件 L; 是 不 相交 的 ， 因此 长 度 至 少 为 2 [lg 的 连续 正面 特征 


序列 起 始 于 任 一 位 置 的 概率 为 D) PAL). 根据 不 等 式 (5. 9)， 我 人 有 D Pril) 二 1/n。 另 
gh, 注意 到 S Prl) =1, RITA Sy PAL) <1, 因此 ， 我 们 得 到 
BIL] = 9) jPr(L;} = Sp JPL) + J jPriL) 
< > [lgnDPr{L,) + Dapr(L) 


2Tlgnt-1 n 
= 2[lgn| 5 PriL;}-+n >. Pr{L;} 
j=0 j=2[lgn] 


<2 [ign]. 1+n e. (1/n) = OUgn) 
正面 特征 序列 长 度 超过 > [len 次 抛掷 的 概率 随 着 > 变 小 而 很 快 减少 。 对 7 宇 1， 正面 特征 序列 
长 度 至 少 为 >| lgz|， 起 始 于 位 置 i 的 概率 是 
Pr{ Aj rea} = 1/278" < 1/m 
因此 ， 最 长 特征 序列 长 度 至 少 为 [len | 的 概率 至 多 是 n/n = 二 1/n”' ， 或 等 价 地 ， 最 长 特征 序列 长 
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度 小 于 | lgz |] 的 概率 至 少 是 1 一 1/n"'，。 

看 一 个 例子 ， 抛 掷 n= 二 1 000 次 硬币 ， 最 少 出 现 2 | lgn|=20 次 连续 正面 的 几率 至 多 是 1/n== 
1/1 000。 长 度 超过 3 [lgz|=30 次 连续 正面 特征 序列 的 几率 至 多 是 1/n: =1/1 000 000, 

现在 我 们 证 明 一 个 补充 的 下 界 : 在 2” 次 硬币 抛掷 中 ， 最 长 的 正面 特征 序列 的 长 度 期 望 为 
0Q(Clg”) 。 为 证 明 这 个 界 ， 我 们 通过 把 ”次 抛掷 划分 成 大 约 n/s 个 组 ， 每 组 s KAR, KEKEN 
s 的 特征 序列 。 如 果 选 择 ;二 [Clgn)/2J]， 可 以 说 明 这 些 组 中 至 少 有 一 组 可 能 全 是 正面 ， 因 而 可 能 
最 长 特征 序列 的 长 度 至 少 是 ;二 Ql(gn)。 然 后 将 表明 最 长 特征 序列 的 长 度 期 望 是 Q(gn)。 

我 们 把 nn 次 硬币 抛 找 划 分 成 至 少 [n/L(lgn)/2 吕 个 组 ,每 组 [(lgn)/2j 次 连续 抛 据 ， 然 后 对 没有 
组 全 是 正面 的 概率 求 界 。 根 据 等 式 (5. 8) ， 从 位 置 i 开始 都 是 正面 的 组 的 概率 是 

Pr {Ait cen/2J} 二 1/ Zen es 1/ Vn 


所 以 长 度 至 少 为 [((lgn)/2j 的 正面 特征 序列 不 从 位 置 i 开始 的 概率 至 多 是 1 一 1Wz。 既 然 LW[lgzV214 个 
组 是 由 彼此 互 斥 、 独 立 的 抛掷 硬币 构成 ， 其 中 每 个 组 都 不 是 长 度 为 lg/2j 的 特征 序列 的 概率 至 多 是 
(= 1/ Vn ten/2 之 (1 一 1/ yn)" < (1 一 1/ Vn)?” em 

< e@ 2n/ lar- Mn = Ole") = OC/n) 
关于 此 论证 ， 我 们 用 到 了 不 等 式 (3. 12) ， 即 1 十 zx 委 ee ， 还 用 到 了 你 可 能 想 验 证 的 一 个 事实 ， 对 
足够 大 的 n， 有 (2n/ lgn 一 1)/Vn 之 lgn。 
因此 ， 最 长 特征 序列 超过 |(lgn) /2 的 概率 为 


PriL;} 之 1— OC/n) (5. 11) 
j=L(gn)/2] 


现在 我 们 可 以 计算 最 长 特征 序列 的 长 度 期 望 的 一 个 下 界 ， 从 等 式 (5. 10) 开 始 ， 采 用 类 似 于 我 们 上 
界 分 析 的 方式 : 


n L(gn)/2}-1 n 
ELL] = DjsPr{Lj} = >) jPr(L}+ >) jPr{L,) 
j=0 j=0 j=L(gn)/2] 

L(lgn)/2}+1 n 
> >, 0+ PriLj}+ Di. den) /2] Pr{L;) 
j=0 j=L (gn 
Ldgm /2-1 


=0- 3 Pr(L;} + llgn)/2] > Pr{L} 


={ (gn)/2] 
> 04+ lgn) /2 —OC1/n)) (根据 不 等 式 (5. 11)) 
= Q(lgn) 
和 生日 悖 论 一 样 ， 可 以 采用 指示 器 随机 变量 来 得 到 一 个 简单 而 近似 的 分 析 。 设 Xa SHAR) 
表示 对 应 于 特征 序列 长 度 至 少 为 &、 开 始 于 第 i 次 抛掷 硬币 的 指示 器 随机 变量 。 为 了 计数 这 些 特 
征 序列 的 总 数 ， 和 定义 


两 边 取 期 望 并 利用 期 望 的 线性 性 质 ， 我 们 有 
ELX] = E| >) Xa | = DELXal = D) Pr{Aa) = 21/2% = "ht! 
通过 代入 不 同 的 & 值 ， 可 以 计算 出 长 度 为 & 的 特征 序列 的 数目 期 望 。 如 果 这 个 数 大 (远大 于 
1) ， 那 么 我 们 期 望 很 多 长 度 为 的 特征 序列 会 出 现 ， 而 且 出 现 一 个 的 概率 很 高 。 如 果 这 个 数 小 
( 远 小 于 1)， 那 么 我 们 期 望 很 少 的 长 度 为 的 特征 序列 会 出 现 ， 而 且 出 现 一 个 的 概率 很 低 。 如 果 
对 菜 个 正常 数 。， 有 k 二 clgn， 那 么 可 以 得 到 
BX- “十 = no cient) pulls la 1)/n = @(1/n'") 
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如 果 c 较 大 ， 长 度 为 clgn 的 特征 序列 的 数目 期 望 将 很 小 ， 并 且 我 们 的 结论 是 它们 不 大 可 能 发 生 。 
另外 ， 如 果 c=1/2， 那 么 ELZ=B(L 0) 三 Go )， 并 且 我 们 期 望 会 有 大 量 长 度 为 (1/2) Ign 
的 特征 序列 。 所 以 ， 这 种 长 度 的 特征 序列 很 可 能 发 生 。 仅 通过 这 些 粗 略 估 计 ， 我 们 可 得 出 结论 : 
最 长 特征 序列 的 长 度 期 望 是 Ogn). 


5.4.4 在线 雇用 问题 


作为 最 后 一 个 例子 ， 我 们 考虑 雇用 问题 的 一 个 变形 。 假 设 现在 我 们 不 希望 面试 所 有 的 应 聘 
者 以 找到 最 好 的 一 个 。 我 们 也 不 希望 因为 有 更 好 的 申请 者 出 现 ， 不 停 地 雇用 新 人 解雇 旧 人 。 取 而 
代 之 ， 我 们 愿意 雇用 接近 最 好 的 应 聘 者 ， 只 雇用 一 次 。 我 们 必须 遵守 公司 的 一 个 要 求 : 每 次 面试 
后 ， 或 者 我 们 必须 马上 提供 职位 给 应 聘 者 ， 或 者 马上 拒绝 该 应 聘 者 。 如 何在 最 小 化 面试 次 数 和 最 
大 化 所 雇用 应 聘 者 的 质量 两 方面 取得 平衡 ? 

我 们 可 以 通过 如 下 方式 对 该 问题 建 模 。 在 面试 一 个 应 聘 者 之 后 ， 我 们 能 够 给 每 人 一 个 分 数 ; 
令 score( 引 表示 给 第 i 个 应 聘 者 的 分 数 ， 并 且 假 设 没 有 两 个 应 聘 者 得 到 同样 分 数 。 在 已 看 过 j 个 
应 聘 者 后 ， 我 们 知道 这 7 人 中 哪 一 个 分 数 最 高 ， 但 是 不 知道 在 剩余 的 ”一 7 个 应 聘 者 中 会 不 会 有 
更 高 分 数 的 应 聘 者 。 我 们 决定 采用 这 样 一 个 策略 : 选择 一 个 正 整 数 k<n, MAR BAB eT 
应 聘 者 ， 再 雇用 其 后 比 前 面 的 应 聘 者 有 更 高 分 数 的 第 一 个 应 聘 者 。 如 果 最 好 的 应 聘 者 在 前 & 个 面 
试 之 中 ， 那 么 将 雇用 第 ”个 应 聘 者 。 我 们 形式 化 地 表达 该 策略 在 过 程 ON-LINE-MAXIMUMG, n) 
中 ， 它 返回 的 是 我 们 希望 雇用 的 应 聘 者 下 标 。 


ON-LINE-MAXIMUM (k, n) 
1 bestscore = 一 co 

2 forz 一 ]toR 

3 if score(i) > bestscore 

4 bestscore = score(i) 
5 fori =k+1ton 

6 if score(i) > bestscore 

7 return i 

8 


return n 


对 每 个 可 能 的 &， 我 们 希望 确定 能 雇用 最 好 应 聘 者 的 概率 。 然 后 选择 最 佳 的 & 值 ， 并 用 该 值 
来 实现 这 个 策略 。 暂 时 先 假设 & 是 固定 的 。 设 MGO) =max{ score(i) } 表 示 应 聘 者 1 一 7 中 的 最 高 分 
数 。 设 S 表示 成 功 选择 最 好 应 聘 者 的 事件 ，S; 表示 最 好 的 应 聘 者 是 第 ; 个 面试 者 时 成 功 的 事件 。 


既然 不 同 的 S: 不 相交 ， 我 们 有 Pr{S} = $ PrlS) 。 注 意 到 ， 当 最 好 应 聘 者 是 前 上 个 应 聘 者 中 的 
一 个 时 ， 我 们 不 会 成 功 ， 于 是 对 i=l, Zs ..., k, 有 Pr{S;}=0. 因而 得 到 
Pr(S) = >} Pr{S;) (5. 12) 


现在 来 计算 Pr{S;)}。 为 了 当 第 i 个 应 聘 者 是 最 好 时 成 功 ， 两 件 事情 必须 发 生 。 第 一 ， 最 好 的 
应 聘 者 必须 在 位 置 ? 上， 用 事件 B 表示 。 第 二 ， 算 法 不 能 选择 从 位 置 & 十 1 一 :一 1 中 任何 一 个 应 
聘 者 ， 而 这 个 选择 当 且 仅 当 满足 十 1 二 7 二 i1 一 1 时 发 生 ， 在 程序 第 6 行 有 score(j)<bestcore, (W 
为 分 数 是 唯一 的 ， 所 以 可 以 忽略 score(j) =bestcore 的 可 能 性 。) 换 名 话说 ， 所 有 score(k+1) Bl 
score(i 一 1) 的 值 都 必须 小 于 ME; 如果 其 中 有 大 于 MR) 的 数 ， 则 将 返回 第 一 个 大 于 MCR) 的 数 
的 下 标 。 我 们 用 O 表示 从 位 置 & 十 1 到 i 一 1 中 没有 任何 应 聘 者 人 选 的 事件 。 幸 运 的 是 ， 两 个 事 
件 B: AO; 是 独立 的 。 事 件 O 仅 依赖 于 位 置 1 到 i 一 1 中 值 的 相对 次 序 ， 而 B: 仅 依赖 于 位 置 ; 的 
值 是 否 大 于 所 有 其 他 位 置 的 值 。 从 位 置 1 到 i 一 1 的 排序 并 不 应 影响 位 置 i 的 值 是 否 大 于 上 述 所 有 
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值 ， 并 且 位 置 i 的 值 也 不 会 影响 从 位 置 1 到 ;一 1 值 的 次 序 。 因 而 应 用 等 式 (C. 15) 得 到 
Pr{S;} = Pr{B; N O,} = Pr{B;}Pr{O,} 
Pr{B,;}) 的 概率 显然 是 1/n， 因 为 最 大 值 等 可 能 地 是 个 位 置 中 的 任 一 个 。 硅 事件 O; BRE, Mh 
置 1 到 i 一 1 的 最 大 值 必须 在 前 个 位 置 的 一 个 ， 并 且 最 大 值 等 可 能 地 在 这 i 一 1 个 位 置 中 的 任 一 
个 。 于 是 ，Pr{O;:}==k/(i 一 1),，Pr{S; 村 nee 12), RNA 
PriS} = PHS) = De easy Preah os == py 二 一 451 


r 


我 们 利用 积分 来 近似 约 束 这 个 各 数 的 上 界 和 下 界 ， ee 等 式 (A 12); 我 们 有 
n—] 1 


[tax L<[ ta 
求解 这 些 定 积 分 可 以 得 到 下 面 的 界 : 
= nn— Ink) < Pris} < 全 (ln(z 一 1) 一 In 一 1)) 


这 提供 了 Pr{S) 的 一 个 相当 紧 确 的 界 。 因 为 我 们 希望 最 大 化 成 功 的 概率 ， 所 以 关注 如 何 选取 & 值 
使 Pr{S} 的 下 界 最 大 化 。( 此 外 ， 下 界 表 达 式 比 上 界 表达 式 更 容易 最 大 化 。) 以 上 为 变量 对 表达 式 
(k/n) (Inn 一 lnk) 求 导 ， 得 到 
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令 此 导数 为 0， 我 们 看 到 当 Ink 二 lnn 一 1 二 ln(n/e) 或 等 价 地 ，k 二 n/e 时 ， 概 率 下 界 最 大 化 。 因 而 ， 
如 果 用 = 二 n/e 来 实现 我 们 的 策略 ， 那 么 将 以 至 少 1/e 的 概率 成 功 雇 用 到 最 好 的 应 聘 者 。 


练习 

5.4-1 一 个 屋子 里 必须 要 有 和 多少 人 ， 才 能 让 某 人 和 你 生日 相同 的 概率 至 少 为 1/2? 必须 要 有 和 多少 
As 才能 让 至 少 两 个 人 生日 为 ?月 4 日 的 概率 大 于 1/2? 

5.4-2 ”假设 我 们 将 球 投 入 到 8 个 箱子 里 ， 直 到 某 个 箱子 中 有 两 个 球 。 每 一 次 投掷 都 是 独立 的 ， 
并 且 每 个 球 落 入 任何 箱子 的 机 会 均等 。 请 问 投球 次 数 期 望 是 多 少 ? 

*5.4-3 ”在 生日 悖 论 的 分 析 中 ， 要 求 各 人 生日 彼此 独立 是 否 很 重要 ? 或 者 ， 是 否 只 要 两 两 成 对 独 

立 就 足够 了 ? 证 明 你 的 答案 。 

xs. 4-4 ”一 次 聚会 需要 邀请 多 少 人 ， 才 能 让 其 中 3 人 的 生日 很 可 能 相同 ? 

*5.4-5 ”在 大 小 为 n 的 集合 中 ， 一 个 字符 串 构 成 一 个 & 排列 的 概率 是 多 少 ? 这 个 问题 和 生日 悖 

论 有 什么 关系 ? 

*5.4-6 ”假设 将 nn 个 球 投入 nn 个 箱子 里 ， 其 中 每 次 投球 独立 ， 并 且 每 个 球 等 可 能 落 入 任何 箱子 。 

空 箱子 的 数目 期 望 是 多 少 ? 正好 有 一 个 球 的 箱子 的 数目 期 望 是 多 少 ? 

*5.4-7 ”为 使 特征 序列 长 度 的 下 界 变 得 更 精确 ， 请 说 明 在 ”次 硬币 的 公平 抛掷 中 ， 不 出 现 比 ljgz 一 

2 Ig lgn 更 长 的 连续 正面 特征 序列 的 概率 小 于 1/n。 


思考 题 
5-1 EHA) 利用 一 个 5 位 的 计数 器 ， 我们 一般 只 能 计数 到 2 一 1。 而 用 R. Morris 的 概率 
计数 法 ， 我 们 可 以 计数 到 一 个 大 得 多 的 值 ， 代 价 是 精度 有 所 损失 。 
对 三 0，1，…，2 一 1， 令 计数 器 值 i 表示 nn; 的 计数 ， 其 中 n 构成 了 一 个 非 负 的 递增 
序列 。 假 设计 数 器 初 值 为 0， 表示 计数 m =0. INCREMENT 运算 单元 工作 在 一 个 计数 器 
上 , 它 以 概率 的 方式 包含 值 i。 如 果 ;= 一 2 一 1， 则 该 运算 单元 报告 溢出 错误 ; BM, 
INCREMENT 运算 单元 以 概率 1/ (+ 一生) 把 计数 器 增加 1， 以 概率 1 一 1/ nit 一 ni) 保 持 计 
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数 器 不 变 。 
对 所 有 的 i0, HAE n= 二 i， 此 计数 器 就 是 一 个 普通 的 计数 器 。 若 选择 二 2 G0), 或 
Gn, =F, 8 i 个 斐 波 那 契 数 ， 参 见 3. 2 节 )， 则 会 出 现 更 多 有 趣 的 情形 。 
对 于 这 个 问题 ， 假 设 nw-! 已 足够 大 ， 发 生 一 个 溢出 错误 的 概率 可 以 忽略 。 
a. 请 说 明 在 执行 n 次 INCREMENT 操作 后 ， 计 数 器 所 表示 的 数 期 望 值 正好 是 n 
b. 分 析 计 数 器 表示 的 计数 的 方差 依赖 于 n 序列 。 我 们 来 看 一 个 简单 情形 : 对 所 有 io, 
7 一 1001。 在 执行 了 ”次 INCREMENT 操作 后 ， 请 估计 计数 器 所 表示 数 的 方差 。 
5-2 〈 查 找 一 个 无 序数 组 ) 本 题 将 分 析 三 个 算法 ， 它 们 在 一 个 包含 :个 元 素 的 无 序数 组 A PE 
RME z. 
考虑 如 下 的 随机 策略 : 随机 挑选 A 中 的 一 个 下 标 i。 如 果 ALi], WE AM, A 
续 挑选 A 中 一 个 新 的 随机 下 标 。 重 复 随机 挑选 下 标 ， 直 到 找到 一 个 下 标 ;,， EAG], 或 
者 直到 我 们 已 检查 过 A 中 的 每 一 个 元 素 。 注 意 ， 我 们 每 次 都 是 从 全 部 下 标的 集合 中 挑选 ， 
于 是 可 能 会 不 止 一 次 地 检查 某 个 元 素 。 
a. 请 写 出 过 程 RANDOM-SEARCH 的 伪 代 码 来 实现 上 述 策略 。 确 保 当 A 中 所 有 下 标 都 被 
143 挑选 过 时 ， 你 的 算法 应 停止 。 
b. 假定 恰好 有 一 个 下 标 i 使 得 A[Lij= 二 x。 在 我 们 找到 x 和 RANDOM-SEARCH 结束 之 前 ， 
必须 挑选 A 下 标的 数目 期 望 是 多 少 ? 
c 假设 有 & 之 1 个 下 标 i 使 得 ALi]= 二 x， 推广 你 对 (b) 部 分 的 解答 。 在 找到 x BK RANDOM- 
SEARCH 结束 之 前 ， 必 须 挑选 A 的 下 标的 数目 期 望 是 多 少 ? 你 的 答案 应 该 是 nn 和 & 的 函数 。 
d. 假设 没有 下 标 i EALLi] =r. EREK A 的 所 有 元 素 或 RANDOM-SEARCH 结束 之 
前 ， 我 们 必须 挑选 A 的 下 标的 数目 期 望 是 多 少 ? 
现在 考虑 一 个 确定 性 的 线性 查找 算法 ， 我 们 称 之 为 DETERMINISTIC-SEARCH。 具 体 
地 说 ， 这 个 算法 在 A 中 顺序 查找 z， 考 虑 AL1j，AL2j，AL3j，…，ALzj， 直 到 找到 A[Lij]= 
Z， 或 者 到 达 数 组 的 末尾 。 假 设 输 入 数组 的 所 有 排列 都 是 等 可 能 的 。 
e 假设 恰好 有 一 个 下 标 i 848 ALi ]=z,. DETERMINISTIC-SEARCH 平均 情形 的 运行 时 间 
是 多 少 ? DETERMINISTIC-SEARCH 最 坏 情形 的 运行 时 间 又 是 多 少 ? 
f. ERA k>1 AFER i 使 得 ALij]= 王 x， 推广 你 对 (e) 部 分 的 解答 。DETERMINISTIC- 
SEARCH 平均 情形 的 运行 时 间 是 多 少 ? DETERMINISTIC-SEARCH 最 坏 情形 的 运行 时 
间 又 是 多 少 ? 你 的 答案 应 是 与 的 函数 。 
g. 假设 没有 下 标 i 78 A[i]=z. DETERMINISTIC-SEARCH 平均 情形 的 运行 时 间 是 多 
少 ? DETERMINISTIC-SEARCH 最 坏 情 形 的 运行 时 间 又 是 多 少 ? 
最 后 ， 考 虑 一 个 随机 算法 SCRAMBLE-SEARCH， 它 先 将 输入 数组 随机 变换 排列 ， 然 
后 在 排列 变换 后 的 数组 上 ， 运 行 上 面 的 确定 性 线性 查找 算法 。 
h. 设 & 是 满足 AL 一 z 的 下 标的 数目 ， 请 给 出 在 & 王 0 和 R=1 情况 下 ， 算 法 SCRAMBLE- 
SEARCH 最 坏 情 形 的 运行 时 间 和 运行 时 间 期 望 。 推 广 你 的 解答 以 处 理 & 之 1 的 情况 。 
144 i 你 将 会 使 用 3 种 查找 算法 中 的 哪 一 个 ? 解释 你 的 答案 。 
本 章 注 记 
BollobasL53]、HoftniL174] 和 SpencerL321 介绍 了 大 量 高 等 概率 技术 。 随 机 算法 的 优点 在 Karp 
[200] 和 Rabin[288] 中 有 讨论 和 综述 。Motwani 和 RaghavanL262] 的 教材 中 大 量 论述 了 随机 算法 。 


雇用 问题 的 很 多 变形 已 经 得 到 广泛 研究 。 这 些 问 题 通 常 被 称 为 “秘书 问题 ”。Ajtai、Meggido 
145] ”和 WaartsL11 中 给 出 了 该 领域 中 的 一 个 例子 。 
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这 一 部 分 介绍 了 几 种 解决 如 下 排序 问题 的 算法 : 

输入 : 一 个 2 个 数 的 序列 (ai ， A2, %3 An) o 

输出 : 输入 序列 的 一 个 排列 ( 重 排 )\al az, +, an), EI ai <a, 
ae 

输入 序列 通常 是 一 个 元 数组 ， 尽 管 它 可 以 用 链表 等 其 他 方式 描述 。 

数据 的 结构 

在 实际 中 ， 待 排序 的 数 很 少 是 单独 的 数值 ， 它 们 通常 是 称 为 记录 
(record) 的 数据 集 的 一 部 分 。 每 个 记录 包含 一 个 关键 字 (key) ， 就 是 排序 问 
题 中 要 重 排 的 值 。 记 录 的 剩余 部 分 由 卫星 数据 (satellite data) HK, HR 
与 关键 字 是 一 同 存 取 的 。 在 实际 中 ， 当 一 个 排序 算法 重 排 关 键 字 时 ， 也 必 
须要 重 排 卫 星 数 据 。 如 果 每 个 记录 包含 大 量 卫星 数据 ,我们 通常 重 排 记 录 
指针 的 数组 ， 而 不 是 记录 本 身 ， 这 样 可 以 降低 数据 移动 量 。 

在 某 种 意义 上 ， 正 是 这 些 实现 细 市 将 一 个 算法 与 成 熟 的 程序 区 分 开 
来 。 一 个 排序 算法 描述 确定 有 序 次 序 的 方法 (method) ， 而 不 管 我 们 是 在 排 
序 单独 的 数 还 是 包含 很 多 卫星 数据 的 大 记录 。 因 此 ， 当 关注 排序 问题 时 ， 
我 们 通常 假定 输入 只 是 由 数组 成 。 将 一 个 对 数 进行 排序 的 算法 转换 为 一 个 
对 记录 进行 排序 的 程序 在 概念 上 是 很 直接 的 ， 当 然 在 具体 的 工程 情境 下 ， 
其 他 一 些 细节 问题 可 能 会 使 实际 的 编程 工作 遇 到 很 多 挑战 。 

为 什么 要 排序 

很 多 计算 机 科学 家 认为 排序 是 算法 研究 中 最 基础 的 问题 ， 其 原因 有 
RE: 

。 有 时 应 用 本 身 就 需要 对 信息 进行 排序 。 例 如 ， 为 了 准备 用 户 财务 

报表 ， 银 行 需要 按 编号 对 支票 进行 排序 。 

。 很 多 算法 通常 把 排序 作为 关键 子 程序 。 例 如 ， 在 一 个 演 染 图 形 对 

象 的 程序 中 ， 图 形 对 象 是 分 层 蕉 在 一 起 的 ， 这 个 程序 可 能 就 需要 
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按 “ 上 属 " 关 系 来 排序 对 象 ， 以 便 能 按 目 底 向 上 的 次 序 绘制 对 象 。 在 本 书 中 ， 我 们 将 看 到 
大 量 的 算法 将 排序 作为 子 程序 来 使 用 。 

。 现 有 的 排序 算法 数量 非常 庞大 ， 其 中 所 使 用 的 技术 也 非常 丰富 。 实 际 上 ， 很 多 重要 的 算 
法 设计 技术 都 体现 在 多 年 来 研究 者 所 设计 的 排序 算法 中 。 从 这 个 角度 看 ， 排 序 问题 还 有 
很 好 的 历史 价值 。 

© 我 们 可 以 证 明 排序 间 题 的 一 个 非 平 几 下 者 (在 第 8 章 中 ,我们 会 给 出 这 个 证 明 )。 而 我 们 
的 最 佳 上 弄 能 够 与 这 个 非 平凡 下 开源 近 相 等 ， 这 就 意味 着 我 们 介绍 的 算法 是 渐 近 最 优 
的 。 而 且 ， 我 们 可 以 利用 排序 问题 的 下 乔 来 证 明 其 他 问题 的 下 弄 。 

。 在 实现 排序 算法 时 会 出 现 很 多 工程 问题 。 某 个 特定 环境 下 的 最 快 的 排序 算法 可 能 依赖 很 
SAR, 例如， 关于 关键 字 和 卫星 数据 的 先 验 知识 、 计 算 机 主机 的 内 存 层次 (缓存 和 虚拟 
内 存 ) 和 软件 环境 。 很 多 这 类 问题 最 好 在 算法 层面 来 处 理 ， 而 不 是 通过 代码 调 优 “来 
解决 。 

排序 算法 

我 们 在 第 2 章 已 经 介绍 了 两 种 排序 算法 。 插 人 排序 最 坏 情况 下 可 以 在 O(n" ) 时 间 内 将 n 个 数 
排 好 序 。 但 是 ， 由 于 其 内 层 循环 非常 紧 冯 ,对 于 小 规模 输入 ， 插 入 排序 是 一 种 非常 快 的 原址 排序 
算法 (回忆 一 下 ， 如 果 输 入 数组 中 仅 有 贡 数 个 元 素 需要 在 排序 过 程 中 存储 在 数组 之 外 ， 则 称 排序 
算法 是 原址 的 (in place))。 归 并 排序 有 更 好 的 渐 近 运行 时 间 8@(nlgn)， 但 它 所 使 用 的 MERGE 过 
程 并 不 是 原址 的 。 

在 这 一 部 分 中 ， 我 们 将 介绍 两 种 新 的 排序 算法 ， 它 们 可 以 排序 任意 的 实数 。 第 6 章 将 介绍 堆 
排序 ， 这 是 一 种 O(nlgn) 时 间 的 原址 排序 算法 。 它 使 用 了 一 种 被 称 为 堆 的 重要 数据 结构 ， 堆 还 可 
用 来 实现 优先 队列 。 

第 7 章 介绍 快速 排序 ， 它 也 是 一 种 原址 排序 算法 ,但 最 坏 情况 运行 时 间 为 O(n’). AMEN 
期 望 运行 时 间 为 8(nlgn)， 而 且 在 实际 应 用 中 通常 比 堆 排 序 快 。 与 插入 排序 类 似 ， 快速 排 序 的 代 
码 也 很 紧凑 ， 因 此 运行 时 间 中 隐 含 的 常数 系数 很 小 。 快 速 排序 是 排序 大 数组 的 最 带 用 算法 。 

插入 排序 、 归 并 排序 、 堆 排序 及 快速 排序 都 是 比较 排序 算法 : 它们 都 是 通过 对 元 素 进 行 比 较 
操作 来 确定 输入 数组 的 有 序 次 序 。 第 8 章 首先 介绍 了 决策 树 模 型 ， 可 用 来 研究 比较 排序 算法 的 性 
能 局 限 。 使 用 决策 树 模 型 ， 我 们 可 以 证 明 任 意 比较 排序 算法 排序 ”个 元 素 的 最 坏 情况 运行 时 间 的 
FRA O(nign), ， 从 而 证 明 堆 排序 和 归并 排序 是 渐 近 最 优 的 比较 排序 算法 。 

第 8 章 接 下 来 展示 了 : 如 果 通 过 比较 操作 之 外 的 方法 来 获得 输入 序列 有 序 次 序 的 信息 ， 就 有 
可 能 打破 Q(nlgn) 的 下 界 。 例 如 ， 计 数 排序 算法 假定 输入 元 素 的 值 均 在 集合 {10，1，…，&| 内 。 
通过 使 用 数组 索引 作为 确定 相对 次 序 的 工具 ， 计 数 排序 可 以 在 @(& 十 n) 的 时 间 内 将 n 个 数 排 好 
序 。 因 此 ， 当 8 二 O(n) 时 ,计数 排 序 算法 的 运行 时 间 与 输入 数组 的 规模 呈 线 性 关系。 男 外 一 种 相 
关 的 排序 算法 一 一 基数 排序 ， 可 以 用 来 扩展 计数 排序 的 适用 范围 。 如 果 有 个 整数 要 进行 排序 ， 
每 个 整数 有 d 位 数字 ， 并 且 每 个 数字 可 能 取 & 个 值 ， 那 么 基数 排序 就 可 以 在 8(d(n 十 &)) 时 间 内 
完成 排序 工作 。 当 d 是 常数 且 & 一 O(z) 时 ， 基 数 排序 的 运行 时 间 就 是 线性 的 。 第 8 章 介绍 的 第 三 
种 算法 是 桶 排序 算法 ， 它 需要 了 解 输入 数组 中 数据 的 概率 分 布 。 对 于 半 开 区 间 [0，1) 内 服从 均匀 
分 布 的 ”个 实数 ， 桶 排序 的 平均 情况 运行 时 间 为 O(n)。 

下 表 总 结 了 第 2 章 和 第 6 一 8 章 介绍 的 排序 算法 的 运行 时 间 ， 其 中 n 表示 要 排序 的 数据 项 数 
量 。 对 于 计数 排序 ， 数 据 项 均 在 集合 {0，1，…， 内。 对 于 基数 排序 ， 每 个 数据 项 都 是 4 位 数 
字 的 整数 ， 每 位 数字 可 能 取 & 个 值 。 对 于 桶 排序 ， 假 定 关 键 字 是 半 开 区 间 [0，1) 内 服从 均匀 分 布 
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的 nn 个 实数 。 表 的 最 右 一 列 给 出 了 平均 情况 或 期 望 运 行 时 间 ， 可 能 与 最 坏 情况 运行 时 间 不 同 。 我 


们 忽略 了 堆 排 序 的 平均 情况 运行 时 间 ， 因 为 本 书 中 并 未 对 其 进行 分 析 。 [149 
算 法 平均 情况 /期 望 运行 时 间 
插入 排序 Oln?) @(n?) 
归并 排序 @(nlgn) @(nlgn) 
SE HE FF O(n lgn) 一 
快速 排序 O(n?) O(nlgn) GHA) 


计数 排序 @(k-+n) @(k+n) 
基数 排序 @(d(n+k)) @(d(n+k)) 
桶 排序 Oln?) @(z) (平均 情况 ) 





顺序 统计 量 

一 个 n 个 数 的 集合 的 第 i 个 顺序 统计 量 就 是 集合 中 第 i 小 的 数 。 当 然 ， 我 们 可 以 通过 将 输入 
集合 排序 ， 取 输出 的 第 ;个 元 系 来 选择 第 ; 个 顺序 统计 量 。 当 不 知道 输入 数据 的 分 布 时 ， 这 种 方 
法 的 运行 时 间 为 O(n ign), BIS 8 章 中 所 证 明 的 比较 排序 算法 的 下 寞 。 

在 第 9 章 中 ,我 们 展示 了 即使 输入 数据 是 任意 实数 ， 也 可 以 在 O(n) 时 间 内 找到 第 i 小 的 元 
素 。 我 们 提出 了 一 种 随机 算法 ， 其 伪 代 码 非常 花 疙 ， 它 的 最 坏 情况 运行 时 间 为 O(n’), BHAE 
行 时 间 为 O(n)。 我 们 还 给 出 了 一 种 更 复杂 的 算法 ， 最 坏 情 况 运 行 时 间 为 O(n)。 

背景 

虽然 这 一 部 分 的 大 部 分 内 容 并 不 依赖 高 次 的 数学 知识 ， 但 一 些 章节 还 是 需要 一 些 稍微 复杂 
的 数学 知识 。 特 别 地 ， 快 速 排序 、 桶 排序 和 顺序 统计 量 算 法 的 分 析 要 用 到 概率 知识 (附录 C 中 回 
顾 了 概率 知识 ) 以 及 第 5 章 中 介绍 的 概率 分 析 和 随机 算法 。 顺 序 统计 量 算法 的 最 坏 情 况 线性 时 间 
分 析 涉 及 的 数学 知识 比 本 部 分 中 其 他 最 坏 情况 分 析 要 更 复杂 些 。 [150 
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在 本 章 中 ， 我 们 会 介绍 另 一 种 排序 算法 : 堆 排 序 (heapsort) 。 与 归并 排序 一 样 ， 但 不 同 于 插 
人 排序 的 是 ， 堆 排序 的 时 间 复 杂 度 是 O\zlgz*) 。 而 与 插 人 排序 相同 ， 但 不 同 于 归并 排序 的 是 ， 堆 
排序 同样 具有 空间 原址 性 : 任何 时 候 都 只 需要 常数 个 额外 的 元 素 空 间 存储 临时 数据 。 因 此 ， 堆 排 
序 是 集合 了 我 们 目前 已 经 讨论 的 两 种 排序 算法 优点 的 一 种 排序 算法 。 

堆 排 序 引 和 人 了 男 一 种 算法 设计 技巧 : 使 用 一 种 我 们 称 为 " 堆 " 的 数据 结构 来 进行 信息 管理 。 堆 
不 仅 用 在 堆 排 序 中 ， 而 且 它 也 可 以 构造 一 种 有 效 的 优先 队列 。 在 后 续 的 章节 中 ， 我 们 还 将 多 次 在 
算法 中 引入 堆 。 | 

”虽然 “ 堆 ” 这 一 词 源 自 堆 排序 ,但 是 目前 它 已 经 锌 引申 为 “垃圾 收集 存储 机 制 ”， 例 如 在 Java 

和 Lisp 语言 中 所 定义 的 。 强 调 一 下 ， 我 们 使 用 的 堆 不 是 垃圾 收集 存储 ， 并 且 在 本 书 的 任何 部 分 ， 
只 要 涉及 堆 ， 指 的 都 是 堆 数据 结构 ， 而 不 是 垃圾 收集 存储 。 


6.1 JẸ 

如 图 6-1 所 示 ，( 二 叉 ) 堆 是 一 个 数组 ， 它 可 以 被 看 成 一 个 近似 的 完全 二 又 树 ( 见 B. 5. 3 49). 
树 上 的 每 一 个 结 点 对 应 数组 中 的 一 个 元 素 。 除 了 最 底层 外 ， 该 树 是 完全 充满 的 ， 而 且 是 从 左 问 右 
填充 。 表 示 堆 的 数组 A 包括 两 个 属性 A. length( 通 常 ) 给 出 数组 元 素 的 个 数 ，A. heap-size 表示 
有 多 少 个 堆 元 素 存 储 在 该 数组 中 。 也 就 是 说 ， 虽 然 AL1.. A. length] 可 能 都 存 有 数据 ,但 只 有 
A[1.. A. heap-size 中 存放 的 是 堆 的 有 效 元 素 ， 这 里 ，0 志 A. heap-size<A. length。 树 的 根 结 点 是 
AL1j， 这 样 给 定 一 个 结 点 的 下 标 1， 我 们 很 容易 计算 得 到 它 的 父 结 点 、 左 孩子 和 右 孩 子 的 下 标 : 

PARENT (2) 

1 return | i/2 | 





LEFT (i) 


1 return 2: 


RIGHT (i) 
1 return 2:+1 





图 6-1 以 (a) 二 叉 树 和 (b) 数 组 形式 展现 的 一 个 最 大 堆 。 每 个 结 点 圆圈 内 部 的 数字 
是 它 所 存储 的 数据 。 结 点 上 方 的 数字 是 它 在 数组 中 相应 的 下 标 。 数 组 上 方 
和 下 方 的 连 线 显示 的 是 父 - 子 关系 : 父 结 点 总 是 在 它 的 孩子 结 点 的 左边 。 
该 树 的 高 度 为 3， 下 标 为 4( 值 为 8) 的 结 点 的 高 度 为 1 
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在 大 多 数 计算 机 上 ， 通 过 将 i 的 值 左 移 一 位 ，LEFT 过 程 可 以 在 一 条 指令 内 计算 出 2i。 采用 
类 似 方法 ， 在 RIGHT 过 程 中 也 可 以 通过 将 i 的 值 左 移 1 位 并 在 低位 加 1， 快 速 计算 得 到 2i 十 1。 
至 于 PARENT 过 程 ， 则 可 以 通过 把 i 的 值 右 移 1 位 计算 得 到 |i/2]。 在 堆 排 序 的 好 的 实现 中 ， 这 
三 个 函数 通常 是 以 “ 宏 ? 或 者 “内 联 函 数 ” 的 方式 实现 的 。 

二 叉 堆 可 以 分 为 两 种 形式 : 最 大 堆 和 最 小 堆 。 在 这 两 种 堆 中 ， 结 点 的 值 都 要 满足 堆 的 性 质 ， 
但 一 些 细节 定义 则 有 所 差异 。 在 最 大 堆 中 ， 最 大 堆 性 质 是 指 除了 根 以 外 的 所 有 结 点 i 都 要 满足 : 

A[PARENT(i)] > ALi 
也 就 是 说 ， 某 个 结 点 的 值 至 多 与 其 父 结 点 一 样 大 。 因 此 ， 堆 中 的 最 大 元 素 存放 在 根 结 点 中 ; 并 
H, 在任 一 子 树 中 ， 该 子 树 所 包含 的 所 有 结 点 的 值 都 不 大 于 该 子 树 根 结 点 的 值 。 最 小 堆 的 组 织 
式 正好 相反 最 小 堆 性 质 是 指 除 了 根 以 外 的 所 有 结 点 i 都 有 

A[PARENT(i)] < ALi] 
最 小 堆 中 的 最 小 元 素 存放 在 根 结 点 中 。 

在 堆 排 序 算法 中 ， 我 们 使 用 的 是 最 大 堆 。 最 小 堆 通常 用 于 构造 优先 队列 ， 在 6.5 节 中 ， 我 们 
会 再 具体 讨论 。 对 于 某 个 特定 的 应 用 来 说 ， 我 们 必须 明确 需要 的 是 最 大 堆 还 是 最 小 堆 ;， 而 当 某 一 
属性 既 适 合 于 最 大 堆 也 适合 于 最 小 堆 的 时 候 ， 我们 就 只 使 用 “ 堆 ” 这 一 名 词 。 

如 果 把 堆 看 成 是 一 棵 树 ， 我 们 定义 一 个 堆 中 的 结 点 的 高 度 就 为 该 结 点 到 叶 结 点 最 长 简单 路 
径 上 边 的 数目 ， 进 而 我 们 可 以 把 堆 的 高 度 定义 为 根 结 点 的 高 度 。 既 然 一 个 包含 2 个 元 素 的 队 可 以 
看 做 一 棵 完全 二 又 树 ， 那 么 该 堆 的 高 度 是 Ogn MAY 6. 1-2) 。 我 们 会 发 现 ， 堆 结构 上 的 一 些 
基本 操作 的 运行 时 间 至 多 与 树 的 高 度 成 正比 ， 即 时 间 复 杂 度 为 O(lgz) 。 在 本 章 的 剩余 部 分 中 ， 
我 们 将 介绍 一 些 基 本 过 程 ， 并 说 明 如 何在 排序 算法 和 优先 队列 中 应 用 它们 。 

e MAX-HEAPIFY $: 其 时 间 复 杂 度 为 O(lgn)， 它 是 维护 最 大 堆 性 质 的 关键 。 

e BUILD-MAX-HEAP 过 程 : 具有 线性 时 间 复 杂 度 ， 功 能 是 从 无 序 的 输入 数据 数组 中 构造 
一 个 最 大 堆 。 

HEAPSORT 过 程 ， 其 时 间 复 杂 度 为 O(nlgn)， 功 能 是 对 一 个 数组 进行 原址 排序 。 
e MAX-HEAP-INSERT, HEAP-EXTRACT-MAX, HEAP-INCREASE-KEY 和 HEAP-MAXIMUM 
WH: 时间 复 杂 度 为 Ol(lgn) ， 功 能 是 利用 堆 实 现 一 个 优先 队列 。 


练习 


1-1 在 高 度 为 h 的 堆 中 ， 元 素 个 数 最 多 和 最 少 分别 是 多 少 ? 

1-2 证 明 : 含 ” 个 元 素 的 堆 的 高 度 为 Lljgzj。 

1-3 WH: 在 最 大 堆 的 任 一 子 树 中 ， 该 子 树 所 包含 的 最 大 元 素 在 该 子 树 的 根 结 点 上 。 

1-4 假设 一 个 最 大 堆 的 所 有 元 素 都 不 相同 ， 那 么 该 堆 的 最 小 元 素 应 该 位 于 哪里 ? 

1-5 一 个 已 排 好 序 的 数组 是 一 个 最 小 堆 吗 ? 

1-6 值 为 (23，17，14,，6，13，10，1，5，7，12) 的 数组 是 一 个 最 大 堆 吗 ? 

.1-7 WH: 当 用 数组 表示 存储 个 元 素 的 堆 时 ， 叶 结 点 下 标 分 别 是 [nn/2j 十 1,， Ln/2]+2, =, n. 


6. 2 ”维护 堆 的 性 质 

MAX-HEAPIFY 是 用 于 维护 最 大 堆 性 质 的 重要 过 程 。 它 的 输入 为 一 个 数组 A 和 一 个 下 标 i。 
在 调用 MAX-HEAPIFY 的 时 候 ， 我 们 假定 根 结 点 为 LEFT(D7 和 有 RIGHT(z) 的 二 叉 树 都 是 最 大 堆 ， 
但 这 时 AL] 有 可 能 小 于 其 孩子 ， 这 样 就 违背 了 最 大 堆 的 性 质 。MAX-HEAPIFY 通过 让 Alc] A/a 
在 最 大 堆 中 “ 逐 级 下 降 ”， 从 而 使 得 以 下 标 ;为 根 结 点 的 子 树 重 新 遵循 最 大 堆 的 性 质 。 
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MAX-HEAPIFY (A, i) 
l= LEFT (2) 
r= RIGHT (i) 
if l < A. heap-size and A[ 1] > A[i] 
largest =l 


if r < A. heap-size and A[Lr] > Allargest ] 
largest =r 
if larget Æ i 
exchange ALi] with A[largest] 
10 MAX-HEAPIFY (A, largest ) 


图 6-2 图 示 了 MAX-HEAPIFY 的 执行 过 程 。 在 程序 的 每 一 步 中 ， 从 A[ 寺 、A[LEFT(i)] 和 
ALRIGHT(2) ] 中 选 出 最 大 的 ， 并 将 其 下 标 存储 在 largest 中 。 如 果 AL 是 最 大 的 ， 那 么 以 ;为 根 
结 点 的 子 树 已 经 是 最 大 堆 ， 程 序 结束 。 否 则 ， 最 大 元 素 是 ; 的 某 个 孩子 结 点 ， 则 交换 ALz] 和 
ALlargest] 的 值 。 从 而 使 i 及 其 孩子 都 满足 最 大 堆 的 性 质 。 在 交换 后 ， 下 标 为 largest 的 结 点 的 值 
是 原来 的 A[ 避 ,于 是 以 该 结 点 为 根 的 子 树 又 有 可 能 会 违反 最 大 堆 的 性 质 。 因 此 ， 需 要 对 该 子 树 
递归 调用 MAX-HEAPIFY, 


1 
2 
3 
4 
5 else largest = i 
6 
7 
8 
9 





图 6-2 当 A.heap-size 二 10 时 ，MAX-HEAPIFY(A，2) 的 执行 过 程 。(a) 初 始 状 态 ， 在 结 点 ;一 2 
处 ，A[2] 违 背 了 最 大 堆 性 质 ， 因 为 它 的 值 不 大 于 它 的 孩子 。 在 (b) 中 ， 通过 交换 ALIA 
A[4j 的 值 ， 结 点 2 恢复 了 最 大 堆 的 性 质 ， 但 又 导致 结 点 4 违反 了 最 大 堆 的 性 质 。 递 归 调 用 
MAX-HEAPIFY(A，4) ， 此 时 ;一 4。 在 (c) 中 ， 通 过 交换 AL4]j 和 AL IMA, BA 4 的 最 
大 堆 性 质 得 到 了 恢复 。 再 次 递归 调用 MAX-HEAPIFY(A，9) ， 此 时 不 再 有 新 的 数据 交换 


对 于 一 棵 以 i 为 根 结 点 、 大 小 为 n 的 子 树 ，MAX-HEAPIFY 的 时 间 代 价 包 括 : 调整 ALij、 
A[LLEFT(i)] 和 ALRIGHTG) ] 的 关系 的 时 间 代 价 86(1)， 加 上 在 一 棵 以 i 的 一 个 孩子 为 根 结 点 的 
子 树 上 运行 MAX-HEAPIFY 的 时 间 代 价 ( 这 里 假设 递归 调用 会 发 生 )。 因 为 每 个 孩子 的 子 树 的 大 
小 至 多 为 2n/3( 最 坏 情 况 发 生 在 树 的 最 底层 恰好 半 满 的 时 候 )， 我 们 可 以 用 下 面 这 个 递归 式 刻 画 
MAX-HEAPIFY 的 运行 时 间 : 

T(n) < T(2n/3) + @(1) 
根据 主 定理 (定理 4. 1) 的 情况 2， 上 述 递归 式 的 解 为 T(n) = 二 Ollgn)。 也 就 是 说 ， 对 于 一 个 树 高 为 
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h 的 结 点 来 说 ，MAX-HEAPIFY 的 时 间 复 杂 度 是 OCA). 


练习 


6.2-1 参照 图 6-2 的 方法 ， 说 明 MAX-HEAPIFY(A，3) 在 数组 A=(27, 17, 3, 16, 13, 10, 
1，5，7，12，4，8，9，0) 上 的 操作 过 程 。 

6.2-2 参考 过 程 MAX-HEAPIFY， 写 出 能 够 维护 相应 最 小 堆 的 MIN-HEAPIFY(A, 让 ) 的 伪 代 
码 ， 并 比较 MIN-HEAPIFY 与 MAX-HEAPIFY 的 运行 时 间 。 

6.2-3 ” 当 元 素 A[ 引 比 其 孩子 的 值 都 大 时 ， 调 用 MAX-HEAPIFY(A. DSA AAR? 

6.2-4 ~4i>A. heap-size/2 时 ， 调用 MAX-HEAPIFY(A, 让 会 有 什么 结果 ? 

6.2-5 MAX-HEAPIFY 的 代码 效率 较 高 ， 但 第 10 行 中 的 递归 调用 可 能 例外 ， 它 可 能 使 某 些 编 
译 器 产生 低 效 的 代码 。 请 用 循环 控制 结构 取代 递归 ， 重 写 MAX-HEAPIFY 代码 。 

6.2-6 证明: 对 一 个 大 小 为 n 的 堆 ，MAX-HEAPIFY 的 最 坏 情 况 运 行 时 间 为 Q(lgn)。( 提 示 : 
对 于 7 个 结 点 的 堆 ， 可 以 通过 对 每 个 结 点 设 定 恰当 的 值 ， 使 得 从 根 结 点 到 叶 结 点 路 径 上 
的 每 个 结 点 都 会 递归 调用 MAX-HEAPIFY.) 


6.3 eit 


我 们 可 以 用 自 底 向 上 的 方法 利用 过 程 MAX HEAPIFY 把 一 个 大 小 为 n= 二 A. length 的 数组 
ALL .nj 转换 为 最 大 堆 。 通 过 练习 6. 1-7 可 以 知道 ， 子 数组 AC(Ln/2j 十 1. .nn) 中 的 元 素 都 是 树 的 叶 
结 点 。 每 个 叶 结 点 都 可 以 看 成 只 包含 一 个 元 素 的 堆 。 过 程 BUILD-MAX-HEAP 对 树 中 的 其 他 结 
点 都 调用 一 次 MAX-HEAPIFY。 


BUILD-MAX-HEAP(A) 

1 A. heap-size = A. length 

2 fori = |A. length/2| downto 1 
3 MAX-HEAPIFY(A, i) 


图 6-3 给 出 了 BUILD-MAX-HEAP 过 程 的 一 个 例子 。 

为 了 证 明 BUILD-MAX-HEAP 的 正确 性 ， 我 们 使 用 如 下 的 循环 不 变量 : 

在 第 2 一 3 行 中 每 一 次 for 循环 的 开始 ， 结 点 i 十 1，i 十 2，…，n 都 是 一 个 最 大 堆 的 

根 结 点 。 

我 们 需要 证 明 这 一 不 变量 在 第 一 次 循环 前 为 真 ， 并 且 每 次 循环 迭代 都 维持 不 变 。 当 循环 结束 时 ， 
这 一 不 变量 可 以 用 于 证 明正 确 性 。 

初始 化 : 在 第 一 次 循环 迭代 之 前 ，i 二 Ln/2j， 而 Ln/2j 十 1，[n/24 二 2，…，n 都 是 叶 结 点 ， 因 
而 是 平凡 最 大 堆 的 根 结 点 。 

保持 : 为 了 看 到 每 次 迭代 都 维护 这 个 循环 不 变量 ， 注 意 到 结 点 i 的 孩子 结 点 的 下 标 均 比 : 
大 。 所 以 根据 循环 不 变量 ， 它 们 都 是 最 大 堆 的 根 。 这 也 是 调用 MAX-HEAPIFY(A, DEHA i 
成 为 一 个 最 大 堆 的 根 的 先决 条 件 。 而 且 ，MAX-HEAPIFY 维护 了 结 点 i 十 1，i 十 2，…，n 都 是 一 
个 最 大 堆 的 根 结 点 的 性 质 。 在 for 循环 中 递减 i 的 值 ， 为 下 一 次 循环 重新 建立 循环 不 变量 。 

终止 : 过 程 终止 时 ， =O; 根据 循环 不 变量 ， 每 个 结 点 1, 2, °*, n 都 是 一 个 最 大 堆 的 根 。 
特别 需要 指出 的 是 ， 结 点 1 就 是 最 大 的 那个 堆 的 根 结 点 。 

我 们 可 以 用 下 面 的 方法 简单 地 估算 BUILD-MAX-HEAP 运行 时 间 的 上 界 。 每 次 调用 MAX- 
HEAPIFY; 的 时 间 复 杂 度 是 OUgn), BUILD-MAX-HEAP 需要 O(n) 次 这 样 的 调用 。 因 此 总 的 时 
间 复 杂 度 是 O(nlgn)。 当 然 ， 这 个 上 界 虽 然 正确 ， 但 不 是 渐 近 紧 确 的 。 

我 们 还 可 以 进一步 得 到 一 个 更 紧 确 的 界 。 可 以 观察 到 ， 不 同 结 点 运行 MAX-HEAPIFY 的 时 间 与 
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该 结 点 的 树 高 相关 ， 而 且 大 部 分 结 点 的 高 度 都 很 小 。 因 此 ， 利 用 如 下 性 质 可 以 得 到 一 个 更 紧 确 的 界 : 包 

E n 个 元 素 的 堆 的 高 度 为 | jg 站 |( 见 练习 6. 1-2); REJ h 的 堆 最 多 包含 [n/2 | 个 结 点 ( 见 练习 6. 3-3). 
在 一 个 高 度 为 h 的 结 点 上 运行 MAX-HEAPIFY 的 代价 是 OC(h)， 我 们 可 以 将 BUILD-MAX- 

HEAP 的 总 代价 表示 为 

LignJ Lign] h 

> [sea [0% = O(n >) =) 


h=0 


最 后 的 一 个 累积 和 的 计算 可 以 用 c= 1/2 带 人 公式 (A. 8) 得 到 ， 则 有 


ST 
ep 一 2 


于 是 ， 我 们 可 以 得 到 BUILD-MAX-HEAP 的 时 间 复 杂 度 : 
LigzJ h co h 
O(n >) A) = o(a >; xr) = O(n) 
因此 ， 我 们 可 以 在 线性 时 间 内 ， 把 


a D Tory 10 AEL 
A vide GHD [Shanda i 
ies ey SHOE 


— 
fe ee 


无 序数 组 构造 成 为 一 个 最 大 堆 。 





hy {4 i 
pro 0 





图 6-3 BUILD-MAX-HEAP 的 操作 过 程 示意 图 ， 显 示 了 在 BUILDMAX-HEAP 的 第 3 行 调用 
MAX-HEAPIFY 之 前 的 数据 结构 。(a) 一 个 包括 10 个 元 素 的 输入 数组 及 其 对 应 的 二 叉 树 。 
图 中 显示 的 是 调用 MAX-HEAPIFY(A, 让 前 ， 循 环 控制 变量 i 指向 结 点 5 的 情况 。(b) 操 
作 结 果 的 数据 结构 。 下 一 次 迭代 ， 循 环 控制 变量 i 指向 结 点 4。(c) ~ Ce) BUILD-MAX- 
HEAP 中 for 循 环 的 后 续 迭 代 操 作 。 需 要 注意 的 是 ， 任 何 时 候 在 茶 个 结 点 调用 MAX- 
HEAPIFY， 该 结 点 的 两 个 子 树 都 是 最 大 堆 。(f) 执 行 完 BUILD-MAX-HEAP 时 的 最 大 堆 
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类 似 地 ， 我 们 也 可 以 通过 调用 BUILD-MIN-HEAP 构造 一 个 最 小 堆 。 除 了 第 3 行 的 调用 替换 
为 MIN-HEAPIFY( 见 练习 6. 2-2) 以 外 ，BUILD-MIN-HEAP 与 BUILD-MAX-HEAP 完全 相同 。 
BUILD-MIN-HEAP 可 以 在 线性 时 间 内 ， 把 一 个 无 序数 组 构造 成 为 一 个 最 小 堆 。 


练习 

6.3-1 参照 图 6-3 的 方法 ， 说 明 BUILD-MAX-HEAP 在 数组 A=(5, 3, 17, 10, 84, 19, 6, 
22，9? 上 的 操作 过 程 。 

6.3-2 ”对 于 BUILD-MAX-HEAP 中 第 2 行 的 循环 控制 变量 i 来 说 ， 为 什么 我 们 要 求 它 是 从 
LA. length/2 1A] 1 递减 ， 而 不 是 从 1 ALA. length/2] 递 增 呢 ? 

6.3-3 证明; 对 于 任 一 包含 nn 个 元 素 的 堆 中 ， 至 多 有 |[n/2” | 个 高 度 为 h 的 结 点 ? 


6.4 堆 排 序 算 法 


初始 时 候 ， 堆 排序 算法 利用 BUILD-MAX-HEAP 将 输入 数组 ALL. .nj 建成 最 大 堆 ， 其 中 n= 
A. length。 因 为 数组 中 的 最 大 元 素 总 在 根 结 点 AL1j] 中 ， 通 过 把 它 与 ALnj 进 行 互 换 ， 我 们 可 以 让 
该 元 素 放 到 正确 的 位 置 。 这 时 候 ， 如 果 我 们 从 堆 中 去 掉 结 点 n( 这 一 操作 可 以 通过 减少 A. heap- 
size 的 值 来 实现 ) ， 剩 余 的 结 点 中 ， 原 来 根 的 孩子 结 点 仍然 是 最 大 堆 ， 而 新 的 根 结 点 可 能 会 违背 
最 大 堆 的 性 质 。 为 了 维护 最 大 堆 的 性 质 ， 我 们 要 做 的 是 调用 MAX-HEAPIFY(A，1)， 从 而 在 
ALl. .一 可 上 构造 一 个 新 的 最 大 堆 。 堆 排序 算法 会 不 断 重复 这 一 过 程 ， 直 到 堆 的 大 小 从 ”一 1 降 
到 2。( 准 确 的 循环 不 变量 定义 见 练习 6. 4-2.) 

HEAPSORT(A) 


1 BUILD-MAX-HEAP(A) 
2 fori = A. length downto 2 


3 exchange A[ 1] with A[i] 
4 A. heap-size = A. heap-size — 1 
5 MAX-HEAPIFY(A, 1) 


图 6-4 给 出 了 一 个 在 HEAPSORT 的 第 1 行 建立 初始 最 大 堆 之 后 ， 堆 排序 操作 的 一 个 例子 。 
图 6-4 显示 了 第 2 一 5 行 for 循环 第 一 次 迭代 开始 前 最 大 堆 的 情况 和 每 一 次 迭代 之 后 最 大 堆 的 情况 。 
HEAPSORT 过 程 的 时 间 复 杂 度 是 O(nlgn) ， 因 为 每 次 调用 BUILD-MAX-HEAP 的 时 间 复 杂 





图 6-4 HEAPSORT 的 运行 过 程 。(a) 执 行 堆 排 序 算法 第 1 行 ， 用 BUILD-MAX-HEAP 构造 得 到 的 
最 大 堆 。(\b) 一 0j) 每 次 执行 算法 第 5 行 ， 调 用 MAX-HEAPIFY 后 得 到 的 最 大 堆 ， 并 标识 当 
次 的 ; 值 。 其 中 ， 仅 仅 浅 色 阴影 的 结 点 被 保留 在 堆 中 。(k) 最 终 数 组 A 的 排序 结果 
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图 6-4 (BE) 


6.4-1 参照 图 6-4 的 方法 ， 说 明 HEAPSORT 在 数组 A=(5, 13, 2, 25, 7, 17, 20, 8, E 
的 操作 过 程 。 
6.4-2 试 分 析 在 使 用 下 列 循环 不 变量 时 ，HEAPSORT 的 正确 性 : 
在 算法 的 第 2~5 行 for 循环 每 次 迭代 开始 时 ， 子 数组 AL1..i] 是 一 个 包含 了 数 
组 A[1. .za 中 第 :小 元 素 的 最 大 堆 ， 而 子 数组 ALi 十 1. .nj 包含 了 数组 A[1..nj] 中 已 排 
序 的 n 一 i 个 最 大 元 素 ? 
6. 4-3 ”对 于 一 个 按 升序 排列 的 包含 ”个 元 素 的 有 序数 组 A 来 说 ，HEAPSORT 的 时 间 复 杂 度 是 
多 少 ? 如 果 A 是 降序 呢 ? 
6. 4-4 证 明 : 在 最 坏 情 况 下 ，HEAPSORT 的 时 间 复 杂 度 是 QCnlgn)。 


*6.4-5 证 明 : 在 所 有 元 素 都 不 同 的 情况 下 ，HEAPSORT 的 时 间 复 杂 度 是 QCnlgn)。 


6.5 优先 队列 


堆 排序 是 一 个 优秀 的 算法 ， 但 是 在 实际 应 用 中 ， 第 7 章 将 要 介绍 的 快速 排序 的 性 能 一 般 会 优 
于 堆 排 序 。 尽 管 如 此 ， 堆 这 一 数据 结构 仍然 有 很 多 应 用 。 在 这 一 节 中 ， 我 们 要 介绍 堆 的 一 个 常见 
应 用 : 作为 高 效 的 优先 队列 。 和 堆 一 样 ， 优 先 队列 也 有 两 种 形式 : 最 大 优先 队列 和 最 小 优先 队 
列 。 这 里 ， 我 们 关注 于 如 何 基 于 最 大 堆 实 现 最 大 优先 队列 。 练 习 6. 5-3 将 会 要 求 读者 编写 最 小 优 
先 队列 过 程 。 

优先 队列 (priority queue) 是 一 种 用 来 维护 由 一 组 元 素 构 成 的 集合 S 的 数据 结构 ， 其 中 的 每 一 
个 元 素 都 有 一 个 相关 的 值 ， 称 为 关键 字 (key) 。 一 个 最 大 优先 队列 支持 以 下 操作 : 

INSERT(S, x): 把 元 素 z 插入 集合 S 中 。 这 一 操作 等 价 于 S=SU{z}. 

MAXIMUM(S): 返回 S 中 具有 最 大 键 字 的 元 素 。 

EXTRACT-MAX(S) : 去 掉 并 返回 S 中 的 具有 最 大 键 字 的 元 素 。 

INCREASE-KEY(S, x, k): HIR z 的 关键 字 人 增加 到 &， 这 里 假设 & 的 值 不 小 于 z 的 原 
关键 字 值 。 

最 大 优先 队列 的 应 用 有 很 多 ， 其 中 一 个 就 是 在 共享 计算 机 系统 的 作业 调度 。 最 大 优先 队列 
记录 将 要 执行 的 各 个 作业 以 及 它们 之 间 的 相对 优先 级 。 当 一 个 作业 完成 或 者 被 中 断后 ， 调 度 器 
调用 EXTRACT-MAX 从 所 有 的 等 待 作业 中 ， 选 出 具有 最 高 优先 级 的 作业 来 执行 。 在 任何 时 候 ， 
调度 器 可 以 调用 INSERT 把 一 个 新 作业 加 入 到 队列 中 来 。 
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相应 地 ， 最 小 优先 队列 支持 的 操作 包括 INSERT、MINIMUM、EXTRACT-MIN 和 
DECREASE-KEY。 最 小 优先 队列 可 以 被 用 于 基于 事件 驱动 的 模拟 器 。 队 列 中 保存 要 模拟 的 事 
件 ， 每 个 事件 都 有 一 个 发 生 时 间作 为 其 关键 字 。 事 件 必须 按照 发 生 的 时 间 顺 序 进行 模拟 ， 因 为 某 
一 事件 的 模拟 结果 可 能 会 触发 对 其 他 事件 的 模拟 。 在 每 一 步 ， 模 拟 程 序 调用 EXTRACT-MIN 来 
选择 下 一 个 要 模拟 的 事件 。 当 一 个 新 事件 产生 时 ， 模 拟 器 通过 调用 INSERT 将 其 插入 最 小 优先 
级 队列 中 。 在 第 23 EME 24 章 的 内 容 中 ， 我 们 将 会 看 到 最 小 优先 队列 的 其 他 用 途 ， 特 别 是 对 
DECREASE-KEY 操作 的 使 用 。 

显然 ， 优 先 队 列 可 以 用 堆 来 实现 。 对 一 个 像 作 业 调度 或 事件 驱动 模拟 器 这 样 的 应 用 程序 来 
说 ， 优 先 队列 的 元 素 对 应 着 应 用 程序 中 的 对 象 。 通 常 ， 我 们 需要 确定 哪个 对 象 对 应 一 个 给 定 的 优 
先 队列 元 素 ， 反 之 亦 然 。 因 此 ， 在 用 堆 来 实现 优先 队列 时 ， 需 要 在 堆 中 的 每 个 元 素 里 存储 对 应 对 
象 的 句柄 (handle) 。 句 柄 (如 一 个 指针 或 一 个 整 型 数 等 ) 的 准确 含义 依赖 于 具体 的 应 用 程序 。 同 
样 ， 在 应 用 程序 的 对 象 中 ， 我 们 也 需要 存储 一 个 堆 中 对 应 元 素 的 句柄 。 通 常 ， 这 一 句柄 是 数组 的 
下 标 。 由 于 在 堆 的 操作 过 程 中 ， 元 素 会 改变 其 在 数组 中 的 位 置 ， 因 此 ， 在 具体 的 实现 中 ， 在 重新 
确定 堆 元 素 位置 时 ， 我 们 也 需要 更 新 相应 应 用 程序 对 象 中 的 数组 下 标 。 因 为 对 应 用 程序 对 象 的 
访问 细节 强烈 依赖 于 应 用 程序 及 其 实现 方式 ， 所 以 这 里 我 们 不 做 详细 讨论 。 需 要 强调 的 是 ， 这 些 
句柄 也 需要 被 正确 地 维护 。 

现在 ， 我 们 来 讨论 如 何 实现 最 大 优先 队列 的 操作 。 过 程 HEAP-MAXIMUM 可 以 在 9(1) 时 
间 内 实现 MAXIMUM 操作 。 

HEAP-MAXIMUM(A) 

1 return A[1] 


过 程 HEAP-EXTRACT-MAX 实现 EXTRACT-MAX 操作 。 它 与 HEAPSORT 过 程 中 的 for 
循环 体 部 分 (第 3 一 5 行 ) 很 相似 。 
HEAP-EXTRACT-MAX(A) 
1 if A. heap-size <1 
2 error “heap underflow” 
3 max = A[1] 
4 All] = ALA. heapsize | 
5 A. heap-size = A. heapsize — 1 
6 MAX-HEAPIFY(A, 1) 
7 


return max 


HEAP-EXTRACT-MAX 的 时 间 复 杂 度 为 Ol(lgn)。 因 为 除了 时 间 复 杂 度 为 O(lgn) 的 MAX- 
HEAPIFY 以 外 ， 它 的 其 他 操作 都 是 常数 阶 的 。 

HEAP-INCREASE-KEY 能 够 实现 INCREASE-KEY 操作 。 在 优先 队列 中 ， 我 们 希望 增加 关 
键 字 的 优先 队列 元 素 由 对 应 的 数组 下 标 :来 标识 。 这 一 操作 需要 首先 将 元 素 A[Lz] 的 关键 字 更 新 为 
新 值 。 因 为 增 大 A[ij 的 关键 字 可 能 会 违反 最 大 堆 的 性 质 ， 所 以 上 述 操作 采用 了 类 似 于 2.1 节 
INSERTION-SORT 中 插入 循环 (算法 第 5 一 ?7 行 ) 的 方式 ， 在 从 当前 结 点 到 根 结 点 的 路 径 上 ， 为 
新 增 的 关键 字 寻 找 恰当 的 插入 位 置 。 在 HEAP-INCREASE-KEY 的 操作 过 程 中 ， 当 前 元 素 会 不 
断 地 与 其 父 结 点 进行 比较 ， 如 果 当 前 元 素 的 关键 字 较 大 ， 则 当前 元 素 与 其 父 结 点 进行 交换 。 这 一 
过 程 会 不 断 地 重复 ， 直 到 当前 元 素 的 关键 字 小 于 其 父 结 点 时 终止 ， 因 为 此 时 已 经 重新 符合 了 最 
大 堆 的 性 质 。( 准 确 的 循环 不 变量 表示 见 练习 6. 5-5。) 

HEAP-INCREASE-KEY(A, i, key) 

1 if key< Ali] 
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2 error “new key is smaller than current key” 
3 Ali] = key 

4 while i > 1 and ALPARENT()] < ALi] 

5 exchange A[i] with ALPARENT(:) | 

6 i = PARENT() 


图 6-5 显示 了 HEAP-INCREASE-KEY 的 一 个 操作 过 程 。 在 包含 ”个 元 素 的 堆 上 ，HEAP- 


INCREASE-KEY 的 时 间 复 杂 度 是 O(lgn) 。 这 是 因为 在 算法 第 3 行 做 了 关键 字 更 新 的 结 点 到 根 结 
点 的 路 径 长 度 为 Ol(lgn)。 





图 6-5 HEAP-INCREASE-KEY 的 操作 过 程 。(a) 图 6-4(a) 中 的 量 大 堆 ， 其 中 下 标 为 i 的 结 点 以 深 色 阴 影 
显示 。(b) 该 结 点 的 关键 字 增 加 到 15。(c) 经 过 第 4 一 6 行 的 while 循环 的 一 次 迭代 ， 该 结 点 与 其 父 
结 点 交换 关键 字 ， 同 时 下 标 i 的 指示 上 移 到 其 父 结 点 。(d) 经 过 再 一 次 迭代 后 得 到 的 最 大 堆 。 此 时 ， 
ALPARENT(i) 之 ALij。 现 在 ,最 大 堆 的 性 质 成 立 ， 程 序 终 止 


MAX-HEAP-INSERT 能 够 实现 INSERT 操作 。 它 的 输入 是 要 被 插入 到 最 大 堆 A 中 的 新 元 素 
的 关键 字 。MAX-HEAP-INSERT 首先 通过 增加 一 个 关键 字 为 一 ce 的 叶 结 点 来 扩展 最 大 堆 。 然 后 
调用 HEAP-INCREASE-KEY 为 新 结 点 设置 对 应 的 关键 字 ， 同 时 保持 最 大 堆 的 性 质 。 

MAX-HEAP-INSERT(A, key) 

1 A. heap-size = A. heap-size + 1 

2 ALA. heapsize ] 一 一 co 

3 HEAP-INCREASE-KEY(A, A. heap-size, key) 

在 包含 ”个 元 素 的 堆 上 ，MAX-HEAP-INSERT 的 运行 时 间 为 O(lgn)。 

总 之 ， 在 一 个 包含 ”个 元 素 的 堆 中 ， 所 有 优先 队列 的 操作 都 可 以 在 OC(lgn) 时 间 内 完成 。 


练习 

6.5-1 试 说 明 HEAP-EXTRACT-MAX 在 堆 A=(15, 13, 9, 5, 12, 8, 7, 4, 0, 6, 2, DE 
的 操作 过 程 。 

6. 5-2” 试 说 明 MAX-HEAP-INSERTC(A，10) 在 堆 A=(15, 13, 9, 5, 12, 8, 7, 4, 0, 6, 2, 1) 
上 的 操作 过 程 。 
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6.53 ”要 求 用 最 小 堆 实现 最 小 优先 队列 ， 请 写 出 HEAP-MINIMUM、HEAP-EXTRACT-MIN、 
HEAP-DECREASE-KEY 和 MIN-HEAP-INSERT 的 伪 代 码 。 

6.5-4 在 MAXHEAP-INSERT 的 第 2 行 ， 为 什么 我 们 要 先 把 关键 字 设 为 一 2， 然后 又 将 其 增 
加 到 所 需 的 值 呢 ? 

6. S-$” 试 分 析 在 使 用 下 列 循环 不 变量 时 ，HEAP-INCREASE-KEY 的 正确 性 ; 

在 算法 的 第 4~6 行 while 循环 每 次 迭代 开始 的 时 候 ， 子 数组 AL1. .A. heapsize | 
要 满足 最 大 推 的 性 质 。 如 果 有 违背 ， 只 有 一 个 可 能 : Alil F ALPARENT(]. 
这 里 ， 你 可 以 假定 在 调用 HEAP-INCREASE-KEY 时 ，AL1. A. heap-size | ERK 
性 质 的 。 

6.5-6 在 HEAP-INCREASE-KEY 的 第 5 行 的 交换 操作 中 ， 一 般 需 要 通过 三 次 赋值 来 完成 。 想 
一 想 如 何 利 用 INSERTION-SORT 内 循环 部 分 的 思想 ， 只 用 一 次 赋值 就 完成 这 一 交换 
操作 ? 

6.5-7 试 说 明 如 何 使 用 优先 队列 来 实现 一 个 先进 先 出 队列 ， 以 及 如 何 使 用 优先 队列 来 实现 栈 。 
(队列 和 栈 的 定义 见 10. 1 节 ,) 

6.5-8 HEAP-DELETE(A, 操作 能 够 将 结 点 i MEA 中 删除 。 对 于 一 个 包含 n 个 元 素 的 堆 ， 
请 设计 一 个 能 够 在 Olgn) 时 间 内 完成 的 HEAP-DELETE 操作 。 

6.5-9 ”请 设计 一 个 时 间 复 杂 度 为 Om lg&) 的 算法 ， 它 能 够 将 & 个 有 序 链表 合并 为 一 个 有 序 链表 ， 
这 里 nn 是 所 有 输入 链表 包含 的 总 的 元 素 个 数 。( 提 示 : 使 用 最 小 堆 来 完成 路 归并 ,) 

思考 题 

6-1 (用 插入 的 方法 建 堆 ) ”我 们 可 以 通过 反复 调用 MAX-HEAP-INSERT 实现 疝 一 个 堆 中 插入 


6-2 


元 素 ， 考 虑 BUILD-MAX-HEAP 的 如 下 实现 方式 ，: 


BUILD-MAX-HEAP (A) 

1 A. heap-size = 1 

2 for i =2 to A. length 

3 MAX-HEAP-INSERT(A, A[i]) 


a。 当 输入 数据 相同 的 时 候 ，BUILD-MAX-HEAP 和 BUILD-MAX-HEAP' 生 成 的 堆 是 否 总 
是 一 样 ? 如 果 是 ， 请 证 明 ; 否则， 请 举 出 一 个 反例 。 

b. GEAR: 在 最 坏 情 况 下 ， 调 用 BUILD-MAX-HEAP 建立 一 个 包含 2 个 元 素 的 堆 的 时 间 复 杂 
EE (nlgn)。 

(pd 又 堆 的 分 析 ) d MHS MRR, 但 (一 个 可 能 的 例外 是 ) 其 中 的 每 个 非 叶 结 点 

有 d 个 孩子 ， 而 不 是 仅仅 2 个 。 

a。 如 何在 一 个 数组 中 表示 一 个 d CHE? 

b. 包含 nn 个 元 素 的 d 叉 堆 的 高 度 是 多 少 ? 请 用 ”和 da Rm. 

ce 请 给 出 EXTRACT-MAX 在 d 又 最 大 堆 上 的 一 个 有 效 实现 ， 并 用 d 和 nn 表示 出 它 的 时 间 

d. 给 出 INSERT Æ d 又 最 大 堆 上 的 一 个 有 效 实 现 ， 并 用 4 和 表示 出 它 的 时 间 复 杂 度 。 

e 给 出 INCREASE-KEY(A，i，A) 的 一 个 有 效 实现 。 当 A< AL 时 ， 它 会 触发 一 个 错误 ， 
AWAIT ALi] =k, HEIEK d MRK. HA d 和 表示 出 它 的 时 间 复 杂 度 。 

(Young KÆ) ”在 一 个 mXn 的 Young KÆ (Young tableau) 中 ， 每 一 行 的 数据 都 是 从 左 

到 右 排 序 的 ， 每 一 列 的 数据 都 是 从 上 到 下 排序 的 。Young 氏 和 矩阵 中 也 会 存在 一 些 值 为 oo 的 数 

据 项 ， 表 示 那 些 不 存在 的 元 素 。 因 此 ，Young 氏 和 矩阵 可 以 用 来 存储 r <n 个 有 限 的 数 。 
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a. 画 出 一 个 包含 元 素 为 (9，16，3，2，4，8，5，14，12} 的 4X4Young KE. 

b. 对 于 一 个 mXn 的 Young RER Y KK, WEH: 如 果 YL1，1=ce， 则 YY 为 空 ; 如果 
YLm, n]l<co, WY Ai CHAE mn 个 元 素 ) 。 

e 请 给 出 一 个 在 mXn Young RER EMT SAREE Omtn) HY EXTRACT-MIN 的 算法 实 
现 。 你 的 算法 可 以 考虑 使 用 一 个 递归 过 程 ， 它 可 以 把 一 个 规模 为 mXn 的 问题 分 解 为 规 
模 为 (m 一 1) Xn 或 者 mX(n 一 1) 的 子 问题 (提示 : 考虑 使 用 MAX-HEAPIFY)。 这 里 ， 定 
义 T(p) 用 来 表示 EXTRACT-MIN 在 任 一 mXn 的 Young 氏 和 矩阵 上 的 时 间 复 杂 度 ， 其 中 
p 二 m 十 n。 给 出 并 求解 TC(p) 的 递归 表达 式 ， 其 结果 为 OCm 十 n)。 

d. 试 说 明 如 何在 OCm 十 n) 时 间 内 ， 将 一 个 新 元 素 插入 到 一 个 未 满 的 mX na 的 Young RE 
阵 中 。 

e 在 不 用 其 他 排序 算法 的 情况 下 ， 试 说明 如 何 利用 一 个 nXn 的 Young REEE O(n’ ?时间 
内 将 n 个 数 进 行 排序 。 

f. 设计 一 个 时 间 复 杂 度 为 OCm 十 nn) 的 算法 ， 它 可 以 用 来 判断 一 个 给 定 的 数 是 否 存 储 在 mXn 
的 Young REH., 


本 章 注 记 

堆 排序 算法 是 由 Williams[L357j] 发 明 的 ， 他 同时 描述 了 如 何 利用 堆 来 实现 一 个 优先 队列 。 
BUILD-MAX-HEAP 则 是 由 RloydL106 JEH. 

在 第 16、23 和 24 章 中 ， 我 们 会 使 用 最 小 堆 实 现 最 小 优先 队列 。 在 第 19 章 中 ， 我 们 会 给 出 
一 个 针对 特定 操作 改进 了 时 间 界 的 算法 实现 。 在 第 20 章 中 ， 我 们 还 给 出 了 一 个 针对 关键 字 来 自 
有 限 非 负 整 数 集合 的 实现 。 

如 果 数 据 都 是 2 位 整 型 数 ， 而 且 计 算 机 内 存 也 是 可 寻 址 的 2 位 字 所 组 成 的 ，Fredman 和 
Willard[115] 给 出 了 如 何在 0(1) 时 间 内 实现 MINIMUM 和 在 OC(Vign) 时 间 内 实现 INSERT. 
EXTRACT-MIN 操作 的 算法 。Thorup[ 337] 将 时 间 复 杂 度 的 界 降 低 到 Ol(lglg n)。 这 一 性 能 的 提 
升 是 以 使 用 了 额外 的 存储 空间 为 代价 的 ， 这 可 以 用 随机 散 列 方法 在 线性 空间 中 实现 。 

优先 队列 的 一 个 重要 的 特殊 情形 是 EXTRACT-MIN 操作 序列 为 单调 的 ， 即 连续 EXTRACT- 
MIN 操作 返回 的 值 随 着 时 间 单 调 递 增 。 这 一 情况 会 在 一 些 重 要 的 应 用 中 出 现 ， 例如， 第 24 章 中 
将 会 介绍 的 Dijkstra 单 源 最 短路 径 算法 和 离散 事件 模拟 等 。 在 Dijkstra 算法 中 ，DECREASE- 
KEY 的 实现 效率 非常 重要 。 对 于 单调 情形 ， 如 果 数 据 是 1, 2, +, C 范围 内 的 整数 ， Ahuja、 
Melhorn、Orlin 和 Tarjanl 8 | 利用 称 为 基数 堆 (radix heap) 的 数据 结构 ， 实 现 了 O(lgC) 摊 还 时 间 内 
的 EXTRACT-MIN 和 INSERT 操作 ( 摊 还 分 析 的 内 容 请 参见 第 17 章 )， 以 及 O(1) 时 间 内 的 
DECREASE-KEY。 通 过 同时 使 用 斐 波 那 契 堆 ( 见 第 19 章 ) 和 基数 堆 ， 这 一 时 间 界 可 以 从 OC gC) 
降低 到 O(CVigC) 。 通 过 将 Denardo 和 Fox[85] 提 出 的 多 层 桶 结构 与 前 文中 提 到 的 Thorup 设计 的 
堆 相 结合 ，Cherkassky、Goldberg 和 Silverstein[ 65 ] 进一步 把 这 一 时 间 界 降低 到 Olg%*:C)。 
Raman[291] 进 一 步 改进 这 些 结果 ， 将 其 降低 到 OCmin(lg”*+*C，lg' ten))， 对 任意 固定 值 se 之 0 


.69] ”都 成 立 。 
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Be Æ HE Fe 


对 于 包含 n MBC A AR, PRE AP SE — a E ERREA OC?) BO EPR 
法 。 虽 然 最 坏 情况 时 间 复 杂 度 很 差 ， 但 是 快速 排序 通常 是 实际 排序 应 用 中 最 好 的 选择 ， 因 为 它 的 
平均 性 能 非常 好 : 它 的 期 望 时 间 复 杂 度 是 Olen), MH Bnlgn) 中 隐 舍 的 常数 因子 非常 小 。 另 
外 ， 它 还 能 够 进行 原址 排序 ( 见 2. 1 节 )， 甚 至 在 虚 存 环境 中 也 能 很 好 地 工作 。 

7. 1 节 将 描述 快速 排序 算法 及 它 的 一 个 重要 的 划分 子 程序 。 因 为 快速 排序 的 运行 情况 比较 复 
杂 ， 在 7.2 节 中 ， 我 们 先 对 其 性 能 进行 一 个 直观 的 讨论 ， 在 本 章 的 最 后 会 给 出 一 个 准确 的 分 析 。 
在 7. 3 节 中 ， 我 们 会 介绍 一 个 基于 随机 抽样 的 快速 排序 算法 。 这 一 算法 的 期 望 时 间 复 杂 度 较 好 ， 
而 且 没 有 什么 特殊 的 输入 会 导致 最 坏 情况 的 发 生 。7. 4 节 对 这 一 随机 算法 的 分 析 表 明 ， 其 最 坏 情 
况 时 间 复 杂 度 是 O(n’); 在 元 素 互 异 的 情况 下 ， 期 望 时 间 复 杂 度 O(n ign) . 


7. 1 快速 排序 的 描述 

与 归并 排序 一 样 ， 快 速 排序 也 使 用 了 2. 3. 1 节 介 绍 的 分 治 思想 。 下 面 是 对 一 个 典型 的 子 数组 
Alp. .rj 进行 快速 排序 的 三 步 分 治 过 程 : 

分 解 : 数组 AL. .rj 被 划分 为 两 个 (可 能 为 空 ) 子 数组 ALp. .gq 一 1] 和 AlLg 十 1..rj， 使 得 
Alb. .gq 一 1 中 的 每 一 个 元 素 都 小 于 等 于 Ala], 而 ALqj 也 小 于 等 于 ALg 十 1. .rj 中 的 每 个 元 素 。 
其 中 ,计算 下 标 g 也 是 划分 过 程 的 一 部 分 。 

解决 : 通过 递归 调用 快速 排序 ， 对 子 数组 ALP. . gq 一 1j 和 ALg 十 1. .rj 进行 排序 。 

GH: 因为 子 数组 都 是 原址 排序 的 ， 所 以 不 需要 合并 操作 : 数组 ALp. .rj 已 经 有 序 。 

下 面 的 程序 实现 快速 排序 : 





l if p<r 

2 q = PARTITION(, p, r) 
3 QUICKSORT(A, p, q—1) 
4 QUICKSORT(A, q+ 1, r) 


为 了 排序 一 个 数组 A 的 全 部 元 素 ， 初 始 调用 是 QUICKSORT(A, 1, A. length). 
数组 的 划分 
算法 的 关键 部 分 是 PARTITION 过 程 ， 它 实现 了 对 子 数 组 ALD. . 门 的 原址 重 排 。 


PARTITION(A, p, r) 
1 z= Alr] 

2 i= p—l 

3 forj = ptor—l 

4 if ALj <x 

5 i 三 1 十 1 

6 exchange A[i] with AL; ] 
7 exchange A[i+ 1] with A[7] 

8 return i +1 


E T-L 显示 了 PARTITION 如 何在 一 个 包含 8 个 元 素 的 数组 上 进行 操作 的 过 程 
PARTITION 总 是 选择 一 个 xz 二 ALrj 作 为 主 元 (pivot element) ， 并 围绕 它 来 划分 子 数 组 ALp. .rj。 
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随 着 程序 的 执行 ， 数 组 被 划分 成 4 个 (可 能 有 空 的 ) 区 域 。 在 第 3 一 6 行 的 for 循环 的 每 一 轮 迭 代 的 
开始 ， 每 一 个 区 域 都 满足 一 定 的 性 质 ， 如 图 7-2 所 示 。 我 们 将 这 些 性 质 作为 循环 不 变量 : 
在 第 3 一 6 行 循环 体 的 每 一 轮 迭 代 开 始 时 ， 对 于 任意 数组 下 标 &， 有 : 
l. # pki, 则 ALk]<z. 
2. #itl<rexj—l1, Rl ALk]>z. 
171 3. Æ k=r, Rl ALk]=z. 
但 是 上 述 三 种 情况 没有 履 盖 下 标 7 到 > 一 1， 对 应 位 置 的 值 与 主 元 之 间 也 不 存在 特定 的 大 小 关系 。 
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图 7-1 在 一 个 样 例 数 组 上 的 PARTITION 操作 过 程 。 数 组 项 AL 是 主 元 zx。 浅 阴 影 部 分 的 数组 元 
素 都 在 划分 的 第 一 部 分 ， 其 值 都 不 大 于 z。 深 阴影 部 分 的 元 素 都 在 划分 的 第 二 部 分 ， 其 值 
都 大 于 zx。 无 阴影 的 元 素 则 是 还 未 分 人 这 两 个 部 分 中 的 任意 一 个 。 最 后 的 白色 元 素 就 是 主 
元 z。(a) 初 始 的 数组 和 变量 设置 。 数 组 元 素 均 未 被 放 人 前 两 个 部 分 中 的 任何 一 个 。(b) 2 
与 它 自 身 进 行 交 换 ， 并 被 放 人 了 元 素 值 较 小 的 那个 部 分 。(c) 一 (d)8 和 7 被 添加 到 元 素 值 
较 大 的 那个 部 分 中 。(e)1 和 8 进行 交换 ， 数 值 较 小 的 部 分 规模 增加 。( 人 缚 数值 3 和 7 进行 
交换 ， 数 值 较 小 的 部 分 规模 增加 。(g) 一 (h)5 和 6 HERA, MER. DES 
7 一 8 行 中 ， 主 元 被 交换 ， 这 样 主 元 就 位 于 两 个 部 分 之 间 





图 7-2 在 子 数组 ALp.. rl, PARTITION 维护 了 4 个 区 域 。ALzp.. ij 区 间 内 的 所 有 值 都 小 于 等 
于 xz，ALi 二 1..; 一 1j 区 间 内 的 所 有 值 都 大 于 xz，ALrj]= 二 x。 子 数组 AL .7 一 1j 中 的 值 可 
能 属于 任何 一 种 情况 


我 们 需要 证 明 这 个 循环 不 变量 在 第 一 轮 迭 代 之 前 是 成 立 的 ， 并 且 在 每 一 轮 迭 代 后 仍然 都 成 
172] ” 立 。 在 循环 结束 时 ， 该 循环 不 变量 还 可 以 为 证 明正 确 性 提供 有 用 的 性 质 。 

初始 化 : 在 循环 的 第 一 轮 迭 代 开 始 之 前 ,i 二 p 一 1 和 j= 二 pp。 因 为 在 p 和 i 之 间 、i 十 1 和 
一 1 之 间 都 不 存在 值 ， 所 以 循环 不 变量 的 前 两 个 条 件 显然 都 满足 。 第 1 行 中 的 赋值 操作 满足 了 
第 三 个 条 件 。 

保持 : 如 图 7-3 所 示 ， 根 据 第 4 行 中 条 件 判 断 的 不 同 结 果 ， 我 们 需要 考虑 两 种 情况 。 图 7-3(a) 
显示 当 AG oc 时 的 情况 循环 体 的 唯一 操作 是 ; 的 值 加 1。 在 7 值 增加 后 ， 对 AL 一 IJ， 条 件 
2 成 立 ， 且 所 有 其 他 项 都 保持 不 变 。 图 7-3(b) 显 示 当 AG Ic 时 的 情况 : 将 i 值 加 1， 交换 A[ 门 
和 AL;]， 再 将 7 值 加 1。 因 为 进行 了 交换 ， 现 在 有 Air, MARI 1 得 到 满足 。 类 似 地 ， 我 
们 也 能 得 到 A[D7 一 吉之 z。 因 为 根据 循环 不 变量 ， 被 交换 进 AL7 一 菇 的 值 总 是 大 于 z 的 。 
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图 7-3 PARTITION 的 一 次 迭代 中 会 有 两 种 可 能 的 情况 (COWRA Jor, PER RH 
了 的 值 加 1， 从 而 使 循环 不 变量 继续 保持 。(b) 如 果 AU], We Pei 的 值 加 1， 并 
交换 AL 四 和 AL]. 再 将 ; 的 值 加 1。 此 时 ， 循 环 不 变量 同样 得 到 保持 
终止 : 当 终止 时 ，7 一 >。 于 是 ， 数 组 中 的 每 个 元 素 都 必然 属于 循环 不 变量 所 描述 的 三 个 集合 
的 一 个 ， 也 就 是 说 ， 我 们 已 经 将 数组 中 的 所 有 元 素 划 分 成 了 三 个 集合 : 包含 了 所 有 小 于 等 于 z 的 
元 素 的 集合 、 包 含 了 所 有 大 于 z 的 元 素 的 集合 和 只 有 一 个 元 素 z 的 集合 。 
Æ PARTITION 的 最 后 两 行 中 ， 通 过 将 主 元 与 最 左 的 大 于 z 的 元 素 进行 交换 ， 就 可 以 将 主 
元 移 到 它 在 数组 中 的 正确 位 置 上 ， 并 返回 主 元 的 新 下 标 。 此 时 ，PARTITION 的 输出 满足 划分 步 
又 规定 的 条 件 。 实 际 上 ， 一 个 更 严格 的 条 件 也 可 以 得 到 满足 : 在 执行 完 QUICKSORT 的 第 2 行 
后 ，ALaj 严 格 小 于 ALg 十 1. .rj 内 的 每 一 个 元 素 。 
PARTITION 在 子 数组 ALp. .rj 上 的 时 间 复 杂 度 是 8(n)， 其 中 n= 二 =r 一 p 十 1( 见 练习 7. 1-3) 。 


练习 

7.1-1 参照 图 7-1 的 方法 ， 说明 PARTITION 在 数组 A=(13, 19, 9, 5, 12, 8, 7, 4, 21, 2, 
6，11? 上 的 操作 过 程 。 

7.1-2 HZ A[p. . 门 中 的 元 素 都 相同 时 ，PARTITION 返回 的 q 值 是 什么 ? 修改 PARTITION, 使 
得 当 数 组 ALp. .rj 中 所 有 元 素 的 值 都 相同 时 ，g= 二 [Cp 十 7)/2j。 

7.1-3 请 简要 地 证 明 : 在 规模 为 ”的 子 数组 上 ，PARTITION 的 时 间 复 杂 度 为 O(n). 

7.1-4 如 何 修改 QUICKSORT， 使 得 它 能 够 以 非 递 增 序 进 行 排序 ? 


7.2 快速 排序 的 性 能 


快速 排序 的 运行 时 间 依 赖 于 划分 是 否 平 衡 ， 而 平衡 与 否 又 依赖 于 用 于 划分 的 元 素 。 如 果 划 
分 是 平衡 的 ， 那 么 快速 排序 算法 性 能 与 归并 排序 一 样 。 如 果 划 分 是 不 平衡 的 ， 那 么 快速 排序 的 性 
能 就 接近 于 插入 排序 了 。 在 本 节 中 ， 我 们 将 给 出 划分 为 平衡 或 不 平衡 时 快速 排序 性 能 的 非 形式 
化 的 分 析 。 

最 坏 情 况 划分 

当 划 分 产生 的 两 个 子 问题 分 别 包含 了 ”一 1 个 元 素 和 0 个 元 素 时 ， 快 速 排序 的 最 坏 情况 发 生 
了 (证 明 见 7. 4.1 节 )。 不 妨 假设 算法 的 每 一 次 递归 调用 中 都 出 现 了 这 种 不 平衡 划分 。 划 分 操作 的 
时 间 复 杂 度 是 8(n) 。 由 于 对 一 个 大 小 为 0 的 数组 进行 递归 调用 会 直接 返回 ， 因 此 T(0) ==@(1)， 
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于 是 算法 运行 时 间 的 递归 式 可 以 表示 为 : 
Tn = Tn—l) 二 TO0)++O0n) 一 T(2 一 1) 十 9(C2) 

从 直观 上 来 看 ， 每 一 层 递归 的 代价 可 以 被 累加 起 来 ， 从 而 得 到 一 个 算术 级 数 ( 公 式 (A. 2)) ， 其 结 
果 为 @(xw)。 实 际 上 ， 利 用 代入 法 可 以 直接 得 到 递归 式 T(n) 二 Tl(n 一 1) 十 8@(n) 的 解 为 T(n) = 
O(n’) GARY 7. 2-1). 

因此 ， 如 果 在 算法 的 每 一 层 递 归 上 ， 划 分 都 是 最 大 程度 不 平衡 的 ， 那 么 算法 的 时 间 复 杂 度 就 
是 B(x )。 也 就 是 说 ， 在 最 坏 情 况 下 ， 快 速 排序 算法 的 运行 时 间 并 不 比 插入 排序 更 好 。 此 外 ， 当 
输入 数组 已 经 完全 有 序 时 ， 快 速 排序 的 时 间 复 杂 度 仍然 为 O). MERER F, AHF 
时 间 复 杂 度 为 O(n) 。 

最 好 情况 划分 

在 可 能 的 最 平衡 的 划分 中 ，PARTITION 得 到 的 两 个 子 问题 的 规模 都 不 大 于 n/2。 这 是 因为 
其 中 一 个 子 问题 的 规模 为 [Ln/2]， 而 男 一 个 子 问 题 的 规模 为 [n/2 | 一 1。 在 这 种 情况 下 ， 快 速 排序 
的 性 能 非常 好 。 此 时 ， 算 法 运行 时 间 的 递归 式 为 : 

T(n) = 2T(n/2) + O(n) 

在 上 式 中 ， 我 们 忽略 了 一 些 余 项 以 及 减 1 操作 的 影响 。 根 据 主 定理 (和 定理 4.1) 的 情况 2， 上 述 递 
归 式 的 解 为 To) 王 BCzlgz) 。 通 过 在 每 一 层 递归 中 都 平衡 划分 子 数 组 ， 我 们 得 到 了 一 个 渐 近 时 间 
上 更 快 的 算法 。 

平衡 的 划分 

快速 排序 的 平均 运行 时 间 更 接近 于 其 最 好 情况 ， 而 非 最 坏 情 况 。 详 细 的 分 析 可 以 参看 本 书 
7.4 节 。 理 解 这 一 点 的 关键 就 是 理解 划分 的 平衡 性 是 如 何 反 映 到 描述 运行 时 间 的 递归 式 上 的 。 

例如 ， 假 设 划 分 算法 总 是 产生 9 : 1 的 划分 ， 乍 一 看 ， 这 种 划分 是 很 不 平衡 的 。 此 时 ， 我 们 
得 到 的 快速 排序 时 间 复 杂 度 的 递归 式 为 ， 

T(n) = T(9n/10) + T(n/10) + cn 

这 里 ， 我 们 显 式 地 写 出 了 8@(n) 项 中 所 隐 舍 的 常数 c。 图 7-4 显示 了 这 一 递归 调用 所 对 应 的 递归 
树 。 注 意 ， 树 中 每 一 层 的 代价 都 是 cnx， 直到 在 深度 logoz 王 9(lgz) 处 达到 递归 的 边界 条 件 时 为 
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图 7-4 QUICKSORT 的 一 棵 递归 树 ， 其 中 PARTITION 总 是 产生 9 : 1 的 划分 。 该 树 的 时 间 复 
杂 度 为 O(nlgn)。 每 个 结 点 的 值 表示 子 问 题 的 规模 ， 每 一 层 的 代价 显示 在 最 右边 。 每 一 
层 的 代价 包含 了 OMA RREH R c 
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止 ， 之 后 每 层 代价 至 多 为 cx。 递归 在 深度 为 logion 二 BUgn) 处 终止 。 因 此 ， 快 速 排序 的 总 代价 
为 O(nlgn)。 因 此 ， 即 使 在 递归 的 每 一 层 上 都 是 9: 1 的 划分 ， 直观 上 看 起 来 非常 不 平衡 ,但 快 
速 排序 的 运行 时 间 是 O(nlgn)， 与 恰好 在 中 间 划 分 的 渐 近 运行 时 间 是 一 样 的 。 实 际 上 ， 即 使 是 
99 : 1 的 划分 ， 其 时 间 复 杂 度 仍然 是 Olen. EXE, 任何 一 种 常数 比例 的 划分 都 会 产生 深度 
为 6(lgn) 的 递归 树 ， 其 中 每 一 层 的 时 间 代 价 都 是 OC(n)。 因 此 ， 只 要 划分 是 常数 比例 的 ， 算 法 的 
运行 时 间 总 是 OC ign) . 

对 于 平均 情况 的 直观 观察 

为 了 对 快速 排序 的 各 种 随机 情况 有 一 个 清楚 的 认识 ， 我 们 需要 对 遇 到 各 种 输入 的 出 现 频率 
做 出 假设 。 快 速 排序 的 行为 依赖 于 输入 数组 中 元 素 的 值 的 相对 顺序 ， 而 不 是 某 些 特 定 值 本 身 。 与 
5. 2 节 中 对 雇用 问题 所 做 的 概率 分 析 类 似 ， 这 里 我 们 也 假设 输入 数据 的 所 有 排列 都 是 等 概率 的 。 

当 对 一 个 随机 输入 的 数组 运行 快速 排序 时 ， 想 要 像 前 面 非 形式 化 分 析 中 所 假设 的 那样 ， 在 
每 一 层 上 都 有 同样 的 划分 是 不 太 可 能 的 。 我 们 预期 某 些 划 分 会 比较 平衡 ， 而 另 一 些 则 会 很 不 平 
衡 。 例 如 ， 在 练习 7. 2-6 中 ， 会 要 求 读者 说 明 PARTITION 所 产生 的 划分 中 80% 以 上 都 比 9 1 
更 平衡 ， 而 另 20% 的 划分 则 比 9 : 1 更 不 平衡 。 

在 平均 情况 下 ，PARTITION 所 产生 的 划分 同时 混合 有 “好 ”和 “ 差 ” 的 划分 。 此 时 ， 在 与 
PARTITION 平均 情况 执行 过 程 所 对 应 的 递归 树 中 ， 好 和 差 的 划分 是 随机 分 布 的 。 基 于 直觉 ， 假 
设 好 和 差 的 划分 交替 出 现在 树 的 各 层 上 ， 并 且 好 的 划分 是 最 好 情况 划分 ， 而 差 的 划分 是 最 坏 情 
况 划分 ， 图 7-5(a) 显 示 出 了 递归 树 的 连续 两 层 上 的 划分 情况 。 在 根 结 点 处 ， 划 分 的 代价 为 x， 划 
分 产生 的 两 个 子 数组 的 大 小 为 x 一 1 和 0， 即 最 坏 情 况 。 在 下 一 层 上 ， 大 小 为 n 一 1 的 子 数 组 按 最 
好 情况 划分 成 大 小 分 别 为 (x 一 1)/2 一 1 和 (n 一 1)/2 的 子 数 组 。 在 这 里 ， 我 们 假设 大 小 为 0 的 子 数 
组 的 边界 条 件 代 价 为 1。 

在 一 个 差 的 划分 后 面 接 着 一 个 好 的 划分 ， 这 种 组 合 产生 出 三 个 子 数 组 ， 大 小 分 别 为 0、(n 一 
1)/2 一 1 和 (一 1)/2。 这 一 组 合 的 划分 代价 为 @(7) 十 @(n 一 1) 二 @(n) 。 该 代价 并 不 比 图 7-5Cb) 中 的 
更 差 。 在 图 7-5(b) 中 ， 一 层 划 分 就 产生 出 大 小 为 (x 一 1)/2 的 两 个 子 数 组 ， 划 分 代价 为 8(n)。 但 
E, 后 者 的 划分 是 平衡 的 ! 从 直观 上 看 ， 差 划分 的 代价 Bn 一 1) 可 以 被 吸收 到 好 划分 的 代价 @(n) 
中 去 ， 而 得 到 的 划分 结果 也 是 好 的 。 因 此 ， 当 好 和 差 的 划分 交替 出 现时 ， 快 速 排序 的 时 间 复 杂 度 
与 全 是 好 的 划分 时 一 样 ， 仍 然 是 Ol(nlgn)。 区 别 只 是 O 符 号 中 隐 含 的 常数 因子 要 略 大 一 些 。 在 
7.4. 2 节 中 ,我 们 将 给 出 一 个 关于 随机 输入 情况 下 快速 排序 的 期 望 时 间 复 杂 度 的 更 严格 的 分 析 。 








图 7-5 《〈a) 一 棵 快速 排序 递归 树 的 两 层 。 在 根 结 点 这 一 层 的 划分 代价 是 >， 产生 了 一 个 “ 坏 ” 的 划分 : 两 个 
子 数组 的 大 小 分 别 为 0 和 ?一 1。 对 大 小 为 n 一 1 的 子 数组 的 划分 代价 为 n 一 1， 并 产生 了 一 个 “好 ”的 
划分 : 大 小 分 别 为 (一 1)/2 一 1 和 (n 一 1)/2 的 子 数组 。(b) 一 棵 非常 平衡 的 递归 树 中 的 一 层 。 在 两 
棵 树 中 ,椭圆 阴影 所 示 的 子 问题 的 划分 代价 都 是 8(n)。 可 以 看 出 ，(a) 中 以 矩形 阴影 显示 的 待 解 决 
子 问题 的 规模 并 不 大 于 (Cb) 中 对 应 的 待 解决 子 问题 





练习 


7. 2-1 利用 代入 法 证 明 ， TEM 7.2 节 开 头 提 到 的 那样 ， 递 归 式 Tin) =T(n—-1)+ 0m) HRA 
T(n)=@(r?), 
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7.2-2 当 数 组 A 的 所 有 元 素 都 具有 相同 值 时 ，QUICKSORT 的 时 间 复 杂 度 是 什么 ? 

7.2-3 WH: 当 数 组 A 包含 的 元 素 不 同 ， 并 且 是 按 降序 排列 的 时 候 ，QUICKSORT 的 时 间 复 杂 
EX O). 

7.2-4 银行 一 般 会 按照 交易 时 间 来 记录 某 一 账户 的 交易 情况 。 但 是 ， 很 多 人 却 喜 欢 收 到 的 银行 
对 账单 是 按照 支票 号 码 的 顺序 来 排列 的 。 这 是 因为 ， 人 们 通常 都 是 按照 支票 号 码 的 顺序 
来 开 出 支票 的 ， 而 商人 也 通常 都 是 根据 支票 编号 的 顺序 兑付 支票 。 这 一 问题 是 将 按 交 易 
时 间 排 序 的 序列 转换 成 按 支票 号 排序 的 序列 ， 它 实质 上 是 一 个 对 几乎 有 序 的 输入 序列 进 
行 排序 的 问题 。 请 证 明 : 在 这 个 问题 上 ，INSERTION-SORT 的 性 能 往往 要 优 于 
QUICKSORT? 

7.2-5 假设 快速 排序 的 每 一 层 所 做 的 划分 的 比例 都 是 1 一 xc : a， 其 中 0<o 委 1/2 且 是 一 个 常数 。 
试 证 明 : 在 相应 的 递归 树 中 ， 叶 结 点 的 最 小 深度 大 约 是 一 lgn/ lga， 最 大 深度 大 约 是 

一 lgn/lg(1 一 a) (元 需 考 虑 整数 合 人 问题 )。 


*7.2-6 WUER: 在 一 个 随机 输入 数组 上 ， 对 于 任何 常数 0<~<a<1/2，PARTITION 产生 比 1 一 a:a 


更 平衡 的 划分 的 概率 约 为 1 一 2a。 


7.3 快速 排序 的 随机 化 版 本 


在 讨论 快速 排序 的 平均 情况 性 能 的 时 候 ， 我 们 的 前 提 假 设 是 : 输入 数据 的 所 有 排列 都 是 等 
概率 的 。 但 是 在 实际 工程 中 ， 这 个 假设 并 不 会 总 是 成 立 ( 见 练习 7. 2-4) 。 正 如 在 5. 3 节 中 我 们 所 
看 到 的 那样 ， 有 时 我 们 可 以 通过 在 算法 中 引入 随机 性 ， 从 而 使 得 算法 对 于 所 有 的 输入 都 能 获得 
较 好 的 期 望 性 能 。 很 多 人 都 选择 随机 化 版 本 的 快速 排序 作为 大 数据 输入 情况 下 的 排序 算法 。 

在 5. 3 节 中 ， 我 们 通过 显 式 地 对 输入 进行 重新 排列 ， 使 得 算法 实现 随机 化 。 当 然 ， 对 于 快速 
排序 我 们 也 可 以 这 人 么 做 。 但 如 果 和 采用 一 种 称 为 随机 抽样 (random sampling) 的 随机 化 技术 ， 那 么 
可 以 使 得 分 析 变 得 更 加 简单 。 与 始终 采用 ALrj 作 为 主 元 的 方法 不 同 ， 随 机 抽样 是 从 子 数组 
ALzp. .rj 中 随机 选择 一 个 元 素 作为 主 元 。 为 达到 这 一 目的 ， 首 先 将 ALrj 与 从 ALp. .rj 中 随机 选 出 
的 一 个 元 素 交换 。 通 过 对 序列 p，…, r 的 随机 抽样 ,我们 可 以 保证 主 元 元 素 z= 二 ALrj 是 等 概率 
地 从 子 数组 的 7 一 p 十 1 个 元 素 中 选取 的 。 因 为 主 元 元 素 是 随机 选取 的 ， 我 们 期 望 在 平均 情况 下 ， 
对 输入 数组 的 划分 是 比较 均衡 的 。 

对 PARTITION 和 QUICKSORT 的 代码 的 改动 非常 小 。 在 新 的 划分 程序 中 ， 我 们 只 是 在 真 
正 进 行 划 分 前 进行 一 次 交换 : 

RANDOMIZED-PARTITION (A, p, 7) 

1 i=RANDOM(p, r) 

2 exchange ALr] with ALi] 

3 return PARTITION(A, p, r) 

新 的 快速 排序 不 再 调用 PARTITION， 而 是 调用 RANDOMIZED-PARTITION: 


RANDOMIZED-QUICKSORT (A, p, r) 


l if p<cr 
2 q = RANDOMIZED-PARTITION (A, p, r) 
3 RANDOMIZED-QUICKSORT (A, p, q—1) 
4 RANDOMIZED-QUICKSORT (A, g+1, r) 
我 们 将 在 下 一 节 中 分 析 这 一 算法 。 

练习 


7.3-1 为 什么 我 们 分 析 随 机 化 算法 的 期 望 运行 时 间 ， 而 不 是 其 最 坏 运行 时 间 呢 ? 
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7.3-2 在 RANDOMIZED-QUICKSORT 的 运行 过 程 中 ， 在 最 坏 情 况 下 ， 随 机 数 生 成 希 RANDOM 
被 调用 了 多 少 次 ? 在 最 好 情况 下 呢 ? 以 符号 的 形式 给 出 你 的 答案 ? 


7.4 ”快速 排序 分 析 


在 7. 2 节 中 ,我 们 给 出 了 在 最 坏 情况 下 快速 排序 性 能 的 直观 分 析 ， 以 及 它 速度 比较 快 的 原 
因 。 在 本 节 中 ， 我 们 要 给 出 快速 排序 性 能 的 更 严谨 的 分 析 。 我 们 首先 从 最 坏 情况 分 析 开 始 ， 其 方 
法 可 以 用 于 QUICKSORT 和 RANDOMIZED-QUICKSORT 的 分 析 ， 然 后 给 出 RANDOMIZED- 
QUICKSORT 的 期 望 运行 时 间 。 


7. 4. 1 最 坏 情况 分 析 


在 7.2 节 中 ， 我 们 可 以 看 到 ， 在 最 坏 情 况 下 ， 快 速 排 序 的 每 一 层 递归 的 时 间 复 杂 度 是 B(x ) 。 
从 直观 上 来 看 ， 这 也 就 是 最 坏 情况 下 的 运行 时 间 。 下 面 来 证 明 这 一 点 。 
利用 代入 法 ( 见 4. 3 节 )， 我 们 可 以 证 明快 速 排序 的 时 间 复 杂 度 为 O(w)。 假 设 TCn) 是 最 坏 
情况 下 QUICKSORT 在 输入 规模 为 n 的 数据 集合 上 所 花费 的 时 间 ， 则 有 递归 式 : 
| Tin) = max (T) + Tn—q—1)) + On) (7.1) 
因为 PARTITION 函数 生成 的 两 个 子 问 题 的 规模 加 总 为 2 一 1， 所 以 参数 gq a 0 到 
n—l, 我 们 不 妨 猜 测 Tin)<cn’ MY, HP 为 常数 。 将 此 式 代 人 递归 式 (7. 1) 中 ， 
Tin) < „max Cag’ + c(n—q—1)*) +0) 


=ç * max Cd + (n—4q —1)*)+0(™) 


Oo< 和 一 


表达 式 gto ge eg 在 参数 取 值 区 间 0 委 q 秋 ”一 1 的 端点 上 取得 最 大 值 。 由 于 该 表达 式 对 
于 9 的 二 阶 导 数 是 正 的 ( 见 练习 7. 4-3), 我 们 可 以 得 到 表达 式 的 上 界 , max,(9 十 (n 一 ql) 和 
(7 一 D= antl, 将 其 代入 上 式 的 T(n) 中 ， 我 们 得 到 : 

T(n) < cn? — c(2n—1) + 0n) < cn’? 

因为 我 们 可 以 选择 一 个 足够 大 的 常数 c， 使 得 c(2n 一 1) 项 能 显著 大 于 8(n) 项 ， 所 以 有 Tm) = 
OC)。 在 7.2 节 中 ， 我们 看 到 了 特例 ， 当 划分 非 平衡 的 时 候 ， 快速 排序 的 运行 时 间 为 QAC). 
此 外 ， 在 练习 7. 4-1 中 ， 要 求 你 证 明 递 归 式 (7.1) 有 另 一 个 解 T(n) = 二 Q(x )。 因 此 ， 快 速 排序 的 
(最 坏 情 况 ) 运 行 时 间 是 O). 
7.4.2 期 望 运行 时 间 

我 们 已 经 从 直观 上 了 解 了 为 什么 RANDOMIZED-QUICKSORT 的 期 望 运行 时 间 是 O(n ign): 
如 果 在 递归 的 每 一 层 上 ，RANDOMIZED-PARTITION 将 任意 常数 比例 的 元 素 划 分 到 一 个 子 数组 
中 ， 则 算法 的 递归 树 的 深度 为 B(lgz) ， 并 且 每 一 层 上 的 工作 量 都 是 OC(n)。 即 使 在 最 不 平衡 的 划 
分 情况 下 ， 会 增加 一 些 新 的 层次 , 但 总 的 运行 时 间 仍 然 保 持 是 O(n lgn)。 要 准确 地 分 析 
RANDOMIZED-QUICKSORT 的 期 望 运行 时 间 ， 首 先 要 理解 划分 操作 是 如 何 进行 的 ; 然后， 在 
此 基础 之 上 ， 推 导出 期 望 运行 时 间 的 一 个 Ol(lgn) 的 界 。 有 了 这 一 期 望 运行 时 间 的 上 界 ， 再 加 上 
7. 2 节 中 得 到 的 最 好 情况 界 ln1lgn)， 我 们 就 能 得 到 OC lgn) 这 一 期 望 运 行 时 间 。 在 这 里 ,假设 
符 排 序 的 元 素 始终 是 互 异 的 。 

运行 时 间 和 比较 操作 

QUICKSORT #1 RANDOMIZED-QUICKSORT 除了 如 何 选 择 主 元 元 素 有 差异 以 外 ， 其 他 方 
面 完 全 相 因此 ， 我 们 可 以 在 讨论 QUICKSORT 和 PARTITION 的 基础 上 分 析 
DOS 其 中 ，RANDOMIZED-QUICKSORT 随机 地 从 子 数组 中 选择 元 
素 作为 主 元 元 素 。 
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QUICKSORT 的 运行 时 间 是 由 在 PARTITION 操作 上 所 花费 的 时 间 决 定 的 。 每 次 对 
PARTITION 的 调用 时 ， 都 会 选择 一 个 主 元 元 素 ， 而 且 该 元 素 不 会 被 包含 在 后 续 的 对 
QUICKSORT 和 PARTITION 的 递归 调用 中 。 因 此 ， 在 快速 排序 算法 的 整个 执行 期 间 ， 至 多 只 
可 能 调用 PARTITION 操作 nn 次。 调用 一 次 PARTITION 的 时 间 为 0(1) 再 加 上 一 段 循环 时 间 。 
这 段 时 间 与 第 3 一 6 行 中 for 循环 的 迭代 次 数 成 正比 。 这 一 for 循环 的 每 一 轮 迭 代 都 要 在 第 4 行进 
行 一 次 比较 : 比较 主 元 元 素 与 数组 A 中 男 一 个 元 素 。 因 此 ， 如 果 我 们 可 以 统计 第 4 行 被 执行 的 
总 次 数 ， 就 能 够 给 出 在 QUICKSORT 的 执行 过 程 中 ，for 循环 所 花 时 间 的 界 了 。 

引 理 7.1 当 在 一 个 包含 nn 个 元 素 的 数组 上 运行 QUICKSORT 时 ， 假 设 在 PARTITION 的 第 
4 行 中 所 做 比较 的 次 数 为 X, WMA QUICKSORT 的 运行 时 间 为 O(n 十 XX)。 

证 明 根据 上 面 的 讨论 ， 算 法 最 多 对 PARTITION 调用 ”次 。 每 次 调用 都 包括 一 个 固定 的 工 
作 量 和 执行 符 干 次 for 循环 。 在 每 一 次 for 循环 中 ， 都 要 执行 第 4 行 。 a 

因此 ， 我 们 的 目标 是 计算 出 X， 即 所 有 对 PARTITION 的 调用 中 ， 所 执行 的 总 的 比较 次 数 。 
我 们 并 不 打算 分 析 在 每 一 次 PARTITION 调用 中 做 了 多 少 次 比较 ， 而 是 希望 能 够 推导 出 关于 总 
的 比较 次 数 的 一 个 界 。 为 此 ， 我 们 必须 了 解 算法 在 什么 时 候 对 数组 中 的 两 个 元 素 进 行 比较 ， 什 么 
时 候 不 进行 比较 。 为 了 便于 分 析 ， 我 们 将 数组 A 的 各 个 元 素 重新 命名 为 z1 ，z; ，…，z,， 其 中 z 
是 数组 A 中 第 i 小 的 元 素 。 此 外 ， 我 们 还 定义 Li {zis Zitis """， z;} 为 Zi 与 Zj 之 间 ( 含 1 和 7 ) 
的 元 素 集 合 。 

算法 什么 时 候 会 比较 z 和 xz; 呢 ? 为 了 回答 这 个 问题 ， 我 们 首先 注意 到 每 一 对 元 素 至 多 比较 
一 次 。 为 什么 呢 ? 因为 各 个 元 素 只 与 主 元 元 素 进 行 比 较 ， 并 且 在 某 一 次 PARTITION 调用 结束 
之 后 ， 该 次 调用 中 所 用 到 的 主 元 元 素 就 再 也 不 会 与 任何 其 他 元 素 进 行 比较 了 。 

我 们 的 分 析 要 用 到 指示 器 随机 变量 ( 见 5. 2 节 )。 和 定义 

Xj T I{z; y Zj HITER) 
其 中 我 们 考虑 的 是 比较 操作 是 否 在 算法 执行 过 程 中 任意 时 间 发 生 ， 而 不 是 局 限 在 循环 的 一 次 迭 
RRX PARTITION 的 一 次 调用 中 是 否 发 生 。 因 为 每 一 对 元 素 至 多 被 比较 一 次 ， 所 以 我 们 可 以 
很 容易 地 刻画 出 算法 的 总 比较 次 数 : 


x= 3) Xs 
对 上 式 两 边 取 期 望 ， 再 利用 期 望 值 的 线性 特性 和 引 理 5 1， 可 以 得 到 : 


E(X) = > Èx, J= > ] = 5) S) Prlz 与 z; 进行 比较 } (7. 2) 


上 式 中 的 Pr{z 与 z; 进行 比较 } 还 需要 进 一 ates 在 我 们 的 分 析 中 ， 假设 RANDOMIZED- 
PARTITION 随机 且 独 立地 选择 主 元 。 

让 我 们 考虑 两 个 元 素 何 时 不 会 进行 比较 的 情况 。 考 虑 快速 排序 的 一 个 输入 ， 它 是 由 数字 1 到 
10 所 构成 (顺序 可 以 是 任意 的 ) ， 并 假设 第 一 个 主 元 是 7。 那 么 ， 对 PARTITION 的 第 一 次 调用 就 
将 这 些 输 入 数字 划分 成 两 个 集合 : {1，2，3，4，5，6} 和 {8，9，10}。 在 这 一 过 程 中 ， 主 元 7 要 
与 所 有 其 他 元 素 进行 比较 。 但 是 ， 第 一 个 集合 中 任何 一 个 元 素 ( 例 如 2) 没有 (也 不 会 ) 与 第 二 个 集 
合 中 的 任何 元 素 ( 例 如 9) 进行 比较 。 

通常 我 们 假设 每 个 元 素 的 值 是 互 异 的， 因此 ， 一旦 一 个 满足 二 <z<z 的 主 元 xz 被 选择 后 ， 
我 们 就 知道 z: 和 xz; 以 后 再 也 不 可 能 被 比较 了 。 男 一 种 情况 ， 如 果 z; 在 2Z; 中 的 所 有 其 他 元 素 之 前 
被 选 为 主 元 ， 那 么 z 就 将 与 Z; 中 除了 它 自身 以 外 的 所 有 元 素 进行 比较 。 类 似 地 ， 如 果 zz EZ; 
中 其 他 元 素 之 前 被 选 为 主 元 ， 那 么 z 将 与 Zi; 中 除 自身 以 外 的 所 有 元 素 进 行 比较 。 在 我 们 的 例子 
中 ,， 值 7 和 9 要 进行 比较 ， 因 为 7 是 Zi,, 中 被 选 为 主 元 的 第 一 个 元 素 。 与 之 相反 的 是 , 值 2 和 9 
则 始终 不 会 被 比较 ， 因 为 从 2Z,, 中 选择 的 第 一 个 主 元 为 7。 因 此 ，z; 与 zx; 会 进行 比较 ， 当 且 仅 当 
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Z; 中 将 被 选 为 主 元 的 第 一 个 元 素 是 z; RË z. 
我 们 现在 来 计算 这 一 事件 发 生 的 概率 。 在 Zy 中 的 某 个 元 素 被 选 为 主 元 之 前 ， 整 个 集合 Zi 的 
元 素 都 属于 某 一 划分 的 同一 分 区 。 因 此 ，2r 中 的 任何 元 素 都 会 等 可 能 地 被 首先 选 为 主 元 。 因 为 
集合 Z; 中 有 j 一 i 十 1 个 元 素 ， 并 且 主 元 的 选择 是 随机 且 独 立 的 ， 所 以 任何 元 素 被 首先 选 为 主 元 
的 概率 是 1/(j 一 i 十 1)。 于 是 ， RE: 
Pr{z; 与 Zj 进行 比较 } Pr{z; R z; 是 集合 Qi 中 选 出 的 第 一 个 主 元 } 
= Pr(z; ERE Zy 中 选 出 的 第 一 个 主 元 } 

十 Pr{z; 是 集合 Zi 中 选 出 的 第 一 个 主 元 ) 

SS ere m (7.3) L183 
上 式 中 第 二 行 成 立 的 原因 在 于 其 中 涉及 的 两 个 事件 是 互 斥 的 。 将 公式 (7.2) 和 公式 (7. 3) 综 合 起 
来 ， 有 : | 
| FLX] = 3 > 二 


i=] j=rH1 


在 求 这 个 累加 和 时 ， 可 以 将 变量 做 个 变换 (k==j 一 让 ， 并 利用 公式 (A. 7) 中 给 出 的 有 关 调和 级 数 的 
界 ， 得 到 : 


1 一 
ELX] = peste = pap) < 3) >) 2 = = 2) Ogn) = O(nlgn) (7.4) 


于 是 ， 我 们 可 以 得 出 结论 ， 使 用 RANDOMIZED-PARTITION,， 在 输入 元 素 互 异 的 情况 下 ， 快 速 
排序 算法 的 期 望 运行 时 间 为 O(nlgn)。 


练习 


7.4-1 证 明 : 在 递归 式 
T(n) = max (T) 十 TOn 一 9 一 1D) +O) 
H, TM=). 


7.4-2 证 明 ; 在 最 好 情况 下 ， 快 速 排序 的 运行 时 间 为 QCnlgn)。 184 
7.4-3 WH: Æq=0, 1, 1, n 一 1 区 间 内 ， 当 g 二 0 或 二 n 一 1 时 , 9g 十 (2 一 9 一 1)” 取 得 最 
Ki. 


7. 4-4 证 明 ，RANDOMIZED-QUICKSORT 期 望 运行 时 间 是 Qalen). 

7.45 ” 当 输 入 数据 已 经 “几乎 有 序 ” 时 ， 插 入 排序 速度 很 快 。 在 实际 应 用 中 ， 我 们 可 以 利用 这 一 
特点 来 提高 快速 排序 的 速度 。 当 对 一 个 长 度 小 于 & 的 子 数组 调用 快速 排序 时 ， 让 它 不 做 
任何 排序 就 返回 。 当 上 层 的 快速 排序 调用 返回 后 ， 对 整个 数组 运行 插入 排序 来 完成 排序 
过 程 。 试 证 明 : 这 一 排序 算法 的 期 望 时 间 复 杂 度 为 OCnk 十 nlgCn/&))。 分 别 从 理论 和 实践 
的 角度 说 明 我 们 应 该 如 何 选择 k? 

*7. 4-6 ”考虑 对 PARTITION 过 程 做 这 样 的 修改 : 从 数组 A 中 随机 选 出 三 个 元 素 ， 并 用 这 三 个 元 
素 的 中 位 数 ( 即 这 三 个 元 素 按 大 小 排 在 中 间 的 值 ) 对 数组 进行 划分 。 求 以 a 的 函数 形式 表 
示 的 、 最 坏 划 分 比例 为 a : (1 一 a) 的 近似 概率 ， 其 中 0 二 a 二 1。 


思考 题 


7-1 《Hoare 划分 的 正确 性 ) 本 章 中 的 PARTITION 算法 并 不 是 其 最 初 的 版 本 。 下 面 给 出 的 是 
最 早 H C. R. Hoare 所 设计 的 划分 算法 : 


HOARE-PARTITION(A, p, 7) 
l z = Alp] 
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2 i=p—l 

3 7 一 ”十 1 

4 while TRUE 

5 repeat 

6 j=j] 
7 until ALj J<x 
8 


repeat 
9 i=it+l 
10 until AL; ] >x 
11 if i<j 
12 exchange A[i] with AL; ] 
13 else return J 


a. 试 说 明 HOARE-PARTITION 在 数组 A=(13, 19, 9, 5, 12, 8, 7, 4, 11, 2, 6, 2DE 
的 操作 过 程 ， 并 说 明 在 每 一 次 执行 第 4~13 FF while 循环 时 数组 元 素 的 值 和 辅助 变量 的 值 。 

后 续 的 三 个 问题 要 求 读 者 仔细 论证 HOARE-PARTITION 的 正确 性 。 在 这 里 假设 子 数 
组 ALp. .rj 至 少 包 含 来 2 个 元 素 ， 试 证 明 下 列 问题 : 

b. 下 标 ;和 7 可 以 使 我 们 不 会 访问 在 子 数组 A[zp. .rj 以 外 的 数组 A 的 元 素 。 

c. 当 HOARE-PARTITION 结束 时 ， 它 返回 的 值 j 满足 p<j<r. 

d. 当 HOARE-PARTITION 结束 时 ，A[zp. . 门 中 的 每 一 个 元 素 都 小 于 或 等 于 A[7 十 1.. 门 中 
的 元 素 。 

在 7.1 节 的 PARTITION 过 程 中 ， 主 元 (原来 存储 在 ALzj 中 ?是 与 它 所 划分 的 两 个 分 区 
分 离 的 。 与 之 对 应 ， 在 HOARE-PARTITION 中 ， 主 元 (原来 存储 在 ALp 中) 是 存在 于 分 区 
AL. .jj 或 ALj 十 1. .rj 中 的 。 因 为 有 <7<r， 所 以 这 一 划分 总 是 非 平 凡 的 。 

e 利用 HOARE-PARTITION， 重 写 QUICKSORT 算法 。 

(针对 相同 元 素 值 的 快速 排序 ) 在 7.4.2 节 对 随机 化 快速 排序 的 分 析 中 ， 我 们 假设 输入 元 

素 的 值 是 互 异 的 ， 在 本 题 中 ， 我 们 将 看 看 如 果 这 一 假设 不 成 立会 出 现 什 么 情况 。 

a 如 果 所 有 输入 元 素 的 值 都 相同 ， 那 么 随机 化 快速 排序 的 运行 时 间 会 是 多 少 ? 

b. PARTITION 过 程 返回 一 个 数组 下 标 9， 使 得 ALp. .gq 一 1j 中 的 每 个 元 素 都 小 于 或 等 于 
Alq]. 而 ALgq 十 1. .rj] 中 的 每 个 元 素 都 大 于 ALga]. Eik PARTITION 代码 来 构造 一 个 新 
的 PARTITION'(A，p，r)， 它 排列 ALD. . 门 的 元 素 ， 返 回 值 是 两 个 数组 下 标 g 和 上 ， 其 
中 Pg, 且 有 
。 Alq. .中 的 所 有 元 素 都 相等 。 

。 A[p..g 一 1j] 中 的 每 个 元 素 都 小 于 AL]. 

。 Att. .rj 中 的 每 个 元 素 都 大 于 Ala). 

与 PARTITION 类 似 ， 新 构造 的 PARTITION’ AY Ay la] ZU RFE B(r 一 力 )。 

c 将 RANDOMIZED-QUICKSORT 过 程 改 为 调用 PARTITION'， 并 重新 命名 为 
RANDOMIZED-QUICKSORT' 。 修 改 QUICKSORT 的 代码 构造 一 个 新 的 QUICKSORT’ 
(A, p, r), €W RANDOMIZED-PARTITION’, 并且 只 有 分 区 内 的 元 素 互 不 相同 的 
时 候 才 做 递归 调用 。 

d. 在 QUICKSORT 中 ， 应 该 如 何 改变 7. 4. 2 节 中 的 分 析 方 法 ， 从 而 避免 所 有 元 素 都 是 互 异 
的 这 一 假设 ? 

( 另 一 种 快速 排序 的 分 析 方 法 ) 对 随机 化 版 本 的 快速 排序 算法 ， 还 有 另 一 种 性 能 分 析 方 法 ， 

这 一 方法 关注 于 每 一 次 单独 递归 调用 的 期 望 运行 时 间 ， 而 不 是 比较 的 次 数 。 

a. 证 明 : 给 定 一 个 大 小 为 n 的 数组 ， 任 何 特定 元 素 被 选 为 主 元 的 概率 为 1/n。 利 用 这 一 点 
来 定义 指示 器 随机 变量 X; 二 I( 第 i 小 的 元 素 被 选 为 主 元 } ，ELX; | 是 什么 ? 


7-4 
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b. 设 T(n) 是 一 个 表示 快速 排序 在 一 个 大 小 为 n 的 数组 上 的 运行 时 间 的 随机 变量 ， 试 证 明 : 


ELT(n)] = E| 3} X,(Tq— D+ Tn 9) + O@)) | (7.5) 
c 证 归公 式 (7 5) 可 以 重 写 为 ， 
E[T(n)] = 2 ZETO (7.6) 
d. ES. 
Slek < ort lgn— =r! (7.7) 


(提示 : 可 以 将 该 累加 式 分 成 两 个 部 分 ， 一 部 分 是 & 王 2，3，…，| xz/21 一 1， 另 一 部 分 是 

& 一 | /2|，…，7 一 1。) 
e 利用 公式 (7.7) 中 给 出 的 界 证 明 ， 公式 (7.6) 中 的 递归 式 有 解 ELT(n) ]=O(nlgn). (4 

示 : 使 用 代入 法 ， 证 明 对 于 某 个 正常 数 a 和 足够 大 的 n， 有 ELT) ]<an lgn.) 
(快速 排序 的 栈 深度 ) 7.1 节 中 的 QUICKSORT 算法 包含 了 两 个 对 其 自身 的 递归 调用 。 在 
调用 PARTITION 后 ，QUICKSORT 分 别 递归 调用 了 左边 的 子 数组 和 右边 的 子 数组 。 
QUICKSORT 中 的 第 二 个 递归 调用 并 不 是 必须 的 。 我 们 可 以 用 一 个 循环 控制 结构 来 代替 它 。 
这 一 技术 称 为 尾 递 归 ， 好 的 编译 器 都 提供 这 一 功能 。 考 虑 下 面 这 个 版 本 的 快速 排序 ， 它 模 
拟 了 尾 递归 情况 : 


TAIL-RECURSIVE-QUICKSORT(A, p, r) 


1 whilep< r 

2 _¥# Partition and sort left subarray. 

3 q= PARTITION(A, p, r) 

4 _ TAIL-RECURSIVE-QUICKSORT(A, p, q—1) 
5 ' p=qtl 


a 证 明 :; TAIL-RECURSIVE-QUICKSORT(A, 1, A. length) 能 正确 地 对 数组 A 进行 排序 。 
编译 器 通常 使 用 栈 来 存储 递归 执行 过 程 中 的 相关 信息 ， 包 括 每 一 次 递归 调用 的 参数 等 。 
最 新 调用 的 信息 存在 栈 的 顶部 ， 而 第 一 次 调用 的 信息 存在 栈 的 底部 。 当 一 个 过 程 被 调用 
时 ， 其 相关 信息 被 压 入 栈 中 ; 当 它 结束 时 ， 其 信息 则 被 弹出 。 因 为 我 们 假设 数组 参数 是 
用 指针 来 指示 的 ， 所 以 每 次 过 程 调用 只 需要 O(1) 的 栈 空间 。 栈 深度 是 在 一 次 计算 中 会 用 
到 的 栈 空间 的 最 大 值 。 

b 请 描述 一 种 场景 ， 使 得 针对 一 个 包含 n 个 元 素数 组 的 TAIL-RECURSIVE-QUICKSORT 
MRR E O(n). 

c {r TAIL-RECURSIVE-QUICKSORT 的 代码 ， 使 其 最 坏 情况 下 栈 深度 是 @(lgn)， 并 且 
能 够 保持 OC(nlgn) 的 期 望 时 间 复 杂 度 。 

(三 数 取 中 划分 ) 一 种 改进 RANDOMIZED-QUICKSORT 的 方法 是 在 划分 时 ， 要 从 子 数 组 

中 更 细致 地 选择 作为 主 元 的 元 素 ( 而 不 是 简单 地 随机 选择 )。 常 用 的 做 法 是 三 数 取 中 法 : 从 

子 数组 中 随机 选 出 三 个 元 素 ， 取 其 中 位 数 作为 主 元 ( 见 练习 7. 4-6) 。 对 于 这 个 问题 的 分 析 ， 

我 们 不 妨 假设 数组 ALL. .nj] 的 元 素 是 互 异 的 且 有 xz 之 3。 我 们 用 A'[1. .nj 来 表示 已 排 好 序 的 

数组 用 三 数 取 中 法 选择 主 元 z， 并 定义 p=Priz=A'[i]}. 

a. 对 于 i= Zy 35 e, n—l, 请 给 出 以 n 和 i 表示 的 p: 的 准确 表达 式 ( 注 意 pi = 二 力 , 一 0) 。 

b. 与 平凡 实现 相 比 ， 在 这 种 实现 中 ， 选 择 zx 一 AU"* 十 1)/2 丫 ( 即 ALI... Tenants 
为 主 元 的 概率 增加 了 多 少 ? 假设 noo, 请 给 出 这 一 概率 的 极限 值 。 

c 如 果 我 们 定义 一 个 “好 ”划分 意味 着 主 元 选择 A'L], HP n/3 志 12n/3。 与 平凡 实现 
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相 比 ， 这 种 实现 中 得 到 一 个 好 划分 的 概率 增加 了 多 少 ? 提示: 用 积分 来 近似 累加 和 。) 

d. 证 明 : 对 快速 排序 而 言 ， 三 数 取 中 法 只 影响 其 时 间 复 杂 度 Qlnlgn) 的 常数 项 因子 。 

7-6 〈 对 区 间 的 模糊 排序 ) 考虑 这 样 的 一 种 排序 问题 : 我 们 无 法 准确 知道 待 排序 的 数字 是 什么 。 

但 对 于 每 一 个 数 ， 我 们 知道 它 属于 实数 轴 上 的 某 个 区 间 。 也 就 是 说 ， 我 们 得 到 了 nn 个 形 如 

[za ， 的 的 闭 区 间 ， 其 中 w<&。 我 们 的 目标 是 实现 这 些 区 间 的 模糊 排序 ， 即 对 j 一 1，2，…， 六 

AE AM — PS ERB ES a1 stn ets ty) s HFE c E La; sb; | TH hg Sa Lec o 

a 为 n 个 区 间 的 模糊 排序 设计 一 个 随机 算法 。 你 的 算法 应 该 具有 算法 的 一 般 结构 ， 它 可 以 
对 左边 端点 ( 即 a; 的 值 ) 进 行 快速 排序 ， 同 时 它 也 能 利用 区 间 的 重 秋 性质 来 改善 时 间 性 
能 。( 当 区 间 重 从 越 来 越 多 的 时 候 ， 区 间 的 模糊 排序 问题 会 变 得 越 来 越 容易 。 你 的 算法 应 
能 充分 利用 这 一 重 盖 性 质 。) 

b. WH: 在 一 般 情 况 下 ， 你 的 算法 的 期 望 运行 时 间 为 (nlgn)。 但 是 ， 当 所 有 的 区 间 都 有 
重生 的 时 候 ， 算法 的 期 望 运行 时 间 为 Om) (也 就 是 说 ， 存 在 一 个 值 zx， 对 所 有 的 ;， 都 有 
ZE[Lapj。) 你 的 算法 不 必 显 式 地 检查 这 种 情况 ， 而 是 随 着 重 夺 情况 的 增加 ， 算 法 的 性 

189 能 自然 地 提高 。 
本 章 注 记 
快速 排序 是 由 Hoare 170] 首先 提出 的 。 思 考题 7-1 中 给 出 了 Hoare 的 原始 版 本 。7. 1 节 中 给 
出 的 PARTITION 是 由 N. Lomuto 提出 的 。 而 7.4 节 中 的 分 析 是 由 Avrim Blum 给 出 的 。 
SedgewickL305]j 和 BentleyL43j 都 对 实现 的 细节 及 其 影响 给 出 了 很 好 的 描述 。 
Mcllroy[248j] 说 明了 如 何 设 计 出 一 个 “杀手 级 对 手 ”(killer adversary)， 它 能 够 产生 一 个 数组 ， 


在 这 个 数组 上 ， 快 速 排 序 的 几乎 所 有 实现 的 运行 时 间 都 是 @(x* )。 如 果实 现 是 随机 化 的 ， 这 一 对 
手 可 以 在 观察 到 快速 排序 算法 的 随机 选择 之 后 ， 再 产生 出 这 一 数组 。 
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线性 时 间 排 序 


到 目前 为 止 ， 我 们 已 经 介绍 了 几 种 能 在 O(nlgn) 时 间 内 排序 个 数 的 算法 。 归 并 排序 和 堆 排 
序 达到 了 最 坏 情 况 下 的 上 界 ; 快速 排序 在 平均 情况 下 达到 该 上 界 。 而 且 ， 对 于 这 些 算法 中 的 每 一 
个 ， 我 们 都 能 给 出 ”个 输入 数值 ， 使 得 该 算法 能 在 QC(nlgn) 时 间 内 完成 。 

这 些 算法 都 有 一 个 有 趣 的 性 质 ， 在 排序 的 最 终结 果 中 ， 各 元 素 的 次 序 依赖 于 它们 之 间 的 比 
较 。 我 们 把 这 类 排序 算法 称 为 比较 排序 。 到 目前 为 止 ， 我们 介绍 的 所 有 排序 算法 都 是 比较 排序 。 

8. 1 节 将 证 明 对 包含 个 元 素 的 输入 序列 来 说 ， 任 何 比较 排序 在 最 坏 情况 下 都 要 经 过 Qnlgn) 
次 比较 。 因 此 ， 归 并 排序 和 堆 排 序 是 渐 近 最 优 的 ， 并 且 任 何 已 知 的 比较 排序 最 多 就 是 在 常数 因子 
上 优 于 它们 。 

8.247, 8.3 节 和 8. 4 节 讨 论 三 种 线性 时 间 复杂 度 的 排序 算法 : 计数 排序 、 基 数 排序 和 桶 排 
序 。 当 然 ， 这 些 算法 是 用 运算 而 不 是 比较 来 确定 排序 顺序 的 。 因 此 ， 下 界 Qnlgn) 对 它们 是 不 适 
用 的 。 


8.1 排序 算法 的 下 界 

在 一 个 比较 排序 算法 中 ， 我 们 只 使 用 元 素 间 的 比较 来 获得 输入 序列 (a as s ad PRITE 
素 间 次 序 的 信息 。 也 就 是 说 ， 给 定 两 个 元 素 a; 和 a;， 可 以 执行 a; 过 a;、ai; 二 a;、a; 二 a;、ai 之 a; 
RH aa; 中 的 一 个 比较 操作 来 确定 它们 之 间 的 相对 次 序 。 我 们 不 能 用 其 他 方法 观察 元 素 的 值 
或 者 它们 之 间 的 次 序 信息 。 

不 失 一 般 性 ， 在 本 节 中 ， 我们 不 妨 假设 所 有 的 输入 元 素 都 是 互 异 的 。 给 定 了 这 个 假设 后 ， 
a; —Q; 的 比较 就 没有 意义 了 。 因此 ， 我 们 可 以 假设 不 需要 这 种 比较 。 同时 ， 注意 到 Qi< 0i、 a; 4; x 
a >a; Ma <a 都 是 等 价 的 ， 因 为 通过 它们 所 得 到 的 关于 a Ma, 的 相对 次 序 的 信息 是 相同 的 。 
这 样 ， 又 可 以 进一步 假设 所 有 比较 采用 的 都 是 aa 形式 。 

决策 树 模型 

比较 排序 可 以 被 抽象 为 一 棵 决策 树 。 决 策 树 
是 一 棵 完全 二 叉 树 ， 它 可 以 表示 在 给 定 输入 规模 
情况 下 ， 某 一 特定 排序 算法 对 所 有 元 素 的 比较 操 
作 。 其 中 ， 控 制 、 数 据 移动 等 其 他 操作 都 被 忽略 
了 。 图 8-1 显示 了 2.1 节 中 插入 排序 算法 作用 于 
包含 三 个 元 素 的 输入 序列 的 决策 树 情况 。 

在 决策 树 中 ， 每 个 内 部 结 点 都 以 i : j 标记 ， 








标记 为 i: j 的 内 部 结 点 表示 a; Maj 之 


人 间 的 比较 。 排 列 为 (r(1)，r(2)，…， 
元 素 个 数 。 每 个 叶 结 点 上 都 标注 一 个 序列 (r(1)， r(72) > 的 叶 结 点 表示 得 到 的 顺序 ara S 
r(2)，…，x(7z) (序列 的 相关 背景 知识 参阅 C. 1 arD L anim 。 加 了 阴影 的 路 径 表示 
节 )。 排 序 算法 的 执行 对 应 于 一 条 从 树 的 根 结 点 dB th eR 
到 叶 结 点 的 路 径 。 每 一 个 内 部 结 点 表示 一 次 比较 行 排序 时 所 做 的 决策 ; 叶 结 点 上 的 排列 

ee ey P 《3，1，2) 表 示 排 序 的 结果 是 a55 
ai; o 庄子 树 表 示 一 旦 我 们 确定 a:<o 之 后 的 a 二 6 才 az 二 8。 对 于 输入 元 素来 说 ， 共 
后 续 比 连 ， 右 子 树 则 表示 在 确定 了 a >a; 后 的 后 有 3! =6 种 可 能 的 排列 ， 因 此 决策 树 


续 比 较 。| 当 到 达 一 个 叶 结 点 时 ， 表 示 排 序 算法 已 至 少 包 含 6 个 叶 结 点 
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经 确定 了 一 个 顺序 an) Kano Zann © 因为 任何 正确 的 排序 算法 都 能 够 生成 输入 的 每 一 个 排 
列 ， 所 以 对 一 个 正确 的 比较 排序 算法 来 说 ，n 个 元 素 的 n! 种 可 能 的 排列 都 应 该 出 现在 决策 树 的 
叶 结 点 上 。 而 且 ， 每 一 个 叶 结 点 都 必须 是 可 以 从 根 结 点 经 由 某 条 路 径 到 达 的 ， 该 路 径 对 应 于 比较 
排序 的 一 次 实际 执行 过 程 (我 们 称 这 种 叶 结 点 为 “可 达 的 ”)。 因 此 ， 在 后 续 内 容 中 ， 我 们 将 只 考虑 
每 一 种 排列 都 是 一 个 可 达 的 叶 结 点 的 决策 树 。 

最 坏 情 况 的 下 界 

在 决策 树 中 ， 从 根 结 点 到 任意 一 个 可 达 叶 结 点 之 间 最 长 简单 路 径 的 长 度 ， 表 示 的 是 对 应 的 
排序 算法 中 最 坏 情况 下 的 比较 次 数 。 因 此 ， 一 个 比较 排序 算法 中 的 最 坏 情 况 比 较 次 数 就 等 于 其 
决策 树 的 高 度 。 同 时 ， 当 决策 树 中 每 种 排列 都 是 以 可 达 的 叶 结 点 的 形式 出 现时 ， 该 决策 树 高 度 的 
下 界 也 就 是 比较 排序 算法 运行 时 间 的 下 界 。 下 面 的 定理 给 出 这 样 的 一 个 下 界 。 

定理 8. 1 在 最 坏 情 况 下 ， 任 何 比较 排序 算法 都 需要 做 QCnlgn) 次 比较 。 

证 明 根据 前 面 的 讨论 ， 对 于 一 棵 每 个 排列 都 是 一 个 可 达 的 叶 结 点 的 决策 树 来 说 ， 树 的 高 
度 完 全 可 以 被 确定 。 考 虑 一 棵 高 度 为 h、 具 有 /个 可 达 叶 结 点 的 决策 树 ， 它 对 应 一 个 对 n 个 元 素 
所 做 的 比较 排序 。 因 为 输入 数据 的 n! 种 可 能 的 排列 都 是 叶 结 点 ， 所 以 有 n! 三 1。 由 于 在 一 棵 高 
为 h 的 二 又 树 中 ， 叶 结 点 的 数目 不 多 于 2 ， 我 们 得 到 : 

nl SIs” 
对 该 式 两 边 取 对 数 ， 有 
h> lg(n!) (因为 lg 函数 是 单调 递增 的 ) 
= Qnlgn) (由 公式 (3. 19)) E 

推论 8.2 堆 排 序 和 归并 排序 都 是 渐 近 最 优 的 比较 排序 算法 。 

证 明 ” 堆 排 序 和 归并 排序 的 运行 时 间 上 界 为 O(nlgn)， 这 与 定理 8. 1 给 出 的 最 坏 情况 的 下 界 
Qnlgn) 是 一 致 的 。 E 


练习 
8.1-1 在 一 棵 比较 排序 算法 的 决策 树 中 ， 一 个 叶 结 点 可 能 的 最 小 深度 是 多 少 ? 
8.1-2 不 用 斯 特 林 近似 公式 ， 给 出 lgCn1) 的 渐 近 紧 确 界 。 利 用 A. 2 节 中 介绍 的 技术 来 求 累加 和 


>，1lg& 。 

8.1-3 证 明 : 对 nl! 种 长 度 为 ”的 输入 中 的 至 少 一 半 ， 不 存在 能 达到 线性 运行 时 间 的 比较 排序 算 
法 。 如 果 只 要 求 对 1/n 的 输入 达到 线性 时 间 呢 ? 1/2" 呢 ? 

8.1-4 假设 现 有 一 个 包含 ”个 元 素 的 竺 排序 序列 。 该 序列 由 nk 个子 序列 组 成 ， 每 个 子 序列 包 
含 & 个 元 素 。 一 个 给 定子 序列 中 的 每 个 元 素 都 小 于 其 后 继 子 序 列 中 的 所 有 元 素 ， 且 大 于 
其 前 驱 子 序列 中 的 每 个 元 素 。 因 此 ， 对 于 这 个 长 度 为 的 序列 的 排序 转化 为 对 n/k 个子 
序列 中 的 个 元 素 的 排序 。 试 证 明 : 这 个 排序 问题 中 所 需 比 较 次 数 的 下 界 是 O(n lg&) 。 
(提示 : 简单 地 将 每 个 子 序列 的 下 界 进行 合并 是 不 严谨 的 。) 


8.2 计数 排序 


计数 排序 假设 个 输入 元 素 中 的 每 一 个 都 是 在 0 到 区 间 内 的 一 个 整数 ， 其 中 & 为 某 个 整 
数 。 当 二 O(n) 时， 排序 的 运行 时 间 为 OC). 

计数 排序 的 基本 思想 是 . 对 每 一 个 输入 元 素 zx， 确定 小 于 的 元 素 个 数 。 利 用 这 一 信息 ， 就 
可 以 直接 把 z 放 到 它 在 输出 数组 中 的 位 置 上 了 。 人 例如， 如 果 有 17 个 元 素 小 于 z, Nc 就 应 该 在 
第 18 个 输出 位 置 上 。 当 有 几 个 元 素 相 同时 ， 这 一 方案 要 略 做 修改 。 因 为 不 能 把 它们 放 在 同一 个 
输出 位 置 上 。 
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在 计数 排序 算法 的 代码 中 ， 假 设 输入 是 一 个 数组 A[1. .n]，A. length=n. 我 们 还 需要 两 个 
数组 ，B[1. .要 存放 排序 的 输出 ，Cc[0. . 条 提供 临时 存储 空间 。 


COUNTING-SORT(A, B, &) 

1 let Cfo. . k] be a new array 
for i = 0 tok 
‘CLi] = 0 
for j = 1 to A. length 
CLAGIJJ=CLALJI+1 
/CLi] now contains the number of elements equal to 7. 
for i = 1 tok 

| ClLiJ=Cli]+Cli-—1] 


#CUi] now contains the number of elements less than or equal to 2. 





oOo won Dm n e U N 


for j = A. length downto 1 
' BLCLALJJJ=AL]J 

12 CLAD]J=CLAL;]J-—1 

图 8-2 图 示 了 计数 排序 的 运行 过 程 。 在 第 2~3 行 for 循环 的 初始 化 操作 之 后 ， 数 组 C 的 值 全 
被 置 为 0; 第 4~5 行 的 for 循 环 遍历 每 一 个 输入 元 素 。 如 果 一 个 输入 元 素 的 值 为 i， 就 将 CLz] 值 
加 1。 于 是 ， 在 第 5 行 执行 完 后 ，C[ 站 中 保存 的 就 是 等 于 i 的 元 素 的 个 数 ， 其 中 i=0, 1, e, ke 
第 7 一 8 行 通过 加 总 计算 确定 对 每 一 个 ;一 0，1，…，&， 有 多 少 输入 元 素 是 小 于 或 等 于 ; 的 。 
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由 8-2 COUNTING-SORT 在 输入 数组 A[1.. 8] 上 的 处 理 过 程 ， 其 中 A 中 的 每 一 个 元 素 都 是 不 大 于 ==5 的 
非 负 整数 。(a) 第 5 行 执行 后 的 数组 A 和 辅助 数组 C 的 情况 。(b) 第 8 行 执行 后 ， 数 组 C 的 情况 。 
(一 (e) 分 别 显 示 了 第 10 一 12 行 的 循环 体 迭 代 了 一 次 、 两 次 和 三 次 之 后 ， 输 出 数组 B 和 辅助 数组 
C 的 情况 。 其 中 ， 数 组 中 中 只 有 浅 色 阴影 部 分 有 元 素 值 填充 。( 纪 最 终 排 好 序 的 输出 数组 B 


后 ， 在 第 10~12 行 的 for 循环 部 分 ， 把 每 个 元 素 AL ABT EH h Bee B 中 的 正确 位 
置 上 。 如 果 所 有 ”个 元 素 都 是 互 异 的 ， 那 么 当 第 一 次 执行 第 10 行 时 ， 对 每 一 个 AL MER, 
CLA[j]] 就 是 A[ 放 在 输出 数组 中 的 最 终 正确 位 置 。 这 是 因为 共有 CLAL7 了 ] 个 元 素 小 于 或 等 于 
A[ 门 。 因 为 所 有 的 元 素 可 能 并 不 都 是 互 异 的 ， 所 以 ,我 们 每 将 一 个 值 A[j] 放 入 数组 B 中 以 后 ， 
都 要 将 CLAL;]] 的 值 减 1。 这 样 ， 当 遇 到 下 一 个 值 等 于 A[j] 的 输入 元 素 (如 果 存 在 ) 时 ， 该 元 素 可 
以 直接 被 放 到 输出 数组 中 A[ 站 的 前 一 个 位 置 上 。 
计数 排序 的 时 间 代 价 是 多 少 呢 ? 第 2 一 3 行 的 for 循环 所 花 时 间 为 OR), H 4 一 5 行 的 for 循 
环 所 花 时 间 为 8(n)， 第 7~8 行 的 for 循环 所 花 时 间 为 O), 第 10 一 12 行 的 for 循环 所 花 时 间 为 
@(n) 。 这 样 ， 总 的 时 间 代 价 就 是 8C& 十 n) 。 在 实际 工作 中 ， 当 二 OCn) 时 ， 我 们 一 般 会 采用 计数 
排序 ， 这 时 的 运行 时 间 为 @(n)，。 
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计数 排序 的 下 界 优 于 我 们 在 8. 1 节 中 所 证 明 的 QC(nlgn)， 因 为 它 并 不 是 一 个 比较 排序 算法 。 事 
实 上 ， 它 的 代码 中 完全 没有 输入 元 素 之 间 的 比较 操作 。 相 反 ， 计 数 排序 是 使 用 输入 元 素 的 实际 值 
来 确定 其 在 数组 中 的 位 置 。 当 我 们 脱离 了 比较 排序 模型 的 时 候 ，QCnlgn) 这 一 下 界 就 不 再 适用 了 ， 

计数 排序 的 一 个 重要 性 质 就 是 它 是 稳定 的 : 具有 相同 值 的 元 素 在 输出 数组 中 的 相对 次 序 与 
它们 在 输入 数组 中 的 相对 次 序 相同 。 也 就 是 说 ， 对 两 个 相同 的 数 来 说 ， 在 输入 数组 中 先 出 现 的 
数 ， 在 输出 数组 中 也 位 于 前 面 。 通 常 ， 这 种 稳定 性 只 有 当 进 行 排序 的 数据 还 附带 卫星 数据 时 才 比 
较 重 要 。 计 数 排序 的 稳定 性 很 重要 的 另 一 个 原因 是 : 计数 排序 经 常会 被 用 作 基 数 排序 算法 的 一 
个 子 过程 。 我 们 将 在 下 一 节 中 看 到 ， 为 了 使 基数 排序 正确 运行 ， 计 数 排序 必须 是 稳定 的 。 


练习 


8.2-1 参照 图 8-2 的 方法 ， 说 明 COUNTING-SORT 在 数组 A=(6, 0, 2, 0, 1, 3, 4, 6, l, 
3，2? 上 的 操作 过 程 。 

8. 2-2” 试 证 明 COUNTING-SORT 是 稳定 的 。 

8.2-3 假设 我 们 在 COUNTING-SORT 的 第 10 行 循环 的 开始 部 分 ， 将 代码 改写 为 


10 for j =1toA. length 


试 证 明 该 算法 仍然 是 正确 的 。 它 还 稳定 吗 ? 

8.2-4 设计 一 个 算法 ， 它 能 够 对 于 任何 给 定 的 介 于 0 到 & 之 间 的 ”个 整数 先进 行 预 处 理 ， 然 后 
在 O(1) 时 间 内 回答 输入 的 个 整数 中 有 多 少 个 落 在 区 间 [La. . 5] 内。 你 设计 的 算法 的 预 处 
理 时 间 应 为 @(n 十 &)。 


8. 3 基数 排序 


基数 排序 (radix sort) 是 一 种 用 在 卡片 排序 机 上 的 算法 ， 现 在 你 只 能 在 博物 馆 找 到 这 种 卡片 
排序 机 了 。 一 张 卡片 有 80 列 ， 在 每 一 列 上 机 天 可 以 选择 在 12 个 位 置 中 的 任 一 处 穿孔 。 通 过 机 械 
操作 ， 我 们 可 以 对 排序 机 “编程 ”来 检查 每 个 卡片 中 的 给 定 列 ， 然 后 根据 穿孔 的 位 置 将 它们 分 别 放 
人 12 个 容器 中 。 操 作 员 就 可 以 逐个 容 右 地 来 收集 卡片 ， 其 中 第 一 个 位 置 穿 筷 的 卡片 在 最 上 面 ， 
其 次 是 第 二 个 位 置 穿孔 的 卡片 ， 依 此 类 推 。 

对 十 进 制 数字 来 说 ， 每 列 只 会 用 到 10 个 位 置 ( 男 两 个 位 置 用 于 编码 非 数 值 字符 )。 一 个 d 位 
数 将 占用 4 列 。 因 为 卡片 排序 机 一 次 只 能 查看 一 列 ， 所 以 要 对 n 张 卡片 上 的 a 位 数 进行 排序 ， 就 
需要 设计 一 个 排序 算法 。 

从 直观 上 来 看 ， 你 可 能 会 觉得 应 该 按 最 高 有 效 位 进行 排序 ， 然 后 对 得 到 的 每 个 容器 递归 地 
进行 排序 ， 最 后 再 把 所 有 结果 合并 起 来 。 遗 性 的 是 ， 为 了 排序 一 个 容器 中 的 卡片 ，10 个 容器 中 
的 9 个 都 必须 先 放 在 一 边 。 这 一 过 程 产生 了 许多 要 保存 的 临时 卡片 ( 见 练习 8. 3-5). 

与 人 们 直观 感受 相悖 的 是 ， 基 数 排序 是 先 按 最 低 有 效 位 进行 排序 来 解决 卡片 排序 问题 的 。 
然后 算法 将 所 有 卡片 合并 成 一 个， 其 中 0 号 容器 中 的 卡片 都 在 1 AET pee 而 1 号 容 





a PAB AME 2 号 容器 中 的 卡片 前 面 ， 依 此 类 329 

推 。 之 后 ， 用 同样 的 方法 按 次 低 有 效 位 对 所 有 的 卡 

片 进 行 排序 ， 并 把 排 好 的 卡片 再 次 合并 成 一 个 。 重 839 

复 这 一 过 程 ， 直 到 对 所 有 的 d 位 数字 都 进行 了 排 1 

序 。 此 时 ， 所 有 卡片 已 按 d 位 数 完全 排 好 序 。 所 355 2 i 8 

以 ， 对 这 一 释 卡 片 的 排序 仅 需要 进行 Z 轮 。 图 8-3 图 8-3 一 个 由 ?个 3 3 位 数组 成 的 列表 的 基数 

ee eh i a i die “i oe ace sates 
为 了 确保 基数 排序 的 正确 性 ， 一 位 数 排序 算法 续 进 行 排序 后 列表 的 情况 。 阴 影 指 出 


必须 是 稳定 的 。 卡 片 排序 机 所 执行 的 排序 是 稳定 了 进行 排序 的 位 
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的 ， 但 操作 员 必 须 确 保 卡片 从 容器 中 被 取出 时 不 改变 顺序 ， 即 使 一 个 容器 中 的 所 有 卡片 在 该 位 
都 是 相同 的 数字 也 要 确保 这 一 点 。 

在 一 台 典 型 的 串 行 随 机 存 取 计 算 机 上 ， 我 们 有 时 会 用 基数 排序 来 对 具有 多 关键 字 域 的 记录 
进行 排序 。 例 如 ， 我 们 希望 用 三 个 关键 字 ( 年 、 月 和 日 ) 来 对 日 期 进行 排序 。 对 这 个 问题 ， 我 们 可 
以 使 用 基于 特殊 比较 函数 的 排序 算法 : 给 定 两 个 日 期 ， 先 比较 年 ， 如 果 相 同 ， 再 比较 月 ， 如 果 还 
是 相同 ， 就 比较 日 。 我 们 也 可 以 采用 另 一 种 方法 ， 用 一 种 稳定 排序 算法 对 这 些 信息 进行 三 次 排 
F: 先 日 ， 再 月 ， 最 后 是 年 。 

基数 排序 的 代码 是 非常 直观 的 。 在 下 面 的 代码 中 ， 我 们 假设 n 个 4 位 的 元 素 存放 在 数组 A 
中 ， 其 中 第 1 位 是 最 低位 ， 第 d 位 是 最 高 位 。 

RADIX-SORT(A, d) 

1 fori =1 tod 


2 use a stable sort to sort array A on digit i 


引 理 8. 3 给 定 n 个 4d 位 数 ， 其 中 每 一 个 数位 有 个 可 能 的 取 值 。 如 果 RADIX-SORT 使 用 
的 稳定 排序 方法 耗 时 Bl(n 十 k)， 那 么 它 就 可 以 在 B(d(n 十 &)) 时 间 内 将 这 些 数 排 好 序 。 

证 明 ”基数 排序 的 正确 性 可 以 通过 对 被 排序 的 列 进行 归纳 而 加 以 证 明 ( 见 练习 8. 3-3) 。 对 算 
法 时 间 代 价 的 分 析 依 赖 于 所 使 用 的 稳定 的 排序 算法 。 当 每 位 数字 都 在 0 到 一 1 区 间 内 (这 样 它 就 
有 上 & 个 可 能 的 取 值 )， 且 & 的 值 不 太 大 的 时 候 ， 计 数 排序 是 一 个 好 的 选择 。 对 n Ad 位 数 来 说 ， 
每 一 轮 排序 耗 时 O(n th). HA d 轮 ， 因 此 基数 排序 的 总 时 间 为 @(d(n 十 &))。 m 

当 d 为 常数 且 k 二 OC(n) 时 ， 基 数 排序 具有 线性 的 时 间 代 价 。 在 更 一 般 的 情况 中 ， 我 们 可 以 灵 
活 地 决定 如 何 将 每 个 关键 字 分 解 成 者 干 位 。 

引 理 8.4 给 定 一 个 5 位 数 和 任何 正 整 数 r 二 5»， 如 果 RADIX-SORT 使 用 的 稳定 排序 算法 对 
数据 取 值 区 间 是 0 到 上 的 输入 进行 排序 耗 时 @(n 十 &)， 那 么 它 就 可 以 在 B((B/r)(z 十 27)) 时 间 内 
将 这 些 数 排 好 序 。 

证 明 ”对 于 一 个 值 入 2， 每 个 关键 字 可 以 看 做 4 二 16b/r| 个 r+ 位 数 。 每 个 数 都 是 在 0 到 2 一 1 
区 间 内 的 一 个 整数 ， 这 样 就 可 以 采用 计数 排序 ， 其 中 ==2" 一 1。( 例 如 ， 我 们 可 以 将 一 个 32 位 的 
字 看 做 是 4 个 8 位 的 数 ， 于 是 有 45=32, r=8, k=2—1=255 和 d= 二 b/r 二 4)。 每 一 轮 排 序 花费 时 
a O(n +k) =O(n +2"), 计数 排序 花费 的 总 时 间 代 价 为 B(&(z 十 27)) 一 BCCo/r) (n+2")), 国 

对 于 给 定 的 nn 和 46， 我 们 希望 所 选择 的 r(r 过 5b) 值 能 够 最 小 化 表达 式 (5/7) ntz). 。 如 果 5 一 
Llgnj， 则 对 于 任何 满足 r 二 5 的 +-， 都 有 (nn 十 2 )= 二 Bl(n)。 显 然 ， 选 择 r+==b 得 到 的 时 间 代 价 为 
(b/b) (n 十 2) 二 Bln)， 这 一 结果 是 浙 近 意义 上 最 优 的 。 如 果 blegn], HH r= 二 Llgnj 可 以 得 到 偏 
差 不 超 过 常数 系数 范围 内 的 最 优 时 间 代 价 。 下 面 我 们 来 详细 说 明 这 一 点 。 选 择 r 二 [lgnj， 得 到 的 
运行 时 间 为 (bn/ len). MEK r 的 值 逐步 增 大 到 大 于 Llgzj 后 ， 分 子 中 的 2 项 比分 母 中 的 > 项 增 
加 得 快 。 因 此 ， 将 ~ 增 大 到 大 于 [lgzj 后 ， 得 到 的 时 间 代 价 为 QCbn/ len), RZ, WRK > 减 小 到 
Ugn F. W b/r 项 会 变 大 ， 而 nt? 项 仍 保 持 为 On). 

基数 排序 是 否 比 基于 比较 的 排序 算法 (如 快速 排序 ) 更 好 呢 ? 通常 情况 ， 如 果 6b 二 Ol(lgn)， 
而 且 我 们 选择 r~ lgz”， 则 基数 排序 的 运行 时 间 为 9(n)。 这 一 结果 看 上 去 要 比 快速 排序 的 期 望 
运行 时 间 代 价 8(nlgn) 更 好 一 些 。 但 是 ， 在 这 两 个 表达 式 中 ， 隐 舍 在 @ 符号 背后 的 常数 项 因子 
是 不 同 的 。 在 处 理 的 ”个 关键 字 时 ， 尽 管 基数 排序 执行 的 循环 轮 数 会 比 快速 排序 要 少 ， 但 每 一 
轮 它 所 耗费 的 时 间 要 长 得 多 。 哪 一 个 排序 算法 更 合适 依赖 于 具体 实现 和 底层 硬件 的 特性 (例如 ， 
快速 排序 通常 可 以 比 基 数 排序 更 有 效 地 使 用 硬件 的 缓存 )， 以 及 输入 数据 的 特征 。 此 外 ， 利 用 
计数 排序 作为 中 间 稳 定 排 序 的 基数 排序 不 是 原址 排序 ， 而 很 多 BC(nlgn) 时 间 的 比较 排序 是 原址 
排序 。 因 此 ， 当 主 存 的 容量 比较 宝贵 时 ， 我 们 可 能 会 更 倾向 于 像 快 速 排 序 这 样 的 原址 排序 


| 
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算法 。 
练习 


8.3-1 参照 图 8-3 的 方法 ， 说 明 RADIX-SORT 在 下 列 英文 单词 上 的 操作 过 程 : COW，DOG， 
SEA, RUG, ROW, MOB, BOX, TAB, BAR, EAR, TAR, DIG, BIG, TEA, 
NOW, FOX. 

8.3-2 下 面 的 排序 算法 中 哪些 是 稳定 的 : 插入 排序 、 归 并 排序 、 堆 排序 和 快速 排序 ? 给 出 一 个 
能 使 任何 排序 算法 都 稳定 的 方法 。 你 所 给 出 的 方法 带 来 的 额外 时 间 和 空间 开销 是 多 少 ? 

8.3-3 利用 归纳 法 来 证 明基 数 排序 是 正确 的 。 在 你 所 给 出 的 证 明 中 ， 在 哪里 需要 假设 所 用 的 底 
层 排序 算法 是 稳定 的 ? 

8.3-4 说 明 如 何在 OC(n) 时 间 内 ,对 0 到 ww 一 1 区 间 内 的 个 整数 进行 排序 。 

*8.3-5 ”在 本 节 给 出 的 第 一 个 卡片 排序 算法 中 ， 为 排序 4 位 十 进 制 数 ， 在 最 坏 情况 下 需要 多 少 轮 
排序 ? 在 最 坏 情 况 下 ， 操 作 员 需 要 记录 多 少 堆 卡片 ? 


8. 4 桶 排序 


桶 排序 (bucket sort) 假 设 输入 数据 服从 均匀 分 布 ， 平均 情况 下 它 的 时 间 代 价 为 OC(n)。 与 计数 
排序 类 似 ， 因 为 对 输入 数据 作 了 某 种 假设 ， 桶 排序 的 速度 也 很 快 。 具 体 来 说 ， 计 数 排序 假设 输入 
数据 都 属于 一 个 小 区 间 内 的 整数 ， 而 桶 排序 则 假设 输入 是 由 一 个 随机 过 程 产生 ， 该 过 程 将 元 素 
均匀 、 独 立地 分 布 在 [0，1) 区 间 上 ( 见 C.2 市 中 均匀 分 布 的 定义 )。 

桶 排序 将 LO0，1) 区 间 划 分 为 n 个 相同 大 小 的 子 区 间 ， 或 称 为 桶 。 然 后 ,将 nn 个 输入 数 分 别 放 
到 各 个 桶 中 。 因 为 输入 数据 是 均匀 、 独 立地 分 布 在 L0，1) 区 间 上 ， 所 以 一 般 不 会 出 现 很 多 数落 在 
同一 个 桶 中 的 情况 。 为 了 得 到 输出 结果 ， 我 们 先 对 每 个 桶 中 的 数 进 行 排序 ， 然 后 遍历 每 个 桶 ， 按 
照 次 序 把 各 个 桶 中 的 元 素 列 出 来 即 可 。 

在 桶 排序 的 代码 中 ， 我 们 假设 输入 是 一 个 包含 n 个 元 素 的 数组 A， 且 每 个 元 素 ALij 满 足 OS 
AL 让 <1。 此 外 ， 算 法 还 需要 一 个 临时 数组 BLO. . ”一 1 来 存放 链表 ( 即 桶 )， 并 假设 存在 一 种 用 于 
维护 这 些 链表 的 机 制 (10. 2 节 将 介绍 如 何 实现 链表 
的 一 些 基 本 操作 ) 。 

BUCKET-SORT(A) 

n = A. length 
let BLO. . n—1] be a new array 
for: = 0 ton—1 
make B[i] an empty list 
fori = 1 ton 
insert A[i] into list B[| nA[i] |] 


for: = 0 ton—1 





sort list B[ i] with insertion sort 
concatenate the lists BLO], BL 1|],.…, BLn—1 | together in order 


wo won Dm AA FSF UO N FF 


图 8-4 Æ n=10 hf, BUCKET-SORT 的 操作 
图 8-4 显示 了 在 一 个 包含 10 个 元 素 的 输入 数组 过 程 。(a) 输 入 数组 AL1.. 10]。(b) 在 
上 的 桶 排序 过 程 。 算法 的 第 8 行 之 后 ，BL0..9] 中 的 已 


B 排序 链表 ( 桶 ) 的 情况 。 第 i MPA 
为 了 验证 算法 的 正确 性 ， 我 们 先 来 看 看 两 个 元 hy oe 


素 ALij 和 A[jj]。 不 失 一 般 性 ， 不 妨 假设 ALi 的 值 。 排 好 序 的 输出 是 由 链表 BLO], 
AL7]。 由 于 LnALi]]<LnAL;], 元 素 ALij 或 者 与 BL1]，…，B[L9j] 依 次 连接 而 成 的 
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ALij 被 放 和 人 同一 个 桶 中 ， 或 者 被 放 入 一 个 下 标 更 小 的 桶 中 。 如 果 A[ij 和 ALjj 在 同一 个 桶 中 ， 则 
第 7 一 8 行 中 的 for 循环 会 将 它们 按 适 当 的 顺序 排列 。 如 果 A[Lij 和 ALij] 落 入 了 不 同 的 桶 中 ， 则 第 9 
行 会 将 它们 按 适 当 的 顺序 排列 。 因 此 ， 桶 排序 算法 是 正确 的 。 

现在 来 分 析 桶 排序 的 运行 时 间 。 我 们 注意 到 ， 在 最 坏 情况 下 ， 除 第 8 行 以 外 ， 所 有 其 他 各 行 
时 间 代 价 都 是 O(n) 。 我 们 还 需要 分 析 第 8 行 中 =” 次 插入 排序 调用 所 花费 的 总 时 间 。 

现在 来 分 析 调 用 插入 排序 的 时 间 代 价 。 假 设 ” 是 表示 桶 了 [让 中 元 素 个 数 的 随机 变量 ， 因 为 
插入 排序 的 时 间 代 价 是 平方 阶 的 ( 见 2. 2 节 ) ， 所 以 桶 排序 的 时 间 代价 为 : 


T(n) = @(n) 十 Soi ) 


RERA RERET NF 运行 时 间 。 通过 对 输入 数据 取 期 望 ， 我 们 可 以 计算 
出 期 望 的 运行 时 间 。 对 上 式 两 边 取 期 望 ， 并 利用 期 望 的 线性 性 质 ， 我 们 有 : 


| rl 
ELT(n)] = E| O(n) + 1068) | 


= O(n) + DELO] CALA N BL 


| = O(n) + X OED (利用 公式 (C. 22)) (8. 1) 
我 们 断言 : 
3 El? | = 2— 1/n (8.2) 


对 所 有 i 二 0，1，…，n 一 1 成 立 。 这 一 点 不 足 为 奇 因为 输入 数组 A 的 每 一 个 元 素 是 等 概率 地 落 
入 任意 一 个 桶 中 ， 所 以 每 一 个 桶 ;具有 相同 的 期 望 值 E[z]。 为 了 证 明 公式 (8. 2) ， 我 们 定义 指示 
器 随机 变量 对 所 有 0 7 一 1 和 7 一 1， 2，…，71， 

Xj = {Al 7] 落 入 桶 i} 
因此 ， 
为 了 计算 E[ 台 ]， 我 们 展开 平方 项 ， 并 重新 组 合 各 项 ， 


E= E| (Xx) =E > XsXa |= ELD + 5 2 XaXa | 
l j=1 j=l k=1 j=l 1<j<n se 


= HIH D Xe ] (8. 3) 
其 中 ， 最 后 一 行 是 根据 数学 期 望 的 线性 性 质 得 出 的 ， 我 们 分 别 计算 这 两 项 累加 和 ， 指 示 器 随机 变 
E X, 为 1 的 概率 是 1/n， 其 他 情况 下 是 0。 于 是 有 : 
E[X}] = 12. 二 十 0 . (1 1 一 一 ) 
MRAZ, REPL X 和 XX 是 独立 的 ， 因 此 有 : 
ELXsXa] = ECX, JELXa] = +. += 4 


HPL ARC 3)， 我 们 得 到 : 


Eit]= $) + 2 Dias z =n. +n- Ga 1421 = 
| j=1 ™  1<j<n 1n n n 
| kj 
到 此 ， 公 式 (8. 2) 得 证 。 


利用 公式 (8. 1) 中 的 期 望 值 ， 我 们 可 以 得 出 结论 ， 权 排序 的 期 望 运行 时 间 为 


114 


第 二 部 分 ”排序 和 顺序 统计 量 


Oln) +n + O(2—1/n) = ACn) 


即使 输入 数据 不 服从 均匀 分 布 ， 桶 排序 也 仍然 可 以 线性 时 间 内 完成 。 只 要 输入 数据 满足 下 
列 性 质 ， 所 有 桶 的 大 小 的 平方 和 与 总 的 元 素数 呈 线 性 关系 ， 那 么 通过 公式 (8.1)， 我 们 就 可 以 知 
道 : 桶 排序 仍然 能 在 线性 时 间 完 成 。 


练习 
8. 4-1 


8. 4-2 
8. 4-3 


*8. 4-4 


*8. 4-5 


参照 图 8-4 的 方法 ， 说 明 BUCKET-SORT 在 数组 A= (0.79, 0.13, 0.16, 0.64, 0.39, 
0. 20，0. 89，0. 53，0. 71，0. 42) 上 的 操作 过 程 。 

解释 为 什么 桶 排序 在 最 坏 情 况 下 运行 时 间 是 O07)? 我 们 应 该 如 何 修改 算法 ， 使 其 在 保 
持平 均 情况 为 线性 时 间 代 价 的 同时 ， 最 坏 情 况 下 时 间 代 价 为 O(nlgn)? 

设 X 是 一 个 随机 变量 ， 用 于 表示 在 将 一 枚 硬币 抛 手 两 次 时 ， 正 面 朝 上 的 次 数 。ELX IE 
ghi? 下 [LXJ 是 多 少 呢 ? 

在 单位 圆 内 给 定 nha, p=, y), MHA i 二 1，2，…，n， 有 0 过 十 二 1。 假设 
所 有 的 点 服从 均匀 分 布 ， 即 在 单位 元 的 任 一 区 域内 找到 给 定点 的 概率 与 该 区 域 的 面积 成 
正比 。 请 设计 一 个 在 平均 情况 下 有 8(n) 时 间 代 价 的 算法 ， 它 能 够 按照 点 到 原点 之 间 的 距 
离 di 二 Vz 十 对 这 个 点 进行 排序 。( 提 示 ; 在 BUCKET-SORT 中 ,设计 适当 的 桶 大 
小 ， 用 以 反映 各 个 点 在 单位 圆 中 的 均匀 分 布 情况 .) 

定义 随机 变量 X 的 概率 分 布 函数 P(z) 为 PCz) 王 Pr{X 和 xz)。 假 设 有 7 个 随机 变量 X,， 
Xo, o> X, 服从 一 个 连续 概率 分 布 函数 PP， 且 它 可 以 在 O(1) 时 间 内 被 计算 得 到 。 设 计 
一 个 算法 ， 使 其 能 够 在 平均 情况 下 在 线性 时 间 内 完成 这 些 数 的 排序 。 


思考 题 
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(比较 排序 的 概率 下 界 ) AEX, TRE I FeEw n ERRAK., IE 
何 确定 或 随机 的 比较 排序 算法 ， 其 概率 运行 时 间 都 有 下 界 QCnlgn)。 首 先 来 分 析 一 个 确定 
的 比较 排序 算法 A， 其 决策 树 为 4。 假设 A 的 输入 的 每 一 种 排列 情况 都 是 等 可 能 的 。 

a. 假设 Ty 的 每 个 叶 结 点 都 标 有 在 给 定 的 随机 输入 情况 下 到 达 该 结 点 的 概率 。 证 明 : 恰 有 
n! 个 叶 结 点 标 有 1/n!， 其 他 的 叶 结 点 标记 为 0。 

b. 定义 D( 了 TD 表示 一 棵 决策 树 工 的 外 部 路 径 长 度 ， 即 D(T) 是 工 的 所 有 叶 结 点 深度 的 和 ，。 
假设 TARA RSI 个 叶 结 点 的 决策 树 ，LT 和 RT 分 别 是 工 的 左 子 树 和 右 子 树 。 证 
H: D(T)=D(LT)+D(RT) +k, 

a 定义 4(k) 为 所 有 具有 1 个 叶 结 点 的 决策 树 TT 的 最 小 DC(T) 值 证明: dk) = 
min (d) +d(k—i) +k}. GR: 考虑 一 棵 能 够 取得 该 最 小 值 的 、 有 个 叶 结 点 的 决 
FAT. 设 i 是 LT 中 的 叶 结 点 数 ，k 一 io 是 RT 中 的 叶 结 点 数 。) 

d. E: dt FAEHRASDMid<i<k—-1), MM ilgit(e—Dlg(k—1 HE i=h/2 处 取 
得 最 小 值 ， 并 有 结论 dk) =O gh). 

e WEH: DCT.) =A! lgCn!1))， 并 得 出 在 平均 情况 下 ， 排 序 ”个 元 素 的 时 间 代 价 为 O(n len) 3X 
一 结论 。 

现在 来 考虑 一 个 随机 化 的 比较 排序 B。 通 过 引入 两 种 结 点 ， 我 们 可 以 将 决策 树 模 型 
扩展 来 处 理 随机 化 的 情况 。 这 两 种 结 点 是 : 普通 的 比较 结 点 和 “随机 化 ” 结 点 。 随 机 化 结 
点 刻画 了 算法 B 中 所 做 的 形 如 RANDOM(1，7) 的 随机 选择 情况 。 该 类 结 点 有 r 个子 结 
点 ， 在 算法 执行 过 程 中 ， 每 一 个 子 结 点 等 概率 地 被 选择 。 
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f. 证 明 : 对 任何 随机 化 比较 排序 算法 B， 总 存在 一 个 确定 的 比较 排序 算法 A， 其 期 望 的 比 
较 次 数 不 多 于 B 的 比较 次 数 。 

(线性 时 间 原 址 排序 ) 假设 有 一 个 包含 n 个 待 排 序数 据 记 录 的 数组 ， 且 每 条 记录 的 关键 字 

的 值 为 0 或 1。 对 这 样 一 组 记录 进行 排序 的 算法 可 能 具备 如 下 三 种 特性 中 的 一 部 分 : 

1. 算法 的 时 间 代 价 是 O). 

2. 算法 是 稳定 的 。 

3. 算法 是 原址 排序 ， 除 了 输入 数组 之 外 ， 算 法 只 需要 固定 的 额外 存储 空间 。 

a. 给 出 一 个 满足 上 述 条 件 1 和 条 件 2 的 算法 。 

b. 给 出 一 个 满足 上 述 条 件 1 和 条 件 3 的 算法 。 

c. 给 出 一 个 满足 上 述 条 件 2 和 条 件 3 的 算法 。 

d. 你 设计 的 算法 (a) 一 (c) 中 的 任 一 个 是 否 可 以 用 于 RADIX-SORT 的 第 2 行 作为 基础 排序 方 
法 ， 从 而 使 RADIX-SORT 在 排序 有 2 位 关键 字 的 2” 条 记录 时 的 时 间 代 价 是 OC(bn)? 如 果 
可 以 ， 请 解释 应 如 何 处 理 ， 如 果 不 行 ， 请 说 明 原 因 。 

e 假设 有 ?条 记录 ， 其 中 所 有 关键 字 的 值 都 在 1 到 不 的 区 间 内 。 你 应 该 如 何 修改 计数 排序 ， 
使 得 它 可 以 在 O(z* 十 所 时 间 内 完成 对 ”条 记录 的 原址 排序 。 除 输入 数组 外 ， 你 可 以 OC&) 使 
用 大 小 的 额外 存储 空间 。 你 给 出 的 算法 是 稳定 的 吗 ? (提示 ， 当 k=3 时 ， 你 应 该 如 何 做 ?) 

( 变 长 数据 项 的 排序 ) 

a 给 定 一 个 整数 数组 ， 其 中 不 同 的 整数 所 包含 的 数字 的 位 数 可 能 不 同 ， 但 该 数组 中 ， 所 有 整 
数 中 包含 的 总 数字 位 数 为 n。 设 计 一 个 算法 ， 使 其 可 以 在 OC(W) 时 间 内 对 该 数组 进行 排序 。 
b 给 定 一 个 字符 串 数 组 ， 其 中 不 同 的 字符 串 所 包含 的 字符 数 可 能 不 同 ， 但 所 有 字符 串 中 的 
总 字符 个 数 为 wa。 设计 一 个 算法 ， 使 其 可 以 在 O(n) 时 间 内 对 该 数组 进行 排序 。( 注 意 : 

此 处 的 顺序 是 指标 准 的 字典 序 ， 例 如 aabb.) 

KÈ) ”假设 给 了 你 个 红色 的 水 过 和? 个 蓝 色 的 水 壶 。 它 们 的 形状 和 尺寸 都 各 不 相同 。 

所 有 的 红色 水 壹 中 所 盛 的 水 都 不 一 样 多 ， 蓝 色 水 壶 也 是 如 此 。 而 且 ， 对 于 每 一 个 红色 水 过 

来 说 ， 都 有 一 个 对 应 的 蓝 色 水 壶 ， 两 者 盛 有 一 样 多 的 水 ;反之 亦 然 。 

你 的 任务 是 找 出 所 有 的 所 盛 水 量 一 样 多 的 红色 水 过 和 蓝 色 水 壶 ， 并 将 它们 配 成 一 对 。 
为 此 ， 可 以 执行 如 下 操作 : 挑 出 一 对 水 壶 ， 其 中 一 个 是 红色 的 ， 另 一 个 是 蓝 色 的 ， 将 红色 
水 壶 中 倒 满 水 ， 再 将 水 倒 人 蓝 色 的 水 过 中。 通过 这 一 操作 ， 可 以 判断 出 这 个 红色 水 壶 是 否 
比 蓝 色 水 壶 盛 的 水 更 多 ， 或 者 两 者 是 一 样 多 的 。 假 设 这 样 的 比较 需要 花费 一 个 单位 时 间 。 
你 的 目标 是 找 出 一 个 算法 ， 它 能 够 用 最 少 的 比较 次 数 来 确定 所 有 水 壶 的 配对 。 注 意 ， 你 不 
能 直接 比较 两 个 红色 或 两 个 蓝 色 的 水 壶 。 

a 设计 一 个 确定 性 算法 ， 它 能 够 用 9(z) 次 比较 来 完成 所 有 水 过 的 配对 。 

b. 证 明 : 解决 该 问题 算法 的 比较 次 数 下 界 为 QCnlgn)。 

c. 设计 一 个 随机 算法 ， 其 期 望 的 比较 次 数 为 OC(nlgn)， 并 证 明 这 个 界 是 正确 的 。 对 你 的 算 
法 来 说 ， 最 坏 情 况 下 的 比较 次 数 是 多 少 ? 

(平均 排序 ) ”假设 我 们 不 是 要 完全 排序 一 个 数组 ， 而 只 是 要 求 数组 中 的 元 素 在 平均 情况 下 

是 升序 的 。 更 准确 地 说 ， 如 果 对 所 有 的 i==1，2，…，n 一 k 有 下 式 成 立 ， 我 们 就 称 一 个 包 

E n 个 元 素 的 数组 A Wk 排序 的 (k-sorted)， 


ZADI JAD 
| k ~ k 

a 一 个 数组 是 1 排序 的 ， 表 示 什 么 含义 ? 
b 给 出 对 数字 1，2，…，10 的 一 个 排列 ， 它 是 2 排序 的 ， 但 不 是 完全 有 序 的 。 


| 
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ce EH: 一 个 包含 ”个 元 素 的 数组 是 有 排序 的 ， 当 且 仅 当 对 所 有 的 i51, 2, 0, nok, A 
Ali]J<A[i+k]. 

d. 设计 一 个 算法 ， 它 能 在 OCnlg(n/A 7) 时间 内 对 一 个 包含 ”个 元 素 的 数组 进行 & 排序 。 
当 & 是 一 个 常数 时 ， 也 可 以 给 出 有 排序 算法 的 下 界 。 

e WH: 我 们 可 以 在 O(nlg&) 时 间 内 对 一 个 长 度 为 n 的 & 排序 数组 进行 全 排序 。( 提 示 : 可 
以 利用 练习 6. 5-9 的 结果 。) 

f. 证 明 ， 当 是 一 个 常数 时 ， 对 包含 n 个 元素 的 数组 进行 排序 需要 QCnlgn) 的 时 间 。( 提 
示 : 可 以 利用 前 面 解 决 比较 排序 的 下 界 的 方法 ,) 

(合并 有 序列 表 的 下 界 ) 合并 两 个 有 序列 表 是 我 们 经 常会 遇 到 的 问题 。 作 为 MERGE- 

SORT 的 一 个 子 过 程 ， 我 们 在 2. 3. 1 节 中 已 经 遇 到 过 这 一 问题 。 对 这 一 问题 ， 我 们 将 证 明 

在 最 坏 情况 下 ， 合 并 两 个 都 包含 ”个 元 素 的 有 序列 表 所 需 的 比较 次 数 的 下 界 是 2n 一 1。 

首先 ， 利 用 决策 树 来 说 明 比 较 次 数 有 一 个 下 界 2n—o(n). 

a, 给 定 In 个 数 ， 请 算出 共有 多 少 种 可 能 的 方式 将 它们 划分 成 两 个 有 序 的 列表 ， 其 中 每 个 列 
表 都 包含 ”个 数 。 

b. 利用 决策 树 和 (a) 的 管 案 ,， 证明: 任何 能 够 正确 合并 两 个 有 序列 表 的 算法 都 至 少 要 进行 
2n 一 o《(n) 次 比较 。 

现在 我 们 来 给 出 一 个 更 紧 确 界 2n 一 1。 

c 请 说 明 : 如 果 两 个 元 素 在 有 序 序列 中 是 连续 的 ， 且 它们 分 别 来 自 不 同 的 列表 ， 则 它们 必 
须 进 行 比较 。 

d. 利用 你 对 上 一 部 分 的 回答 ， 说 明 合并 两 个 有 序列 表 时 的 比较 次 数 下 界 为 2n 一 1。 

(0-1 排序 引 理 和 列 排序 ) ”针对 两 个 数组 元 素 ALij] 和 AL;j](i<j) 的 比较 交换 操作 的 形式 

如 下 : 

COMPARE-EXCHANGE(A, i, j) 

1 if AL] > AL] 

2 exchange A[i] with A[j ] 


经 过 比较 交换 操作 之 后 ， 我 们 得 到 ALISA]. 

遗忘 比较 交换 算法 是 指 算法 只 按照 事先 定义 好 的 操作 执行 ， 即 需要 比较 的 位 置 下 标 必 
须 事先 确定 好 。 虽 然 算法 可 能 依靠 待 排序 元 素 个 数 ， 但 它 不 能 依赖 竺 排序 元 素 的 值 ， 也 不 
能 依赖 任何 之 前 的 比较 交换 操作 的 结果 。 例 如 ， 下 面 是 一 个 基于 遗志 比较 交换 算法 的 插入 
排序 : 
INSERTION-SORT (A) 
1 forj = 2 to A. length 


2 for i = j — 1 downto 1 
3 COMPARE-EXCHANGE(A, i, i + 1) 


0-1 排序 引 理 提 供 了 有 力 的 方法 来 证 明 一 个 遗 环比 较 交 换算 法 可 以 产生 正确 的 排序 结 
果 。 该 引 理 表 明 ， 如 果 一 个 遗 坊 比较 交换 算法 能 够 对 所 有 只 包含 0 和 1 的 输入 序列 排序 ， 
那么 它 也 可 以 对 包含 任意 值 的 输入 序列 排序 。 

你 可 以 用 反例 来 证 明 0-1 排序 引 理 : 如果 一 个 遗志 比较 交换 算法 不 能 对 一 个 包含 任意 
值 的 序列 进行 排序 ， 那 么 它 也 不 能 对 某 个 0-1 序列 进行 排序 。 不 妨 假设 一 个 遗忘 比较 交换 
算法 X 未 能 对 数组 AL1l. .nj 排序 。 设 ALpj] 是 算法 X 未 能 将 其 放 到 正确 位 置 的 最 小 的 元 素 ， 
MAL ERA X 放 在 ALzj 原 本 应 该 在 的 位 置 上 的 元 素 。 和 定义 一 个 只 包含 0 和 1 的 数组 
BL1. .7 如 下 : 


图 8-5 
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0 #ALi]<Alp] 
| i=l, Sas 
a Wit: 4 ALgl>ALplA. 有 BLp]=0 M Blg]=1. 
b. 为 了 完成 0-1 排序 引 理 的 证 明 ， 请 先 证 明 算 法 X 不 能 对 数组 B 正确 地 排序 。 
现在 ， 需要 用 0-1 排序 引 理 来 证 明 一 个 特别 的 排序 算法 的 正确 性 。 列 排序 算法 是 用 于 包含 ” 
个 元 素 的 矩形 数组 的 排序 。 这 一 和 矩形 数组 有 7r 行 ; 列 ( 因 此 n=rs)， 满 足下 列 三 个 限制 条 件 : 
。 7 必须 是 偶数 
。 :必须 是 r 的 因子 
e 7 之 28? 
当 列 排序 完成 时 ， 和 矩形 数组 是 列 优先 有 序 的 : 按照 列 从 上 到 下 ， 从 左 到 右 ， 都 是 单调 递 
增 的 。 
如 果 不 包括 n 的 值 的 计算 ， 列 排序 需要 8 步 操 作 。 所 有 奇数 步 都 一 样 : 对 每 一 列 单独 
进行 排序 。 每 一 个 偶数 步 是 一 个 特定 的 排列 。 具 体 如 下 : 
1. 对 每 一 列 进行 排序 。 
2. 转 置 这 个 矩形 数组 ， 并 重新 规整 化 为 > 行列 的 形式 。 也 就 是 说 ， 首 先 将 最 左边 的 一 列 
放 在 前 r/s 行 ， 然 后 将 下 一 列 放 在 第 二 个 r/s 行 ， 依 此 类 推 。 
. 对 每 一 列 进行 排序 。 
. 执行 第 2 步 排列 操作 的 逆 操 作 。 
. 对 每 一 列 进 行 排序 。 
. 将 每 一 列 的 上 半 部 分 移 到 同一 列 的 下 半 部 分 位 置 ， 将 每 一 列 的 下 半 部 分 移 到 下 一 列 的 上 
半 部 分 ， 并 将 最 左边 一 列 的 上 半 部 分 置 为 空 。 此 时 ， 最 后 一 列 的 下 半 部 分 成 为 新 的 最 右 
列 的 上 半 部 分 ， 新 的 最 右 列 的 下 半 部 分 为 空 。 
7. 对 每 一 列 进行 排序 。 
8. 执行 第 6 步 排列 操作 的 逆 操 作 。 
图 8-5 显示 了 一 个 在 r= 二 6 和 s=3 时 的 列 排序 步骤 (即使 这 个 例子 违背 了 ”之 2* 的 条 件 ， 


Or CI A CD 


列 排序 仍然 有 效 )。 
10 14 5 4 1 2 4 8 10 1 3 6 1 4 ıl 
8 7 17 8 3 5 12 16 18 2 5 7 3 8 14 
12 1 6 10 7 6 1 3 7 4 8 10 6 10 17 
16 9 1 12 9 11 9 14 15 9 13 15 29 12 
4 15. 2 16 14 13 2 5 6 11 14 17 5 13 16 
18 3 13 18 15 17 11 13 17 12 16 18 7 15 18 
(a) (b) (c) (d) (e) 
l 4 8 5 10 16 4 10 16 1 7 13 
2 8 12 6 13 17 5 11 17 2 8 14 
3 9 14 7 15 18 6 12 18 3 9 15 
5 10 16 14 11 1 7 13 4 10 16 
6 13 17 2 8 12 2 8 14 5 11 17 
í 15 18 3 9 14 3 9 15 6 12 18 
= Ø (g) Ch) Ci) 


SERISI. (a)6 行 3 列 的 输入 数组 。(b) 第 1 步 排 序 操作 之 后 的 情况 。(c) 第 2 步 转 置 和 规整 化 
后 的 情况 。(d) 第 3 步 排序 操作 之 后 的 情况 。(e) 执行 完 第 4 步 的 情况 ， 即 反 转 第 2 步 排 列 操作 。 
(D) 第 5 步 排序 操作 之 后 的 情况 。(g) 第 6 步 移动 后 的 情况 。(h) 第 7 步 排序 操作 之 后 的 情况 。(D 执 行 
完 第 8 步 的 情况 ， 即 反 转 第 6 步 排列 操作 。 现 在 数组 已 经 是 列 优先 有 序 了 


c 讨论 ， 即 使 不 知道 奇数 步 采用 了 什么 排序 算法 ， 我 们 也 可 以 把 列 排序 看 做 一 种 遗忘 比较 
交换 算法 。 
| 
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虽然 似乎 很 难 让 人 相信 列 排序 也 能 实现 排序 ， 但 是 你 可 以 利用 0-1 排序 引 理 来 证 明 这 
一 点 。 因 为 列 排序 可 以 看 做 是 一 种 遗 筷 比较 交换 算法 ， 所 以 我 们 可 以 使 用 0-1 排序 引 理 。 
下 面 一 些 定 义 有 助 于 你 使 用 这 一 引 理 。 如 果 数 组 中 的 某 个 区 域 只 包含 全 0 或 者 全 1， 我 们 定 
义 这 个 区 域 是 干净 的 。 否 则 ， 如 果 这 个 区 域 包含 的 是 0 和 1 的 混合 ， 则 称 这 个 区 域 是 脏 的 。 
这 里 ,假设 输入 数据 只 包含 0 和 1， 且 输入 数据 能 够 被 转换 为 + 行 s 列 。 
d. WH: 经 过 第 1 一 3 步 ， 数 组 由 三 部 分 组 成 : 顶部 一 些 由 全 0 组 成 的 干净 行 ， 底 部 一 些 由 
全 1 组 成 的 干净 行 ， 以 及 中 间 最 多 s 行 脏 的 行 。 
e WH: 经 过 第 4 步 之 后 ， 如 果 按 照 列 优先 原则 读 取 数组 ， 先 读 到 的 是 全 0 的 干净 区 域 ， 
最 后 是 全 1 的 干净 区 域 ， 中 间 是 由 最 多 * 个 元 素 组 成 的 脏 的 区 域 。 
f. 证 明 : 第 5 一 8 步 产 生 一 个 全 排序 的 0-1 输出 ， 并 得 到 结论 : 列 排序 可 以 正确 地 对 任意 输 
AMEH. 
g. 现在 假设 * 不 能 被 > 整除。 证 明 : 经 过 第 1 一 3 步 ， 数 组 的 顶部 有 一 些 全 0 的 干净 行 ， 底 
部 有 一 些 全 1 的 干净 行 ， 中 间 是 最 多 2s 一 1 行 脏 行 。 那 么 与 ; 相 比 ， 在 ;不 能 被 7 整除 
时 ，r 至 少 要 有 多 大 才能 保证 列 排序 的 正确 性 ? 
h. 对 第 1 步 做 一 个 简单 修改 ， 使 得 我 们 可 以 在 ;不 能 被 7 整除 时 ， 也 保证 r 宇 25 ， 并 且 证 明 
在 这 一 修改 后 ， 列 排序 仍然 正确 。 
本 章 注 记 
用 于 研究 比较 排序 的 决策 树 模型 首先 是 由 Ford 和 JohnsonL110j 提 出 的 。KnuthL211」j 有 关 排 
序 的 综述 中 涉及 了 排序 问题 的 很 多 变形 ， 包 括 本 章 所 给 出 的 排序 问题 复杂 度 的 信息 论 下 界 。Ben- 
OrL39] 利 用 泛 化 的 决策 树 模型 对 排序 的 下 界 进 行 了 全 面 分 析 。 
根据 Knuth 所 述 ， 计 数 排序 是 由 H. H. Seward 于 1954 年 提出 的 ， 而 且 他 还 提出 了 将 计数 排 
序 与 基数 排序 结合 起 来 的 思想 。 基 数 排序 是 从 最 低 有 效 位 开始 的 ， 这 是 一 种 机 械 式 卡片 排序 机 
的 操作 员 们 所 广泛 采用 的 通用 算法 。 根 据 Knuth 所 述 ，L. J. Comrie 于 1929 年 首次 在 一 篇 描述 卡 
片 穿孔 机 文档 中 介绍 了 这 一 方法 。 自 从 1956 年 ， 桶 排序 就 已 经 开始 被 使 用 了 。 当 时 这 一 基本 思 
要 是 由 E. J. Isaac 和 R. C. Singleton[ 188 | 提出 的 。 
Munro 和 Raman[ 263j] 给 出 一 个 稳定 的 排序 算法 ， 它 在 最 坏 情 况 下 需要 执行 O(n) URIBE, 
其 中 0<s 委 1 是 任意 的 固定 常数 。 尽 管 任 一 O(nlgn) 时 间 算 法 所 需 比 较 次 数 更 少 ， 但 Munro 和 
Raman 的 算法 仅 需 要 将 数据 移动 O(n) 次 ， 而 且 它 是 原址 排序 。 
许多 研究 人 员 都 对 如 何在 O(n Ign) AY TB] At n 个 5 位 整数 进行 排序 做 过 研究 ， 并 已 经 获得 了 一 
些 有 益 的 成 果 ， 其 中 每 一 项 成 果 都 对 计算 模型 做 了 略 有 不 同 的 假设 ， 对 算法 的 限制 也 稍 有 差异 。 
所 有 这 些 成 果 都 假设 计算 机 内 存 被 划分 成 可 寻 址 的 2 位 字 。Fredman 和 WillardL115j 引 入 融合 树 
(fusion tree) 这 一 数据 结构 ， 它 可 以 在 O(nlgn/lglg n) 时 间 内 对 个 整数 进行 排序 。Andersson[ 16 | 
将 这 一 界 改 善 为 O(nVign)。 这 些 算法 要 用 到 乘法 和 几 个 预先 计算 好 的 常量 。Andersson、 
Hagerup, Nilsson 和 Raman[ 17j] 给 出 了 一 种 不 用 乘法 可 以 在 OC(nlglg n) 时 间 内 对 个 整数 进行 排 
序 的 算法 。 但 是 ， 该 算法 所 需要 的 存储 空间 以 n 来 表示 的 话 ， 可 能 是 无 界 的 。 利 用 乘法 散 列 技 
术 ， 我 们 可 以 将 所 需 的 存储 空间 降 至 O(n)， 最 坏 情况 运行 时 间 的 界 OCnlglg nn) 成 为 期 望 运行 时 间 
的 界 。 通 过 一 般 化 Andersson[16j] 提 出 的 指数 搜索 树 ，ThorupL335j] 给 出 一 个 O(n(lglg n)°) 时 间 
的 排序 算法 ， 该 算法 不 使 用 乘法 和 随机 化 ， 并 且 只 需要 线性 存储 空间 。HanL158j 把 这 些 技术 与 
一 些 新 的 想法 结合 起 来 ， 将 排序 算法 的 界 改 善 至 O(nlglg nlglglg n) 时 间 。 尽 管 上 述 算法 有 着 重要 
的 理论 突破 ， 但 都 太 复杂 。 就 目前 的 情况 来 看 ， 它 们 不 太 可 能 在 实践 中 与 现 有 的 排序 算法 竞争 。 
思考 题 8-7 中 的 列 排序 算法 是 由 LeightonL 227 提出 的 。 
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中 位 数 和 顺序 统计 量 


在 一 个 由 2 个 元 素 组 成 的 集合 中 ， 第 ;个 顺序 统计 量 (order statistic) 是 该 集合 中 第 i 小 的 元 
素 。 例 如 ， 在 一 个 元 素 集合 中 ， 最 小 值 是 第 1 个 顺序 统计 量 (; 一 1) ， 最 大 值 是 第 ”个 顺序 统计 量 
(i 二 n) 。 用 非 形式 化 的 描述 来 说 ， 一 个 中 位 数 (median) 是 它 所 属 集合 的 “中 点 元 素 ”。 当 n 为 奇数 
时 ， 中 位 数 是 唯一 的 ， 位 于 i 二 (x 十 1)/2 处 。 当 为 偶数 时 ， 存 在 两 个 中 位 数 ， 分 别 位 于 ;一 zy/2 
Ali=n/2+1 处 。 因 此 ， 如 果 不 考虑 的 奇偶 性 ， 中 位 数 总 是 出 现在 i 二 Ln 十 1)/2| 处 (下 中 位 数 ) 
和 i 二 [Cn 十 2)/2] 处 (上 中 位 数 )。 为 了 简便 起 见 ， 本 书 中 所 用 的 “中 位 数 ” 都 是 指 下 中 位 数 。 

本 章 将 讨论 从 一 个 由 个 互 异 的 元 素 构 成 的 集合 中 选择 第 i 个 顺序 统计 量 的 问题 。 为 了 方便 
起 见 ， 假 设 集合 中 的 元 素 都 是 互 异 的 ， 但 实际 上 我 们 所 做 的 都 可 以 推广 到 集合 中 包含 重复 元 素 
的 情形 。 我 们 将 这 一 问题 形式 化 定义 为 如 下 的 选择 问题 : 

输入 : 一 个 包含 ”个 ( 互 异 的 ) 数 的 集合 A 和 一 个 整数 i，1<<i<n。 

输出 : 元 素 xEA， 且 A 中 恰好 有 ;一 1 个 其 他 元 素 小 于 它 。 

我 们 可 以 在 OCalg 思 时 间 内 解决 这 个 选择 问题 ， 因 为 我 们 可 以 用 堆 排 序 或 归并 排序 对 输入 数 
据 进行 排序 ， 然 后 在 输出 数组 中 根据 下 标 找 出 第 ; 个 元 素 即 可 。 本 章 将 介绍 一 些 更 快 的 算法 。 

在 9.1 节 中 ， 我 们 将 讨论 从 一 个 集合 中 选择 最 小 元 素 和 最 大 元 素 的 问题 。 对 于 一 般 化 选择 问 
题 的 更 有 意思 的 讨论 将 在 接 下 来 的 两 节 中 进行 。9. 2 节 将 分 析 一 个 实用 的 随机 算法 ， 它 在 元 素 互 
异 的 假设 条 件 下 可 以 达到 O(n) 的 期 望 运行 时 间 。9. 3 节 将 给 出 一 个 更 具有 理论 意义 的 算法 , 它 
在 最 坏 情况 下 的 运行 时 间 为 O(n)。 


9. 1 最 小 值 和 最 大 值 

在 一 个 有 个 元 素 的 集合 中 ， 需 要 做 多 少 次 比较 才能 确定 其 最 小 元 素 呢 ? 我们 可 以 很 容易 地 
给 出 n 一 1 次 比较 这 个 上 界 :依次 遍历 集合 中 的 每 个 元 素 ， 并 记录 下 当前 最 小 元 素 。 在 下 面 的 程 
序 中 ， 我 们 假设 该 集合 元 素 存放 在 数组 A 中 ， 且 A. length=n: 


MINIMUM(A) 
1 min = AL1] 





2 fori 二 2 to A. length 
3 if min > ALi] 
4 | min = Ali] 

5 return min 
当然 ， 最 大 值 也 可 以 通过 n— 1 次 比较 找 出 来 。 

这 是 我 们 能 得 到 的 最 好 结果 吗 ? 是 的 ， 对 于 确定 最 小 值 问题 ， 我 们 可 以 得 到 其 下 界 就 是 ”一 1 
次 比较 。 对 于 任意 一 个 确定 最 小 值 的 算法 ， 可 以 把 它 看 成 是 在 各 元 素 之 间 进 行 的 一 场 锅 标 赛 。 每 
次 比较 都 是 锦标 赛 中 的 一 场 比赛 ， 两 个 元 素 中 较 小 的 获胜 。 需 要 注意 的 是 ， 除 了 最 终 获 胜 者 以 
外 ， 每 个 元 素 都 至 少 要 输 掉 一 场 比赛 。 因 此 ， 我 们 得 到 结论 : 为 了 确定 最 小 值 ， 必 须要 做 ”一 1 
次 比较 。 因 此 ， 从 所 执行 的 比较 次 数 来 看 ， 算 法 MINIMUM 是 最 优 的 。 

同时 找到 最 小 值 和 最 大 什 

在 某 些 应 用 中 ， 我 们 必须 要 找 出 一 个 包含 n 个 元 素 的 集合 中 的 最 小 值 和 最 大 值 。 例 如 ， 一 个 
图 形 程序 可 能 需要 转换 一 组 (z，y) 数 据 ， 使 之 能 适合 一 个 矩形 显示 器 或 其 他 图 形 输出 装置 。 为 
了 做 到 这 一 点 ， 程 序 必须 首先 确定 每 个 坐标 中 的 最 小 值 和 最 大 值 。 
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就 这 一 点 来 说 ， 用 渐 近 最 优 的 OMKER, E n 个 元 素 中 同时 找到 最 小 值 和 最 大 值 的 方法 
是 显然 的 ， 只 要 分 别 独立 地 找 出 最 小 值 和 最 大 值 ， 这 各 需要 ”一 1 次 比较 ， 共 需 2n 一 2 次 比较 。 

Bek, 我们 只 和 需要 最 多 3 Ln/2j] 次 比较 就 可 以 同时 找到 最 小 值 和 最 大 值 。 具 体 的 方法 是 记 
录 已 知 的 最 小 值 和 最 大 值 。 但 我 们 并 不 是 将 每 一 个 输入 元 素 与 当前 的 最 小 值 和 最 大 值 进行 比 
较 一 一 这 样 做 的 代价 是 每 个 元 素 需要 2 次 比较 ， 而 是 对 输入 元 素 成 对 地 进行 处 理 。 首 先 ， 我 们 将 
一 对 输入 元 素 相 互 进行 比较 ， 然 后 把 较 小 的 与 当前 最 小 值 比较 ， 把 较 大 的 与 当前 最 大 值 进 行 比 
较 。 这 样 ， 对 每 两 个 元 素 共 需 3 次 比较 。 

如 何 设 定 已 知 的 最 小 值 和 最 大 值 的 初始 值 依赖 于 ?是 奇数 还 是 偶数 。 如 果 ? 是 奇数 ， 我 们 就 
将 最 小 值 和 最 大 值 的 初 值 都 设 为 第 一 个 元 素 的 值 ， 然 后 成 对 地 处 理 余下 的 元 素 。 如 果 n ERR, 
就 对 前 两 个 元 素 做 一 次 比较 ， 以 决定 最 小 值 和 最 大 值 的 初 值 ， 然 后 与 n 是 奇数 的 情形 一 样 ， 成 对 
地 处 理 余下 的 元 素 。 

下 面 来 分 析 一 下 总 的 比较 次 数 。 如 果 n 是 奇数 ， 那 么 总 共 进 行 31n/2j 次 比较 。 如 果 n EB 
数 ， 则 是 先进 行 一 次 初始 比较 ， 然 后 进行 3(n 一 2)/2 次 比较 ， 共 3n/2 一 2 次 比较 。 因 此 ， 不 管 是 
哪 一 种 情况 ， 总 的 比较 次 数 至 多 是 3 Ln/2j。 


练习 
9.1-1 证 明 : 在 最 坏 情况 下 ， 找 到 个 元 素 中 第 二 小 的 元 素 需 要 nn 十 [lgn1 一 2 次 比较 。 GF: 
可 以 同时 找 最 小 元 素 。) 


*9. 1-2 证明: 在 最 坏 情况 下 ， 同 时 找到 个 元 素 中 最 大 值 和 最 小 值 的 比较 次 数 的 下 界 是 [3n/2 | 一 


2。( 提 示 : 考虑 有 多 少 个 数 有 成 为 最 大 值 或 最 小 值 的 潜在 可 能 ， 然 后 分 析 一 下 每 一 次 比 
较 会 如 何 影响 这 些 计数 .) 


9.2 期 望 为 线性 时 间 的 选择 算法 
一 般 选 择 问题 看 起 来 要 比 找 最 小 值 这 样 的 简单 问题 更 难 。 但 令 人 惊奇 的 是 ， 这 两 个 问题 的 
渐 近 运行 时 间 却 是 相同 的 : 6(z) 。 本 节 将 介绍 一 种 解决 选择 问题 的 分 治 算法 。RANDOMIZED- 
SELECT 算法 是 以 第 7 章 的 快速 排序 算法 为 模型 的 。 与 快速 排序 一 样 ， 我 们 仍然 将 输入 数组 进行 
递归 划分 。 但 与 快速 排序 不 同 的 是 ， 快 速 排序 会 递归 处 理 划 分 的 两 边 ， 而 RANDOMIZED- 
SELECT 只 处 理 划分 的 一 边 。 这 一 差异 会 在 性 能 分 析 中 体现 出 来 : 快速 排序 的 期 望 运行 时 间 是 
@(nlgn), mi RANDOMIZED-SELECT 的 期 望 运行 时 间 为 8(n)。 这 里 ， 假 设 输入 数据 都 是 互 异 的 。 
RANDOMIZED-SELECT 利用 了 7.3 节 介 绍 的 RANDOMIZED-PARTITION 过 程 。 与 

RANDOMIZED-QUICKSORT 一 样 ， 因 为 它 的 部 分 行为 是 由 随机 数 生 成 器 的 输出 决定 的 ， 所 以 
RANDOMIZED-SELECT 也 是 一 个 随机 算法 。 以 下 是 RANDOMIZED-SELECT 的 伪 代 码 ， 它 返 
回 数组 AL p. .rj 中 第 i 小 的 元 素 。 

RANDOMIZED-SELECT (A, p, r, i) 
if p==r 

return AL p | 
q = RANDOMIZED-PARTITION(A, p, r) 
k = q—p+1 
if i == k # the pivot value is the answer 

return A[q] 
else if i < k 

return RANDOMIZED-SELECT(A, p, q—1, i) 
else return RANDOMIZED-SELECT(A, q+1, r, i—k) 


oOo aon QO Oo AeA W N e 
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RANDOMIZED-SELECT 的 运行 过 程 如 下 : 第 1 行 检查 递归 的 基本 情况 ， 即 ALp. . 门 中 只 包 
括 一 个 元 素 。 在 这 种 情况 下 ，i 必然 等 于 1， 在 第 2 行 ， 我 们 只 需 将 ALpj 返 回 作 为 第 i 小 的 元 素 
即 可 。 其 他 情况 ， 就 会 调用 第 3 行 的 RANDOMIZED-PARTITION, 将 数组 A[p. . 门 划分 为 两 个 
(可 能 为 空 的 ) 子 数组 A[p. . g 一 1] 和 AL9 十 1.. 门 ， 使 得 ALp.. g 一 1j 中 的 每 个 元 素 都 小 于 或 等 于 
ALa], 而 ALqj 小 于 ALg 十 1. .rj 中 的 每 个 元 素 。 与 快速 排序 中 一 样 ， 我 们 称 AL9j] 为 主 元 (pivot) 。 
RANDOMIZED-SELECT 的 第 4 行 计算 子 数组 ALz. .qj 内 的 元 素 个 数 &， 即 处 于 划分 的 低 区 的 元 
素 的 个 数 加 1， 这 个 1 指 主 元 。 然 后 ， 第 5 行 检查 ALgj] 是 否 是 第 i 小 的 元 素 。 如 果 是 ， 第 6 行 就 
返回 ALq]。 否 则 ， 算 法 要 确定 第 i 小 的 元 素 落 在 两 个 子 数组 ALp. .gq 一 1 和 ALg 十 1. .站 的 哪 一 个 
之 中 。 如 果 :<&， 则 要 找 的 元 素 落 在 划分 的 低 区 。 第 8 行 就 在 低 区 的 子 数组 中 进一步 递归 查找 。 
如 果 之 &， 则 要 找 的 元 素 落 在 划分 的 高 区 中 。 因 为 我 们 已 经 知道 了 有 个 值 小 于 ALz2. .rj 中 第 i 小 的 
元 素 ， 即 ALp. .gj 内 的 元 素 ， 所 以 ， 我 们 所 要 找 的 元 素 必 然 是 ALg 十 1. .rj 中 的 第 ;一 & 小 的 元 素 。 
它 在 第 9 行 中 被 递归 地 查找 。 上 述 程序 看 起 来 允许 递归 调用 含有 0 个 元 素 的 子 数组 ， 但 练习 9. 2-1 
要 求证 明 这 种 情况 不 可 能 发 生 。 

RANDOMIZED-SELECT 的 最 坏 情况 运行 时 间 为 @(rw)， 即 使 是 找 最 小 元 素 也 是 如 此 ， 因 为 
在 每 次 划分 时 可 能 极 不 走运 地 总 是 按 余 下 的 元 素 中 最 大 的 来 进行 划分 ， 而 划分 操作 需要 BCn) 时 
间 。 我 们 也 将 看 到 该 算法 有 线性 的 期 望 运行 时 间 ， 又 因为 它 是 随机 化 的 ， 所 以 不 存在 一 个 特定 的 
会 导致 其 最 坏 情况 发 生 的 输入 数据 。 

为 了 分 析 RANDOMIZED-SELECT 的 期 望 运行 时 间 ， 我 们 设 该 算法 在 一 个 含有 7 个 元 素 的 
输入 数组 A[z.. 门 上 的 运行 时 间 是 一 个 随机 变量 ， 记 为 TC(n)。 下 面 我 们 可 以 得 到 E[T(n)] 的 一 
MER: 程序 RANDOMIZED-PARTITION 能 等 概率 地 返回 任何 元 素 作 为 主 元 。 因 此 ， 对 每 一 
个 (1<k<n)， 子 数组 ALD... gd] 有 个 元 素 ( 全 部 小 于 或 等 于 主 元 ) 的 概率 是 1/"。 对 所 有 一 1， 
2，。…，71， 定义 指示 器 随机 变量 X: 为 : 

X= FAHA ALp. .gj 正好 包含 个 元 素 } 
然后 ， 假 设 元 素 是 互 异 的 ， RITA: 
EL X, | = 1/n (9. 1) 

当 调 用 RANDOMIZED-SELECT 并 选择 ALqj 作 为 主 元 时 ， 事先 并 不 知道 是 否 会 立即 得 到 正 
确 答案 而 结束 ， 或 者 在 子 数组 ALp. .gq 一 1] 上 递归 ， 或 者 在 子 数组 A[g 十 1. .rj 上 递归 。 这 个 决定 
依赖 于 第 i 小 的 元 素 相对 于 ALgj] 落 在 哪个 位 置 。 假 设 T(n) 是 单调 递增 的 ， 通 过 评估 最 大 可 能 的 
输入 数据 递归 调用 所 需 时 间 ， 我 们 可 以 给 出 递归 调用 所 需 时 间 的 上 界 。 也 就 是 说 ， 为 了 得 到 上 
界 ， 我 们 假定 第 i 个 元 素 总 是 在 划分 中 包含 较 大 元 素 的 一 边 。 对 一 个 给 定 的 RANDOMIZED- 
SELECT， 指 示 器 随机 变量 X 恰好 在 给 定 的 & 值 上 取 值 1， 对 其 他 值 都 为 0。 当 X==1 时 ， 我 们 
可 能 要 递归 处 理 的 两 个 子 数 组 的 大 小 分 别 为 & 一 1 和 "一 &。 因 此 可 以 得 到 递归 式 : 


Tn) < > X, © (TGmax(k — 1,n—k)) On)) 


= J) X, + Tomax(k—1,2—&)) +O) 
两 边 取 期 望 值 ， 得 到 


ELT(n)]<E| 
k= 


| X, e T(max(k—1,n—k)) + O(n) | 
| 


— 


= ELX, © Timax(k—1,n—k))|+Om) (期 望 的 线性 性 质 ) 


1 


= > ,ELX,]。E[T(max(k 一 1,n 一 &)) |] 十 O(n) (利用 公式 (C. 24)) 
k= 


— 
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= > =. - E[T(max(k—1,n—2))]+OM) (利用 公式 (9.1)) 


公式 (C. 24) 的 应 a FN X, 和 了 (max(k 一 1，n 一 &)) 是 独立 的 随机 变量 。 练 习 9. 2-2 要 求证 明 这 
个 命题 。 
下 面 来 考虑 一 下 表达 式 max(k—-1, n—k), RIE 
k—1 #k>[n/2| 
n 一 k #kX<[n/2] 
WR n EBZ, MWA Tdn/2) 到 T(x 一 1) 的 每 一 项 在 总 和 中 恰好 出 现 两 次 。 如 果 n 是 奇数 ， 除 了 
Tn/2) 出 现 一 次 以 外 ， ee eee 因此 ， 我 们 有 


ELT] <— 2 > ELT) +O) 


我 们 将 用 替代 法 来 得 到 ELT(n)]=O(). E LGR AME SRT a ERIE PE 有 
ELT(n) ] 声 cn。 假设 对 小 于 某 个 常数 的 n， 有 TCn) = 二 OC1) ( 稍 后 将 用 到 这 个 常数 )。 同 时 ， 还 要 选 
择 一 个 常数 a， 使 得 对 所 有 的 n>0, EH O(n) 项 所 描述 的 函数 (用 来 表示 算法 运行 时 间 中 的 非 
递归 部 分 ) 有 上 界 an。 利 用 这 个 归纳 假设 ， 可 以 得 到 : 


7 一 1 
ELT@)]<+ Dy ck+an 


(de- — $5 k) +an 
(n—1)n_¢ ZIV /2] 
- n (n n ) +a a 


= d= DD) 
2 


max(k—1,n—k) = 


Do 
OS 








十 an 


Do 





十 an 


| 
2 
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| 
上 一 
D4 
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x |~ 
— 
+ 
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为 了 完成 证 明 ， 还 需要 证 明 ， 对 足够 大 的 2， 最 后 一 个 表达 式 至 多 是 cn, SHH, cn/4—c/2— 
an 之 0。 如 果 在 上 式 两 边 加 上 c/2， 并 且 提 取 因 子 2， 就 可 以 得 到 n(c/4—aSc/2, RERE 
的 常数 c 能 够 满足 c/4 一 a 盖 0， 即 c>4a， 就 可 以 将 两 边 同 除 以 c/4 一 a。， 得 到 


c/2 _ 2c 
a c—4a 


因此 ， 如 果 假 设 对 所 有 n<2c/(c—4a), WA Tin)=O01), MARA ELT) ]=OCn), RIT 
以 得 出 这 样 的 结论 : 假设 所 有 元 素 是 互 异 的 ， 在 期 望 线性 时 间 内 ， 我 们 可 以 找到 任 一 顺序 统计 
量 ， 特 别 是 中 位 数 。 


练习 
9.2-1 证 明 : 在 RANDOMIZED-SELECT 中 ， 对 长 度 为 0 的 数组 ， 不 会 进行 递归 调用 。 
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9.2-2 ”请 讨论 : 指示 器 随机 变量 X A T(max(k—-1, n—k)) ER. 

9.2-3 给 出 RANDOMIZED-SELECT 的 一 个 基于 循环 的 版 本 。 

9.2-4 假设 用 RANDOMIZED-SELECT 去 选择 数组 A=(3, 2, 9, 0, 7, 5, 4, 8, 6, LAR 
DIR » 给 出 能 够 导致 RANDOMIZED-SELECT 最 坏 情况 发 生 的 一 个 划分 序列 。 


9. 3 最 坏 情况 为 线性 时 间 的 选择 算法 


我 们 现在 来 看 一 个 最 坏 情况 运行 时 间 为 O(n) 的 选择 算法 。 像 RANDOMIZED-SELECT — 





RE, SELECT 算法 通过 对 输入 数组 的 递归 划分 来 找 出 所 需 元 素 ， 但 是 ， 在 该 算法 中 能 够 保证 得 
到 对 数组 的 一 个 好 的 划分 。SELECT 使 用 的 也 是 来 自 快 速 排序 的 确定 性 划分 算法 PARTITION 
( 见 7.1 节 )， 但 做 了 修改 ， 把 划分 的 主 元 也 作为 输入 参数 。 

通过 执行 下 列 步骤 ， 算 法 SELECT 可 以 确定 一 个 有 nn 之 1 个 不 同 元 素 的 输入 数组 中 第 i 小 的 
元 素 。( 如 果 n= 二 1， 则 SELECT 只 返回 它 的 唯一 输入 数值 作为 第 ;小 的 元 素 。) 

1. 将 输入 数组 的 个 元 素 划分 为 ln/5J 组 ， 每 组 5 个 元 素 ， 且 至 多 只 有 一 组 由 剩 下 的 n mod5 
个 元 素 组 成 。 

2. 寻找 这 [zw/5 组 中 每 一 组 的 中 位 数 : 首先 对 每 组 元 素 进行 插入 排序 ， 然 后 确定 每 组 有 序 元 
素 的 中 位 数 。 

3. 对 第 2 步 中 找 出 的 [mn/51 个 中 位 数 ， 递 归 调 用 SELECT 以 找 出 其 中 位 数 zx( 如 果 有 偶数 个 中 
位 数 ， 为 了 方便 ， 约 定 x 是 较 小 的 中 位 数 )。 

4. 利用 修改 过 的 PARTITION 版 本 ， 按 中 位 数 的 中 位 数 z 对 输入 数组 进行 划分 。 让 上 比划 
分 的 低 区 中 的 元 素数 目 多 1， 因此 r 是 第 & 小 的 元 素 ， 并 且 有 7 一 & 个 元 素 在 划分 的 高 区 。 

5. 如 果 i 二 k&， 则 返回 x。 如果 ik， 则 在 低 区 递归 调用 SELECT 来 找 出 第 i 小 的 元 素 。 如 果 
i>k， 则 在 高 区 递归 查找 第 i 一 & 小 的 元 素 。 

为 分 析 SELECT 的 运行 时 间 ， 我 们 先 要 确定 大 
于 划分 主 元 z 的 元 素 个 数 的 下 界 。 图 9-1 给 出 了 一 
些 形象 的 说 明 。 在 第 2 步 找 出 的 中 位 数 中 ， 至 少 有 
一 半 大 于 或 等 于 中 位 数 的 中 位 数 ze 。 因 此 ， 在 这 
[n/51 个 组 中 ， 除 了 当 =” 不 能 被 5 整除 时 产生 的 所 含 
TROF 5 的 那个 组 和 包含 z 的 那个 组 之 外 ， 至 少 
有 一 半 的 组 中 有 3 个 元 素 大 于 x。 不 算 这 两 个 组 ， 














大 于 的 元 素 个 数 至 少 为 : | B 
| fn 图 9-1 对 算法 SELECT 的 分 析 。 所 有 n 个 元 
(|| ||-2) = 2-6 素 都 由 小 圈 来 表示 ， 并 且 每 一 组 的 5 个 

元 素 在 同一 列 上 。 其 中 ， 每 组 的 中 位 数 

类 似 地 ， 至 少 有 3n/10 6 个 元 素 小 于 Lo 因此 ， 在 用 白色 图表 示 ， 而 中 位 数 的 中 位 数 x 也 

最 坏 情况 下 ， 在 第 5 步 中 ，SELECT 的 递归 调用 最 被 标识 出 来 ( 当 查 找 偶数 个 元 素 的 中 位 

多 作用 于 7n/10+6 个 元 素 。 数 时 ， 使 用 较 小 的 中 位 数 )。 箭 头 从 较 

现在 , 我 们 可 以 设计 一 个 递归 式 来 推导 APER EE fae 

SELECT 算法 的 最 坏 情况 运行 时 间 TCa) 了 。 步 又 看 出 ， 在 工 的 右边 ， 每 一 个 包含 5 个 元 
i 、 素 的 组 中 有 3 个 元 素 大 于 xz。 在 xz 的 左 

1、2 和 4 需要 OG) ITE. EUR 2 是 对 大 小 为 O(1) 边 ， 每 一 个 包含 5 个 元 素 的 组 中 有 3 个 

的 集合 调用 O(n) 次 插入 排序 。) 步 又 3 所 需 时 间 为 元 素 小 于 zx。 大 于 z 的 元 素 的 背景 以 阴 


T([n/5),| 2698 5 所 需 时 间 至 多 为 TC(7n/10 十 6)。 影 来 显示 





名” 因为 我 们 假设 这 些 数 是 互 异 的 ， 所 以 除了 z 以 外 的 所 有 元 素 都 大 于 或 小 于 z。 
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这 里 ， 我 们 假设 工 是 单调 递增 的 ， 此 外 ， 我 们 还 要 作 如 下 假设 (这 一 假设 初 看 起 来 似乎 没有 什么 
动机 ) ， 即 任何 少 于 140 个 元 素 的 输入 需要 OC1) 时 间 。 后 面 ， 我们 很 快 就 会 说 明 这 个 魔 数 140 的 
起 源 。 根 据 上 述 假设 ， 可 以 得 到 如 下 递归 式 : 
O(1) 3 n< 140 
T([n/5)) + TC7n/10 +6) +O(n) # n©140 
我 们 用 替换 法 来 证 明 这 个 运行 时 间 是 线性 的 。 更 明确 地 说 ， 我 们 将 证 明 对 某 个 适当 大 的 常数 c 和 
MAK n>0, ATMS. HI, 假设 对 某 个 适当 大 的 常数 c 和 所 有 的 n<140， 有 T(n)<cn; 
如 果 足够 大 ， 这 个 假设 显然 成 立 。 同 时 ， 还 要 挑选 一 个 常数 a， 使 得 对 所 有 的 "之 0， 上 述 公 式 
中 的 O(n?) 项 所 对 应 的 函数 (用 来 描述 算法 运行 时 间 中 的 非 递 归 部 分 ) 有 上 界 aa。 将 这 个 归纳 假设 
代入 上 述 递归 式 的 右边 ， 得 到 : 
T(n) <c[n/5|-+c(7n/10 +6) +an 

< cn/5+c+7cn/10+ 6c+an 

= 9cn/10+7c+an 

= cn 十 (一 cn/10 十 7c 十 an) 


Tin) < 


如 果 下 式 成 立 ， 上 式 最 多 是 cn: 
—cn/10+7c+an<0 (9. 2) 

当 n>70 时， 不等式 (9. 2) 等 价 于 不 等 式 c 宇 l0a(n/(n 一 70))。 因 为 假设 nw 二 140， 所 以 有 n/n 一 
70) 委 2。 因 此 ， 选 择 c20a 就 能 够 满足 不 等 式 (9.2) 。( 注 意 ， 这 里 常数 140 并 没有 什么 特别 之 
处 ， 我 们 可 以 用 任何 严格 大 于 70 的 整数 来 替换 它 ， 然 后 再 相应 地 选择 c BA, RA 
下 SELECT 的 运行 时 间 是 线性 的 。 

与 比较 排序 一 样 ( 见 8. 1 节 )，SELECT 和 RANDOMIZED-SELECT 也 是 通过 元 素 间 的 比较 
来 确定 它们 之 间 的 相对 次 序 的 。 在 第 8 章 中 ， 我 们 知道 在 比较 模型 中 ， 即 使 是 在 平均 情况 下 ， 排 
序 仍然 需要 Qnlgn) 时 间 ( 见 思考 题 8-1) 。 第 8 章 的 线性 时 间 排 序 算法 在 输入 上 作 了 一 些 假设 。 
相反 ， 本 章 中 的 线性 时 间 选 择 算法 不 需要 任何 关于 输入 的 假设 。 它 们 不 受 限 于 Olen FAN 
束 ， 因 为 它们 没有 使 用 排序 就 解决 了 选择 问题 。 因 此 ， 在 本 章 引 言 部 分 介绍 的 排序 和 索引 方法 不 
是 解决 选择 问题 的 渐 近 高 效率 方法 。 


练习 

9.3-1 在 算法 SELECT 中 ， 输 入 元 素 被 分 为 每 组 5 个 元 素 。 如 果 它 们 被 分 为 每 组 7 个 元 素 ， 该 算法 
仍然 会 是 线性 时 间 吗 ? 证 明 ， 如果 分 成 每 组 3 个 元 素 ，SELECT 的 运行 时 间 不 是 线性 的 。 

9.3-2 分 析 SELECT， 并 证 明 : 如 果 n 宇 140， 则 至 少 [n/4 | 个 元 素 大 于 中 位 数 的 中 位 数 zc, BL 


[n/4 | 个 元 素 小 于 x? 
9.33 假设 所 有 元 素 都 是 互 异 的 ， 说 明 在 最 坏 情 况 下 ， 如 何 才 能 使 快速 排序 的 运行 时 间 
为 O(nlgn)。 


*9.3-4 ”对 一 个 包含 ”个 元 素 的 集合 ， 假 设 一 个 算法 只 使 用 比较 来 确定 第 ;小 的 元 素 ， 证 明 : 无 需 


额外 的 比较 操作 ， 它 也 能 找到 第 ;一 1 小 的 元 素 和 第 n 一 i KTR 

9.3-5 ”假设 你 已 经 有 了 一 个 最 坏 情 况 下 是 线性 时 间 的 用 于 求解 中 位 数 的 “黑箱 ” 子 程序 。 设 计 一 
个 能 在 线性 时 间 内 解决 任意 顺序 统计 量 的 选择 问题 算法 。 

9.3-6 ”对 一 个 包含 ”个 元 素 的 集合 来 说 ，& 分 位 数 是 指 能 把 有 序 集合 分 成 个 等 大 小 集合 的 第 
& 一 1 个 顺序 统计 量 。 给 出 一 个 能 找 出 某 一 集合 的 & 分 位 数 的 OCzlg 包 时 间 的 算法 。 

9.3-7 设计 一 个 O(n) 时 间 的 算法 ， 对 于 一 个 给 定 的 包含 n 个 互 蜡 元 素 的 集合 S 和 一 个 正 整 数 
kn， 该 算法 能 够 确定 S 中 最 接近 中 位 数 的 & 个 元 素 。 
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9.3-8 设 X[L1..nj 和 YL1..nj 为 两 个 数组 ， 每 个 都 包含 个 有 序 的 元 素 。 请 设计 一 个 Ol(lgn) 时 
间 的 算法 来 找 出 数组 关 和 YY 中 所 有 2n 个 元 素 的 中 位 数 。 

9.3-9 Olay 教授 是 一 家 石油 公司 的 顾问 。 这 家 公司 正在 计划 建造 一 条 从 东 向 西 的 大 型 输油管 道 ， 这 
一 管道 将 穿越 一 个 有 7 口 油井 的 油田 。 公 司 希 望 上 一 条 管道 支线 沿 着 最 短路 径 从 每 口 油井 连 
接 到 主管 道 (方向 或 南 或 北 )， 如 图 9-2 所 示 。 给 定 每 口 油井 的 zx 和 >y 坐标 ， 教 授 应 该 如 何 选择 
主管 道 的 最 优 位 置 ， 使 得 各 直线 的 总 长 度 最 小 ? 证 明 : 该 最 优 位 置 可 以 在 线性 时 间 内 确定 。 
图 9-2 Olay 教授 需要 确定 东西 向 石油 管道 的 位 置 ， 使 得 南北 向 的 支线 管道 的 总 长 度 最 小 

思考 题 

9-1 (有 麻 序 列 中 的 i 个 最 大 数 ) ”给 定 一 个 包含 nn 个 元 素 的 集合 ， 我 们 希望 利用 基于 比较 的 算 


法 找 出 按 顺序 排列 的 前 ; 个 最 大 元 素 。 请 设计 能 实现 下 列 每 一 项 要 求 ， 并 且 具 有 最 佳 渐 近 

最 坏 情 况 运行 时 间 的 算法 ， 以 a 和 :i 来 表示 算法 的 运行 时 间 : 

a 对 输入 数据 排序 ， 并 找 出 前 ; 个 最 大 数 。 

b. 对 输入 数据 建立 一 个 最 大 优先 队列 ， 并 调用 EXTRACT-MAX 过 程 th. 

e 利用 一 个 顺序 统计 量 算法 来 找到 第 i 大 的 元 素 ， 然 后 用 它 作为 主 元 划分 输入 数组 ， 再 对 
前 i 大 的 数 排序 。 


Lis Les ts Ln KVL, HAL PLM 六 ( 较 小 中 位 数 ) 是 满足 如 下 条 件 的 元 素 ， 
Dw < 


Zz < 


和 . 
21 <4 


例如 ， ， 如 果 元 素 是 0 1, 0.35, 0.05, 0. 1, 0.15，0.05，0.2， 并 且 每 个 元 素 的 权重 等 于 本 

CRIM ATA i=1, 2, ++, 7, MA wS), MAP MAE 0. 1， 而 带 权 中 位 数 是 0. 2。 

a. ue BA 如 果 对 所 有 i=1, 2, e, 12. 都 有 也 ;一 1/m， 那么 215 Tzs ts Ly 的 中 位 数 就 是 z， 
的 带 权 中 位 数 。 

b. 利用 排序 ， 设 计 一 个 最 坏 情况 下 O(Gzlgz) 时 间 的 算法 ， 可 以 得 到 = 个 元 素 的 带 权 中 位 数 。 

c 说 明 如 何 利用 像 9. 3 节 的 SELECT 这 样 的 线性 时 间 中 位 数 算法 ， 在 8@() 最 坏 情况 时 间 内 
求 出 带 权 中 位 数 。 
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邮局 位 置 问题 的 定义 如 下 : 给 定 权 重 分 别 为 Wis UW Tn 的 n 个 点 Pis pz, **s Pas 

我 们 希望 找到 一 个 点 p( 不 一 定 是 输入 点 中 的 一 个 )， 使 得 dj wd Cpp) 最 小 ， 这 里 dla, b) 

表示 点 a 与 5 之 间 的 距离 。 

d. 证 明 : 对 一 维 邮局 位 置 问题 ， 带 权 中 位 数 是 最 好 的 解决 方法 ， 其 中 ， 每 个 点 都 是 一 个 实 
数 ， 点 a 与 5 之 间 的 距离 是 dl(a, b)=l|a—dl. 

e 请 给 出 二 维 邮局 位 置 问题 的 最 好 解决 方法 : 其 中 的 点 是 (zx，y) 的 二 维 坐 标 形式 ， 点 a== 
(x1，) 与 6 二 (x;，%) 之 间 的 距离 是 Manhattan 距离 ， 即 dia, D= |a l +l yy] e 

9-3 《〈 小 顺序 统计 量 ) ”要 在 个 数 中 选 出 第 i 个 顺序 统计 量 ，SELECT 在 最 坏 情况 下 需要 的 比 
BURA Tn) ie Tn) 二 Bl(n)。 但 是 ， 隐 含 在 记号 中 的 常数 项 是 非常 大 的 。 当 i 相对 n 
来 说 很 小 时 ， 我 们 可 以 实现 一 个 不 同 的 算法 ， 它 以 SELECT 作为 子 程序 ， 但 在 最 坏 情 况 下 
所 做 的 比较 次 数 更 少 。 

a. 设计 一 个 能 用 U;(n) 次 比较 在 ”个 元 素 中 找 出 第 ; 小 元 素 的 算法 ， 其 中 ， 
ae T(n) # i> n/2 
| Ln/2j 十 Ui([n/21) 十 TC(2i) 其 他 

(提示 : 从 Ln/2| 个 不 相交 对 的 两 两 比较 开始 ， 然 后 对 由 每 对 中 的 较 小 元 素 构 成 的 集合 进 

行 递 归 。) 
b. WEAR: 如 果 i<n/2, WA Ui;(n)= 二 n 十 OC(TC2i)lg(n/))。 
c WEAR: WR i 是 小 于 n/2 的 常数 ， 则 有 U;(n) 二 n 十 Ol(lgn)。 
d. 证 明 :， 如 果 对 所 有 上 & 宇 2 有 i 二 n/&k&， 则 Ui;(n)= 二 n 十 OC(T(2n/k)lgk)。 

9-4 〈 随 机 选择 的 另 一 种 分 析 方 法 ) ”在 这 个 问题 中 ,我 们 用 指示 器 随机 变量 来 分 析 
RANDOMIZED-SELECT, 这 一 方法 类 似 于 7.4.2 节 中 所 用 的 对 RANDOMIZED- 
QUICKSORT 的 分 析 方 法 。 

与 快速 排序 中 的 分 析 一 样 ， 我 们 假设 所 有 的 元 素 都 是 互 异 的 ， 输 入 数组 A 的 元 素 被 重 
RAH zo z,” zs EP z 是 第 ;i 小 的 元 素 。 因 此 ， 调 用 RANDOMIZED-SELECT(A， 
1, n, RIK] z,. 

对 所 有 IKi<jSn, 设 

X ip = I{ 在 执行 算法 查找 Zk 期 间 9 之 ; 5 Zj 进行 过 比较 )} 
a 给 出 也 LX; ] 的 准确 表达 式 。( 提 示 : 你 的 表达 式 可 能 有 不 同 的 值 ， 依 赖 于 i je kWt.) 
b. 设 X, RIERA) z, 时 A 中 元 素 的 总 比较 次 数 ， 证 明 : 
k 
EXIDE te + bet SH) 
c WEH: ELX <n. 
d. 假设 A 中 的 元 素 都 是 互 异 的 ， 证 明 : RANDOMIZED-SELECT 的 期 望 运 行 时 间 是 O(n)。 
本 章 注 记 


最 坏 情况 下 线性 时 间 查 找 中 位 数 的 算法 是 由 Blum, Floyd, Pratt, Rivest 和 Tarjan[ 50j 设 计 


的 。 快 速 的 随机 化 版 本 则 是 由 HoareL169j] 提 出 的 。Floyd 与 RivestL108] 设 计 了 一 个 改进 的 随机 
化 版 本 ， 它 递归 地 从 一 个 小 的 样本 集中 选取 元 素 作为 划分 的 主 元 。 


目前 ， 确 定 中 位 数 所 需 的 精确 比较 次 数 仍然 是 未 知 的 。Bent 与 JohnL41 .给 出 了 一 个 寻找 中 位 数 的 


比较 次 数 的 下 界 ， 即 2n, Schönhage, Paterson 和 Pippenger[ 302 | 给 出 了 一 个 3n 的 上 界 。Dor 和 Zwick 
证 明了 上 述 这 两 个 界 ， 并 给 出 了 一 个 略 小 的 上 界 2. 95n[93]， 他 们 给 出 的 下 界 是 (2 十 e)nL94j， 以 一 个 
很 小 的 正 数 e， 略 微 改进 了 Dor 等 人 [92] 的 结果 。Paterson[ 272] 描 述 了 这 些 结果 以 及 其 他 相关 的 工作 。 
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集合 作为 计算 机 科学 的 基础 ， 就 如 同 它 们 在 数学 中 所 起 的 作用 。 数 学 
中 的 集合 是 不 变 的 ， 而 由 算法 操作 的 集合 却 在 整个 过 程 中 能 增 大 、 缩 小 或 
发 生 其 他 变化 。 我 们 称 这 样 的 集合 是 动态 的 。 下 面 的 五 章 将 介绍 在 计算 机 
上 表示 和 操作 有 限 动态 集合 的 一 些 基 本 技术 。 

不 同 的 算法 引 能 需要 对 集合 执行 不 同 的 操作 。 例 如 ， 许 多 算法 只 需要 
能 在 一 个 集合 中 插入 和 删除 元 素 ， 以 及 测试 元 素 是 否 属于 集合 。 支 持 这 些 
操作 的 动态 集合 称 为 字典 (dictionary)。 其 他 一 些 算法 需要 更 复杂 的 操作 。 
例如 ， 第 6 章 堆 数据 结构 这 部 分 中 介绍 的 最 小 优先 队列 ， 它 支持 向 集合 插 
人 一 个 元 素 和 从 中 取出 一 个 最 小 元 素 的 操作 。 实 现 动态 集合 的 关键 取决 于 
必须 支持 的 一 些 集合 操作 。 

动态 集合 的 元 素 

在 动态 集合 的 典型 实现 中 ， 每 个 元 素 都 由 一 个 对 象 来 表示 ， 如 果 有 一 


个 指向 对 象 的 指针 ， 就 能 对 其 各 个 属性 进行 检查 和 操作 。(10. 3 节 讨 论 了 





在 编程 环境 中 对 象 和 指针 的 实现 ， 而 这 些 对 象 和 指针 并 没有 作为 基本 的 数 
据 类 型 。) 一 些 类 型 的 动态 集合 假定 对 象 中 的 一 个 属性 为 标识 关键 字 (key)。 
如 有 果 关 键 字 全 不 相同 ， 可 以 将 动态 集合 视 为 一 个 关键 字 值 的 集合 。 对 象 可 
能 包含 卫星 数据 ， 它 们 与 其 他 对 象 属性 一 起 移动 ， 除 此 之 外 ， 集 合 实现 不 
使 用 它们 。 对 象 也 可 以 有 由 集合 操作 使 用 的 属性 ; 这 些 属 性 可 能 包含 有 关 
集合 中 其 他 对 象 的 数据 或 指针 。 

一 些 动态 集合 以 其 关键 字 来 目 于 某 个 全 序 集 为 前 提 条 件 ， 比 如 实数 集 
合 或 按 通 党 字典 序 排序 的 所 有 单词 。 例 如 ， 全 序 关 系 人 允许 定义 一 个 集合 的 


最 小 元 素 ， 也 可 以 确定 比 集合 中 一 个 给 定 元 素 大 的 下 一 个 元 素 。 


动态 集合 上 的 操作 
动态 集合 上 的 操作 可 以 分 为 两 类 : 简单 返回 有 关 集 合 信息 的 查询 操作 


O 和 改变 集合 的 修改 操作 。 下 面 列 出 一 些 标准 操作 。 任 何 具体 应 用 通常 只 需 


有 要 这 些 操作 中 的 若干 个 就 可 以 实现 。 
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SEARCH(S, k): 一 个 查询 操作 ， 给 定 一 个 集合 S 和 关键 字 &， 返 回 指向 S 中 某 个 元 素 的 指 
针 工 ， 使 得 x. key=k; WR S 中 没有 这 样 的 元 素 ， 则 返回 NIL. 

INSERT(S, x): 一 个 修改 操作 ， 将 由 工 指 向 的 元 素 加 入 到 集合 S 中 。 通 常 假定 元 素 z he 
合 S 所 需要 的 每 个 属性 都 已 经 被 初始 化 好 了 。 

DELETE(S, x): 一 个 修改 操作 ， 给 定 指针 z 指向 集合 S 中 的 一 个 元 素 ， 从 S 中 删除 x. 
(注意 ， 这 个 操作 取 一 个 指向 元 素 z 的 指针 作为 输入 ， 和 而 不 是 一 个 关键 字 的 值 。) 

MINIMUM(S): 一 个 查询 操作 ， 在 全 序 集 S 上 返回 一 个 指向 S 中 具有 最 小 关键 字 元 素 的 

SFT 。 

MAXIMUM(S): 一 个 查询 操作 ， 在 全 序 集 S 上 返回 一 个 指向 S 中 具有 最 大 关键 字 元 素 的 
指针 。 

SUCCESSOR(S，z) : 一 个 查询 操作 ， 给 定 关 键 字 属于 全 序 集 S$ 的 一 个 元 素 工 ， 返 回 S 中 比 
工大 的 下 一 个 元 素 的 指针 ; 如果 z 为 最 大 元 素 ， 则 返回 NIL, 

PREDECESSOR(S, x): 一 个 查询 操作 ， 给 定 关 键 字 属于 全 序 集 S 的 一 个 元 素 z， 返 回 S 中 

230] tk 小 的 前 一 个 元 素 的 指针 ; 如 果 z 为 最 小 元 素 ， 则 返回 NIL. 

在 某 些 情况 下 ， 能 够 将 SUCCESSOR 和 PREDECESSOR 查询 操作 推广 应 用 到 一 些 具 有 相同 
关键 字 的 集合 上 。 对 于 一 个 有 2 个 关键 字 的 集合 ， 通 常 的 假设 是 调用 一 次 MAXIMUM 后 再 调用 
n—1 次 SUCCESSOR， 就 可 以 按 序 枚 举 出 该 集合 中 的 所 有 元 素 。 

度量 一 个 集合 操作 的 执行 时 间 通 常 要 对 照 这 个 集合 的 大 小 。 例 如 ， 第 13 章 描述 了 一 种 数据 
结构 ， 对 于 规模 为 n 的 集合 ， 它 能 在 时 间 O(lgn) 内 完成 上 面 列 出 的 每 个 操作 。 

第 三 部 分 概览 

第 10~14 章 描 述 能 够 用 于 实现 动态 集合 的 几 种 数据 结构 ;本 书后 面 将 使 用 其 中 多 种 构造 解 
决 各 种 不 同 问题 的 有 效 算 法 。 另 一 种 重要 的 堆 数据 结构 在 第 6 章 中 已 经 介绍 过 了 。 

第 10 章 给 出 一 些 简 单数 据 结构 的 使 用 基础 ， 如 栈 、 队 列 、 链 表 和 有 根 树 。 本 章 还 要 说 明 在 
不 支持 对 象 和 指针 作为 基本 类 型 的 编程 环境 中 如 何 实现 它们 。 如 果 读 者 学 习 过 编程 课程 或 相关 
入 门 课程 ， 那 么 对 其 中 的 大 部 分 内 容 应 该 是 熟悉 的 。 

第 11 章 介 绍 散 列表 ， 它 支持 字典 操作 INSERT, DELETE 和 SEARCH。 最 坏 情况 下 ， 散 列 
表 上 完成 一 次 SEARCH 操作 需要 O(n) INTE], 但 散 列 表 上 操作 的 期 望 时 间 为 O(1)。 散 列 分 析 依 
赖 于 概率 论 ， 不 过 本 章 的 大 部 分 内 容 并 不 需要 这 方面 的 背景 知识 。 

第 12 章 介 绍 二 又 搜索 树 ， 它 支持 上 面 所 列 出 的 所 有 动态 集合 操作 。 最 坏 情况 下 ,在 有 7 个 
元 素 的 一 棵 树 上 ， 一 次 操作 需要 8(n) 时 间 ; 然而 在 随机 构建 的 一 棵 二 又 搜索 树 上 ， 其 一 次 操作 
的 期 望 时 间 为 O(lgn)。 二 叉 搜 索 树 作为 其 他 许多 数据 结构 的 基础 。 

第 13 章 介 绍 红 黑 树 ， 这 是 二 又 搜索 树 的 一 个 变种 。 与 普通 的 二 又 搜索 树 不 同 ， 红 黑 树 保证 了 
较 好 的 性 能 ,最 坏 情况 下 各 种 操作 只 和 需要 O(lgn) 时 间 。 一 棵 红 黑 树 是 一 种 平衡 搜索 树 ， 第 五 部 分 
中 的 第 18 章 给 出 了 另 一 种 类 型 的 平衡 搜索 树 ， 称 为 B 树 。 虽 然 红 黑 树 的 工作 机 制 有 点 复杂 ， 但 是 
不 用 仔细 研究 这 些 机 制 也 能 了 解 大 部 分 性 质 。 然 而 ， 读 者 通 览 一 下 本 章 的 代码 还 是 非常 有 益处 的 。 

第 14 章 给 出 如 何 将 红 黑 树 进行 扩张 ， 使 其 支持 上 面 所 列 基本 操作 之 外 的 一 些 操作 。 首 先 ， 
对 红 黑 树 进行 扩张 ， 使 得 对 关键 字 和 集合 能 够 动态 地 维护 顺序 统计 量 。 接 着 ,给 出 红 黑 树 的 另 一 种 

不 同 扩 张 方式 ， 用 于 实数 区 间 的 维护 。 


| 第 10 章 


Introduction to Algorithms，Third Edition 


基本 数据 结构 


在 本 章 中 ,我 们 要 讨论 如 何 通过 使 用 指针 的 简单 数据 结构 来 表示 动态 集合 。 虽 然 运用 指针 
可 以 构造 多 种 复杂 的 数据 结构 ， 但 这 里 只 介绍 几 种 基本 的 结构 : 栈 、 队 列 、 链 表 和 有 根 树 。 此 
外 ， 我 们 还 要 介绍 由 数组 构造 对 象 和 指针 的 方法 。 


10. 1 栈 和 队列 


栈 和 队列 都 是 动态 集合 ， 且 在 其 上 进行 DELETE 操作 所 移 除 的 元 素 是 预先 设 定 的 。 在 栈 
(stack) 中， 被 删除 的 是 最 近 插 入 的 元 素 : 栈 实现 的 是 一 种 后 进 先 出 (last-in，first-out，LIFO) 策 
略 。 类 似 地 ， 在 队列 (queue) 中 ， 被 删 去 的 总 是 在 集合 中 存在 时 间 最 长 的 那个 元 素 : 队列 实现 的 
是 一 种 先进 先 出 (firstin，firstout，FIFO) 策 略 。 在 计算 机 上 实现 栈 和 队列 有 几 种 有 效 方式 。 本 
节 将 介绍 如 何 利 用 一 个 简单 的 数组 实现 这 两 种 结构 。 

栈 

栈 上 的 INSERT 操作 称 为 压 人 (PUSH) ， 而 无 元 素 参数 的 DELETE 操作 称 为 弹出 (POP)。 
这 两 个 名 称 使 人 联想 到 现实 中 的 栈 ， 比 如 餐馆 里 装 有 弹 筑 的 操 盘 子 的 栈 。 盘 子 从 栈 中 弹出 的 次 
序 刚 好 同 它 们 压 人 的 次 序 相 反 ， 这 是 因为 只 有 最 上 面 的 盘子 才能 被 取 下 来 。 

如 图 10-1 所 示 ， 可 以 用 一 个 数组 SLL. .nj 来 实现 一 个 最 多 可 容纳 个 元 素 的 栈 。 该 数组 有 一 
个 属性 S. top， 指 向 最 新 插入 的 元 素 。 栈 中 包含 的 元 素 为 SL1.. S. top], XF SL1j 是 栈 底 元 素 ， 
而 SLS. cop ÆRMER. 








(a) (b) (c) 


图 10-1 栈 S 的 数组 实现 。 只 有 出 现在 浅 灰色 格子 里 的 才 是 栈 内 元 素 。(a) 栈 S 有 4 个 元 素 。 栈 顶 元 素 为 9。 
(b) 调 用 PUSH(GS，17) 和 PUSH(CS，3) 后 的 栈 S。(c) 调 用 POP(S) 并 返回 最 后 压 人 的 元 素 3 HR 
S。 虽 然 元 素 3 仍 在 数组 里 ， 但 它 已 不 在 栈 内 了 ， 此 时 在 栈 顶 的 是 元 素 17 


当 S. top 一 0 时 ， 栈 中 不 包含 任何 元 素 ， 即 栈 是 空 (empty) 的 。 要 测试 一 个 栈 是 否 为 空 可 以 用 
查询 操作 STACK-EMPTY。 如 果 试 图 对 一 个 空 栈 执行 弹出 操作 ， 则 称 栈 下 溢 (underflow)， 这 通 
常 是 一 个 错误 。 如 果 S. top 超过 了 n， 则 称 栈 上 涪 (overflow)。( 在 下 面 的 伪 代 码 实 现 中 ， 我 们 不 
考虑 栈 的 上 溢 问 题 。) 

栈 的 几 种 操作 只 需 分 别 用 几 行 代码 来 实现 ; 

STACK-EMPTY(S) 

1 让 SS.tiop 一 一 0 

2 return TRUE 

3 else return FALSE 


PUSH(S, x) 
1 S.top = S.top +1 
2 SS. top] = x 


233 
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POP(S) 

1 if STACK-EMPTY(S) 

2 error “underflow” 

3 else S. top = S. top — 1 
4 return SLS. top + 1] 


图 10-1 所 示 为 修改 后 的 PUSH 和 POP 操作 的 执行 结果 。 三 种 栈 操作 的 执行 时 间 都 为 0A). 

队列 

队列 上 的 INSERT 操作 称 为 入 队 (ENQUEUE)，DELETE 操作 称 为 出 队 (DEQUEUE); 正 
如 栈 的 POP 操作 一 样 ，DEQUEUE 操作 也 没有 元 素 参数 。 队 列 的 先进 先 出 特性 类 似 于 收银 人 台 前 






排队 等 待 结 账 的 一 排 顾 客 。 队 列 有 队 头 123456789 101112 
(head) MNE (tail), ， 当 有 一 个 元 素 人 队 时 ， (a) Of ie 
它 被 放 在 队 尾 的 位 置 ， 就 像 一 个 新 到 来 的 t t 
顾客 排 在 队伍 末端 一 样 。 而 出 队 的 元 素 则 Q.head=7 Q.tail=12 


总 是 在 队 头 的 那个 ， 就 像 排 在 队伍 前 面 等 
图 10-2 表明 利用 数组 Q[1. .四 来 实现 





一 个 最 多 容纳 4 一 1 个 元 素 的 队列 的 一 种 方 Qtail-3  Q.head=7 
式 。 该 队列 有 一 个 属性 Q. head 指向 队 头 元 


23 4 5 6 7 8 9 10 11 12 


本 eee 


素 。 而 属性 Q tail 则 指向 下 一 个 新 元 素 将 cc) QI 
要 插入 的 位 置 。 队 列 中 的 元 素 存 放 在 位 置 人 人 

Q. head, Q.head+1, ++, Qtail—1, FFE Q.tail=3 QO. head=8 

最 后 的 位 置 环绕 ”感觉 好 像 位 置 1 紧邻 在 。 图 10-。 利用 数组 Q[1.. 12] 实 现 一 个 队列 。 只 有 出 现在 








位 置 n 后面 形成 一 个 环 序 。 当 Q head = 浅 灰色 格子 里 的 才 是 队列 的 元 素 。(a) 队 列 包含 
Q. tail 时 ， 队 列 为 空 。 初 始 时 有 Q. head = 5 个 元 素 , MF QL7..11]。(b) 依 次 调用 
Q. tail 二 1。 如 果 试 图 从 空 队列 中 删除 一 个 ENQUEUE (Q，17)、ENQUEUE (Q, 3) 和 
er et a nd ENQUEUE(Q, 5) 后 队列 的 构成 。(o) 在 调用 
区 i a DEQUEUE(Q) 并 返回 原 队 头 的 关键 字 值 15 后 ， 
Q. tail 十 1 时 ， 队 列 是 满 的 ， 此 时 者 试图 插 队列 的 构成 。 此 时 新 的 队 头 元 素 的 关键 字 为 6 


在 下 面 ENQUEUE 和 DEQUEUE 程序 中 ， 我 们 省 略 了 对 下 游 和 和 上游 的 检查 。( 练 习 10. 1-4 
要 求 读者 给 出 检查 两 种 错误 情况 的 代码 。) 在 下 列 伪 代 码 中 ， 假 设 n=Q. length. 


ENQUEUE(Q，z) 

1 QQ tail] = x 

2 if Q. tail== Q. length 

3 Q. tail = 1 

4 else Q. tail = Q. tail + 1 


DEQUEUE(Q) 

1 «= QQ. head | 

2 if Q. head = Q. length 

3 Q. head = 1 

4 else Q. head =Q. head + 1 
5 


return z 


图 10-2 所 示 为 ENQUEUE 和 DEQUEUE 操作 的 执行 结果 。 两 种 操作 的 执行 时 间 都 为 OO). 
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10. 1-1 仿照 图 10-1， 画 图 表示 依次 执行 操作 PUSH(S, 4), PUSH(S, 1), PUSH(S, 3), POP(S), 
PUSH(S, 8)#l POP(S) 每 一 步 的 结果 ， 栈 S 初始 为 空 ， 存 储 于 数组 SL1. .6j 中 。 

10. 1-2 说 明 如 何在 一 个 数组 ALL. .nj] 中 实现 两 个 栈 ， 使 得 当 两 个 栈 的 元 素 个 数 之 和 不 为 n 时 ， 
两 者 都 不 会 发 生 上 溢 。 要 求 PUSH 和 POP 操作 的 运行 时 间 为 OC). 

10.1-3 仿照 图 10-2， 画 图 表示 依次 执行 操作 ENQUEUE(Q, 4), ENQUEUE(Q, 1), 
ENQUEUE(Q, 3), DEQUEUE(Q), ENQUEUE(Q, 8) #l DEQUEUE(Q) 每 一 步 的 结 
果 ， 队 列 初 始 为 空 ， 存 储 于 数组 QL1. . 6). 

10. 1-4 重 写 ENQUEUE 和 DEQUEUE 的 代码 ， 使 之 能 处 理 队列 的 下 游 和 上 洲 。 

10.1-5 ” 栈 插 入 和 删除 元 素 只 能 在 同一 端 进行 ， 队 列 的 插入 操作 和 删除 操作 分 别 在 两 端 进 行 ， 与 
它们 不 同 的 ， 有 一 种 双 端 队列 (deque)， 其 插入 和 删除 操作 都 可 以 在 两 端 进 行 。 写 出 4 
个 时 间 均 为 0(1) 的 过 程 ， 分 别 实现 在 双 端 队列 的 两 端 插 入 和 删除 元 素 的 操作 ， 该 队列 
是 用 一 个 数组 实现 的 。 

10.1-6 说 明 如 何 用 两 个 栈 实 现 一 个 队列 ， 并 分 析 相 关 队 列 操作 的 运行 时 间 。 

10.1-7 说 明 如 何 用 两 个 队列 实现 一 个 栈 ， 并 分 析 相 关 栈 操作 的 运行 时 间 。 


10.2 链表 


链表 (linked list) 是 一 种 这 样 的 数据 结构 ， 其 中 的 各 对 象 按 线性 顺序 排列 。 数 组 的 线性 顺序 
是 由 数组 下 标 决定 的 ， 然 而 与 数组 不 同 的 是 ， 链 表 的 顺序 是 由 各 个 对 象 里 的 指针 决定 的 。 链 表 为 
动态 集合 提供 了 一 种 简单 而 灵活 的 表示 方法 ， 并 且 能 支持 10. 1 节 中 列 出 的 所 有 操作 (但 未 必 非 党 
有 效 )。 

如 图 10-3 所 示 ， 双 向 链表 (doubly linked list) L 的 每 个 元 素 都 是 一 个 对 象 ， 每 个 对 象 有 一 个 
关键 字 key MAME: next 和 prev。 对 象 中 还 可 以 包含 其 他 的 辅助 数据 (或 称 卫 星 数 据 )。 设 工 
为 链表 的 一 个 元 素 ，z. next 指向 它 在 链表 中 的 后 继 元 素 ，z. prev 则 指向 它 的 前 驱 元 素 。 如 果 
x. prev 一 NIL， 则 元 素 z 没有 前 驱 ， 因 此 是 链表 的 第 一 个 元 素 ， 即 链表 的 头 (head) 。 如 果 x. next= 
NIL， 则 元 素 z 没有 后 继 ， 因 此 是 链表 的 最 后 一 个 元 素 ， 即 链表 的 尾 (tail)。 属 性 L. head 指 回 链 
表 的 第 一 个 元 素 。 如 果 L. head 二 NIL， 则 链表 为 空 。 


prev key next 
| 





(a) ` L.head 


(b) 








(c) L.head 25| “oe ot eT el Le a 


图 10-3 (a) 表 示 动 态 集合 {1，4，9，16}) 的 双向 链表 L。 链 表 中 的 每 个 元 素 都 是 一 个 对 象 ， 拥 有 

关键 字 和 指向 前 后 对 象 的 指针 (用 箭头 表示 )。 表 尾 的 nert 属性 和 表 头 的 prev 属性 都 是 

”NIL， 用 一 个 斜 杠 表 示 。 属 性 L. head 指向 表 头 元 素 。(b) 在 执行 LIST-INSERT(L, X) 

| 之 后 (这 里 x. key=25), 链表 以 关键 字 为 25 的 新 对 象 作为 新 的 表 头 。 该 新 对 象 指 向 原来 

| 关键 字 为 9 的 表 头 元 素 。(c) 随 后 调用 LIST-DELETE(L，X) 的 结果 ， 其 中 指向 关键 字 
' 为 4 的 对 象 


链表 可 以 有 多 种 形式 。 它 可 以 是 单 链接 的 或 双 链接 的 ， 可 以 是 已 排序 的 或 未 排序 的 ， 可 以 是 
循环 的 或 非 循环 的 。 如 果 一 个 链表 是 单 链接 的 (singly linked), ， 则 省 略 每 个 元 素 中 的 prev 指针 。 
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如 果 链 表 是 已 排序 Csorted) 的 ， 则 链表 的 线性 顺序 与 链表 元 素 中 关键 字 的 线性 顺序 一 致 ， 据 此 ， 
最 小 的 元 素 就 是 表 头 元 素 ， 而 最 大 的 元 素 则 是 表 尾 元 素 。 如 果 链 表 是 未 排序 (unsorted) 的 ， 则 各 
元 素 可 以 以 任何 顺序 出 现 。 在 循环 链表 (circular list) 中 ， 表 头 元 素 的 prev 指针 指向 表 尾 元 素 ， 而 
表 尾 元 素 的 nest 指针 则 指向 表 头 元 素 。 我 们 可 以 将 循环 链表 想象 成 一 个 各 元 素 组 成 的 圆 环 。 在 
本 节余 下 的 部 分 中 ， 我 们 假设 所 处 理 的 链表 都 是 未 排序 的 且 是 双 链 接 的 。 

链表 的 搜索 

过 程 LIST-SEARCH(L, &) 采 用 简单 的 线性 搜索 方法 ， 用 于 查找 链表 中 第 一 个 关键 字 为 & 
的 元 素 ， 并 返回 指向 该 元 素 的 指针 。 如 果 链 表 中 没有 关键 字 为 的 对 象 ， 则 该 过 程 返 回 NIL。 对 
于 图 10-3(a) 中 的 链表 ， 调 用 LIST-SEARCH(L，4) 返 回 指向 第 三 个 元 素 的 指针 ， 而 调用 LIST- 
SEARCH(L，7) 则 返回 NIL. 

LIST-SEARCH(L, &) 

1 a= L.head 

2 while z ~ NIL and zx. key Æ k 

3 x= x. next 


4 return z 


要 搜索 一 个 有 ?个 对 象 的 链表 ， 过 程 LIST-SEARCH 在 最 坏 情 况 下 的 运行 时 间 为 OC), A 
为 可 能 需要 搜索 整个 链表 。 

链表 的 插入 

给 定 一 个 已 设置 好 关键 字 key 的 元 素 x， 过 程 LIST-INSERT 将 x 连接 入 ”到 链表 的 前 问 ， 如 
图 10-3(b) 所 示 。 

LIST-INSERT(L, x) 

1 Zz.nezt = L. head 

2 if L. head ~ NIL 

3 L. head. prev = x 

4 L.head = x 

5 x. prev = NIL 


(我 们 知道 属性 符号 是 可 以 散 套 的 ， 因 此 L. head. prev 表示 的 是 L. head 所 指 问 的 对 象 的 
prev 属性 。) 在 一 个 含 n 个 元 素 的 链表 上 执行 LIST-INSERT 的 运行 时 间 是 OA). 

链表 的 删除 

过 程 LIST-DELETE 将 一 个 元 素 xz MERL 中 移 除 。 该 过 程 要 求 给 定 一 个 指 回 z 的 指针 ， 然 
后 通过 修改 一 些 指针 ， 将 x“ 删除 出 ”该 链表 。 如 果 要 删除 具有 给 定 关键 字 值 的 元 素 ， 则 必须 先 调 
用 LIST-SEARCH 找到 该 元 素 。 

LIST-DELETE(L, <x) 

1 if z. prev Æ NIL 


x. prev. next = x. next 


if x. next Æ NIL g 


2 

3 else L. head = x. next 

4 

5 x. next. prev = x. prev 


图 10-3(c) 展 示 了 从 链表 中 删除 一 个 元 素 的 操作 。LIST-DELETE 的 运行 时 间 为 0(1)。 但 如 
果 要 删除 具有 给 定 关 键 字 的 元 素 ， 则 最 坏 情 况 下 需要 的 时 间 为 6(n)， 因 为 需要 先 调 用 LIST- 
SEARCH 找到 该 元 素 。 

哨兵 7 

如 果 可 以 忽视 表 头 和 表 尾 处 的 边界 条 件 ， 则 LIST-DELETE 的 代码 可 以 更 简单 些 : 
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LIST-DELETE'(L，z) 
l z. prev. next = x. next 


2 x. next. prev = x. prev 


哨兵 (sentinel) 是 一 个 哑 对 象 ， 其 作用 是 简化 边界 条 件 的 处 理 。 例 如 ， 假 设 在 链表 工 中 设置 
一 个 对 象 L.inii， 该 对 象 代 表 NIL， 但 也 具有 和 其 他 对 象 相同 的 各 个 属性 。 对 于 链表 代码 中 出 现 
的 每 一 处 对 NIL 的 引用 ， 都 代 之 以 对 哨兵 Le nil 的 引用 。 如 图 10-4 所 示 ， 这 样 的 调整 将 一 个 常 
规 的 双向 链表 转变 为 一 个 有 哨兵 的 双向 循环 链表 (circular，doubly linked list with a sentinel), ， 哨 
KL. nil 位 于 表 头 和 表 尾 之 间 。 属 性 L. nil next 指向 表 头 ，L. nil. prev RARE. BG, HE 
的 next 属性 和 表 头 的 prev 属性 同时 指向 工 . nil, AW L. nil. next 指向 表 头 ， 我 们 就 可 以 去 掉 属 
性 工 . neadg， 并 把 对 它 的 引用 代 蔡 为 对 工 .zl. nezt 的 引用 。 图 10-4(a) 显 示 ， 一 个 空 的 链表 只 由 一 
个 哨兵 构成 ，L. nil. next FL. nil. prev ARTE L. nil. 











图 10-4 ， 带 哨兵 的 双向 循环 链表 。 哨 兵 L. nil 位 于 表 头 和 表 尾 之 间 。 由 于 可 通过 L. nil. next 访问 
FRA, RHL. head 就 不 需要 了 。(a) 空 链表 。(b) 图 10-3(a) 中 的 链表 ， 表 头 关 键 字 为 9， 
表 尾 关键 字 为 1。(c) 执 行 LIST-INSERT'(L，z) 后 的 链表 ， 其 中 z. key 二 25。 新 插入 的 
对 象 成 为 表 头 。(d) 删 除 关键 字 为 1 的 对 象 后 的 链表 。 新 的 表 尾 是 关键 字 为 4 的 对 象 


LIST-SEARCH 的 代码 和 之 前 基本 保持 不 变 ， 只 是 将 对 NIL A L. head 的 引用 如 前 所 述 加 以 
调整 ， 
LIST-SEARCH' (L, k) 
l r= L. nil. next 
while z ZL. nil and x . key Fk 


2 
3 T= x. next 
4 





return x 


我 们 使 用 前 述 的 仅 含 两 4 了 代码 的 过 程 LIST-DELETE 可 以 实现 元 素 的 删除 。 下 面 的 过 程 则 
实现 元 素 的 插入 


LIST-INSERT (L, x) 

1 zx. next = L. nil. next 
2 L. nil next . prev = x 
3 Ls nil, next = x 
4 


T: Drey = L. nil 
图 10-4 展示 了 LIST-INSERT 和 LIST-DELETE 在 该 链表 实例 上 的 执行 结果 。 
哨兵 基本 不 能 降低 数据 结构 相关 操作 的 渐 近 时 间 界 ， 但 可 以 降低 常数 因子 。 在 循环 语句 中 
使 用 哨兵 的 好 处 往往 在 于 可 以 使 代码 简洁 ， 而 非 提高 速度 。 举 例 来 说 ， 使 用 哨兵 使 链表 的 代码 变 
得 简洁 了 ， 但 在 LIST-INSERT 和 LIST-DELETE 过 程 上 仅 节约 了 0O(1) 的 时 间 。 然 而 ， 在 另 一 
些 情况 下 ， 哨兵 的 使 用 使 循环 语句 的 代码 更 紧凑 ， 从 而 降低 了 运行 时 间 中 ”或 二 等 项 的 系数 。 
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我 们 应 当 慎 用 哨兵 。 假 如 有 许多 个 很 短 的 链表 ， 它 们 的 哨兵 所 占用 的 额外 的 存储 空间 会 造 
成 严重 的 存储 浪费 。 本 书 中 ， 仅 当 可 以 真正 简化 代码 时 才 使 用 哨兵 。 


练习 

10. 2-1 
10. 2-2 
10. 2-3 
10. 2-4 
10. 2-5 


10. 2-0 


10. 2-7 


*10. 2-8 


10. 3 


单 链 表 上 的 动态 集合 操作 INSERT 能 否 在 O(1) 时 间 内 实现 ? DELETE 操作 呢 ? 

用 一 个 单 链表 工 实现 一 个 栈 。 要 求 操作 PUSH 和 POP 的 运行 时 间 仍 为 OC). 

用 一 个 单 链 表 工 实现 一 个 队列 。 要 求 操作 ENQUEUE 和 DEQUEUE 的 运行 时 间 仍 为 O). 
如 前 所 述 ，LIST-SEARCH 过 程 中 的 每 一 次 循环 迭代 都 需要 两 个 测试 : 一 是 检查 cH 
L. nil， 另 一 个 是 检查 x. &ey 天 &。 试 说 明 如 何在 每 次 迭代 中 省 略 对 AL. nil 的 检查 。 
使 用 单 向 循环 链表 实现 字典 操作 INSERT、DELETE 和 SEARCH， 并 给 出 所 写 过 程 的 
运行 时 间 。 

动态 集合 操作 UNION 以 两 个 不 相交 的 集合 S AS, 作为 输入 ， 并 返回 集合 S=S,US,, 
包含 S MS 的 所 有 元 素 。 该 操作 通常 会 破坏 集合 S 和 S;。 试 说明 如 何 选 用 一 种 合适 
的 表 类 数据 结构 ， 来 支持 O(1) 时 间 的 UNION 操作 。 

给 出 一 个 8(n) 时 间 的 非 递 归 过 程 ， 实 现 对 一 个 含 n 个 元素 的 单 链表 的 逆转 。 要 求 除 存 
储 链表 本 身 所 需 的 空间 外 ， 该 过 程 只 能 使 用 固定 大 小 的 存储 空间 。 

说 明 如 何在 每 个 元 素 仅 使 用 一 个 指针 x. np( 而 不 是 通常 的 两 个 指针 next 和 prev) 的 情况 
下 实现 双向 链表 。 假 设 所 有 指针 的 值 都 可 视 为 & 位 的 整 型 数 ， 且 定义 x. np= zr. next 
XOR z. prev, Bl x. next 和 xx. prev k WR., (NIL 的 值 用 0 表示 。) 注 意 要 说 明 获 取 
表 头 所 需 的 信息 ， 并 说 明 如 何在 该 表 上 实现 SEARCH, INSERT 和 DELETE 操作 ， 以 
及 如 何在 O(1) 时 间 内 实现 该 表 的 逆转 。 


指针 和 对 象 的 实现 


当 有 些 语言 不 支持 指针 和 对 象 数据 类 型 时 ， 应 当 如 何 实现 它们 呢 ? 本 节 将 会 介绍 在 没有 显 
式 的 指针 数据 类 型 的 情况 下 实现 链 式 数据 结构 的 两 种 方法 。 我 们 将 利用 数组 和 数组 下 标 来 构造 
对 象 和 指针 。 = 12345678 


对 象 的 多 数组 表示 

对 每 个 属性 使 用 一 个 数组 表示 ， 可 以 来 表示 
一 组 有 相同 属性 的 对 象 。 图 10-5 举例 说 明了 如 何 
用 三 个 数组 实现 图 10-3(a) 所 示 的 链表 。 数 组 Rey 
存放 该 动态 集合 中 现 有 的 关键 字 ， 指 针 则 分 别 存 





储 在 数组 next 和 prev 中 。 对 于 一 个 给 定 的 数组 下 图 10-5 用 数组 hey, next 和 prev 表示 图 10-3(a) 


标 zx， 三 个 数组 项 key[zx]、nezt[z] 和 prevlx]— 中 的 链表 。 每 一 列 数组 项 表示 一 个 单一 
的 对 象 。 数 组 内 存放 的 指针 对 应 于 上 方 

起 表示 链表 中 一 个 对 象 。 根 据 这 种 解释 ， 指 针 z 所 示 的 数组 下 标 ; 箭头 给 出 其 形象 表 

即 为 数组 key. next 和 prev 的 一 个 共同 下 标 。 示 。 浅 阴影 的 位 置 存放 的 是 表 内 元 素 。 
在 图 10-3(a) 所 示 的 链表 中 ， 关 键 字 为 4 的 对 变量 L 存放 表 头 元 素 的 下 标 


象 紧邻 关键 字 为 16 的 对 象 之 后 。 在 图 10-5 中 ， 关 键 字 4 出 现在 keyL2]， 关 键 字 16 出 现在 keyL5]， 
因此 neztL5] 二 2，prevL2j] 二 5。 尽 管 常数 NIL 出 现在 表 尾 的 next 属性 和 表 头 的 prev 属性 中 ,但 
我 们 通常 用 一 个 不 能 代表 数组 中 任何 实际 位 置 的 整数 (如 0 或 一 1) 来 表示 。 此 外 变量 工 存 放 表 头 
元 素 的 下 标 。 

对 象 的 单数 组 表示 

计算 机 内 存 的 字 往 往 从 整数 0 到 M—1 进行 编 址 ， 其 中 M 是 一 个 足够 大 的 整数 。 在 许多 程 
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序 设计 语言 中 ， 一 个 对 象 在 计算 机 内 存 中 占据 一 组 连续 的 存储 单元 。 指 针 仅仅 是 该 对 象 所 在 的 
第 一 个 存储 单元 的 地 址 ， 要 访问 对 象 内 其 他 存储 单元 可 以 在 指针 上 加 上 一 个 偏 移 量 。 

在 不 支持 显 式 的 指针 数据 类 型 的 编程 环境 下 ， 我 们 可 以 采用 同样 的 策略 来 实现 对 象 。 图 10-6 
举例 说 明了 如 何 用 单个 数组 A 存储 图 10-3(a) 和 图 10-5 所 示 的 链表 。 一 个 对 象 占用 一 段 连续 的 子 
数组 A[j. . 向， 对 象 中 的 每 个 属性 对 应 于 从 0 到 & 一 7 之 间 的 一 个 偏 移 量 ， 指 向 该 对 象 的 指针 就 
是 下 标 7。 在 图 10-6 中 ， 对 应 于 属性 hey, next Al prev 的 偏 移 量 分 别 为 0、1 和 2。 给 定 一 个 指针 
i, BRM i | brew 的 值 ， 只 需 在 指针 的 值 ;上 加 上 偏 移 量 2， 所 以 要 读 取 的 是 A[i 十 2]。 


ae 123 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 








key | prev 
next 





图 10-6 用 单个 数组 A 表示 图 10-3(a) A 10-5 所 示 的 链表 。 每 个 链表 元 素 的 对 象 都 
在 数组 中 占用 一 段 连续 的 长 度 为 3 的 子 数组 。 三 个 属性 key、next Ml prev 所 
对 应 的 偏 移 量 分 别 是 0、1 和 2。 指 向 某 个 对 象 的 指针 就 是 该 对 象 内 第 一 个 
元 素 的 下 标 。 存 放 链 表 元 素 的 对 象 标 示 成 浅 阴 影 ， 箭 头 指示 链表 的 顺序 


这 种 单数 组 的 表示 法 比较 灵活 ， 因为 它 允 许 不 同 长 度 的 对 象 存 储 于 同一 数组 中 。 管 理 一 组 
异 构 的 对 象 比 管理 一 组 同 构 的 对 象 ( 即 所 有 对 象 有 相同 的 属性 ) 更 困难 。 由 于 我 们 考虑 的 数据 结 
构 大 多 都 是 由 同 构 的 元 素 构 成 ， 因 此 采用 对 象 的 多 数组 表示 法 足够 满足 我 们 的 需求 。 

对 象 的 分 配 与 释放 

回 一 个 双向 链表 表示 的 动态 集合 中 插入 一 个 关键 字 ， 就 必须 分 配 一 个 指向 该 链表 表示 中 疝 
未 利用 的 对 象 的 指针 。 因此 ， 有 必要 对 链表 表示 中 尚未 利用 的 对 象 空间 进行 管理 ， 使 其 能 够 被 分 
He. 在 某 些 系统 中 ， 由 垃圾 收集 器 (garbage collector) 负责 确定 哪些 对 象 是 未 使 用 的 。 然 而 许多 
应 用 非常 简单 ， 可 由 自己 负责 将 未 使 用 的 对 象 返回 给 存储 管理 器 。 我 们 将 以 多 数组 表示 的 双向 
链表 为 例 ， 探 讨 同 构 对 象 的 分 配 与 释放 (或 称 去 分 配 ) 问 题 。 

假设 多 数组 表示 法 中 的 各 数组 长 度 为 加 ， 且 在 某 一 时 刻 该 动态 集合 含有 nam SAER. Mn 
个 对 象 代表 现存 于 该 动态 集合 中 的 元 素 ， 而 余下 的 mn 个 对 象 是 自由 的 (free); 这 些 自由 对 象 
可 用 来 表示 将 要 插入 该 动态 集合 的 元 素 。 

我 们 把 自由 对 象 保存 在 一 个 单 链表 中 ， 称 为 自由 表 (free list). AARRE nert 数组 ， 该 
数组 只 存储 链表 中 的 nert 指针 。 自 由 表 的 头 保存 在 全 局 变量 free 中 。 当 由 链表 工 表示 的 动态 集 
合 非 空 时 ， 自 由 表 可 能 会 和 链表 工 相互 交错 ， 如 图 10-7 所 示 。 注 意 ， 该 表示 中 的 每 个 对 象 不 是 
在 链表 工 中 ， 就 在 自由 表 中 ， 但 不 会 同时 属于 两 个 表 。 

自由 表 类 似 于 一 个 栈 : 下 一 个 被 分 配 的 对 象 就 是 最 后 被 释放 的 那个 。 我 们 可 以 分 别 利用 栈 
操作 PUSH 和 POP 的 链 才 实现 形 去 来 实现 分 配 和 释放 对 象 的 过 程 。 假设 下 述 过 程 中 的 全 局 变量 
free 指 回 自 由 表 的 第 一 个 元 素 。 

ALLOCATE-OBJECT() 

1 if free == NIL 


2 ẹrror “out of space” 








3 else x = free 
4 free = x. next 


5 return x 
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FREE-OBJECT(z) 
l x. next = free 


2 fre=x 





图 10-7 过 程 ALLOCATE-OBJECT 和 FREE-OBJECT 的 执行 结果 。(a) 图 10-5 中 的 链表 ( 浅 
阴影 部 分 ) 和 自由 表 ( 深 阴影 部 分 ) 。 箭 头 标示 自由 表 的 结构 。(b) 调 用 ALLOCATE- 
OBJECTO (返回 下 标 4) Kf teyL4j] 设 为 25、 再 调用 LIST-INSERT(L，4) 处 理 的 结 
果 。 新 自由 表 的 头 为 原 自由 表 中 zeztL4] 所 指 的 对 象 8。(c) 执 行 LIST-DELETE(L, 
5)， 然 后 调用 FREE-OBJECT(5)。 对 象 5 成 为 新 自由 表 的 表 头 ， 对 象 8 紧 随 其 后 


初始 时 自由 表 含 有 全 部 n 个 未 分 配 的 对 象 。 一 旦 自由 表 用 完 ， 再 运行 ALLOCATE-OBJECT 
过 程 将 提示 出 错 。 我 们 其 至 可 以 让 多 个 链表 共用 一 个 自由 表 。 图 10-8 显示 了 两 个 链表 和 一 个 自 
由 表 通 过 数组 key, next 和 prev 彼此 交错 在 一 起 。 
上 述 两 个 过 程 运行 时 间 都 为 O(1)， 因 而 是 非常 
实用 的 。 我 们 可 以 将 其 改造 ， 让 对 象 中 的 任意 一 个 
属性 都 可 以 像 自由 表 的 next 属性 一 样 使 用 ， 从 而 使 
244] ”其 可 以 对 任何 同 构 的 对 象 组 都 适用 。 


练习 


10.3-1 画图 表示 序列 (13，4，8，19，5，11);， 其 存储 形式 为 多 数组 表示 的 双向 链表 。 同 样 画 
出 单数 组 表示 的 形式 。 

10.3-2 对 一 组 同 构 对 和 象 用 单数 组 表示 法 实现 ， 写 出 过 程 ALLOCATE-OBJECT 和 FREE- 
OBJECT. 

10.3-3 在 ALLOCATE-OBJECT 和 FREE-OBJECT 过 程 的 实现 中 ， 为 什么 不 需要 设置 或 重 置 对 
象 的 prev 属性 呢 ? 

10.34 我 们 往往 希望 双向 链表 的 所 有 元 素 在 存储 器 中 保持 紧 姿 ， 例 如 ， 在 多 数组 表示 中 占用 前 
m 个 下 标 位 置 。( 在 页 式 虚拟 存储 的 计算 环境 下 ， 即 为 这 种 情况 ,) 假 设 除 指向 链表 本 身 
的 指针 外 没有 其 他 指针 指向 该 链表 的 元 素 ， 试 说 明 如 何 实现 过 程 ALLOCATE-OBJECT 
和 FREE-OBJECT， 使 得 该 表示 保持 紧凑 。( 提 示 : 使 用 栈 的 数组 实现 。) 

10.3-5 设 L 是 一 个 长 度 为 n 的 双向 链表 ， 存 储 于 长 度 为 m 的 数组 key、prev 和 nezxt 中 。 假 设 这 
些 数组 由 维护 双 链 自由 表 下 的 两 个 过 程 ALLOCATE-OBJECT 和 FREE-OBJECT 进行 管 
H. Bm RF, BA n 个 元 素 在 链表 L 上 ，m 一 nn 个 在 自由 表 上 。 给 定 链表 
和 自由 表 正 ， 试 写 出 一 个 过 程 COMPACTIFY-LIST(L，F)， 用 来 移动 L 中 的 元 素 使 其 
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占用 数组 中 1， Diy, 298% n 的 位 置 ， 调整 自由 表 下 以 保持 其 正确 性 ， 并 且 占 用 数组 中 n+l, 
n 十 2，…，m 的 位 置 。 要 求 所 写 的 过 程 运行 时 间 应 为 @(n) ， 且 只 使 用 固定 量 的 额外 存储 
空间 。 请 证 明 所 写 的 过 程 是 正确 的 。 


10.4 有 根 树 的 表示 

上 一 节 介 绍 的 表示 链表 的 方法 可 以 推广 到 任意 同 构 的 数据 结构 上 。 本 节 中 ， 我 们 专门 讨论 
用 链 式 数据 结构 表示 有 根 树 的 问题 。 我 们 将 首先 讨论 二 叉 树 ， 然 后 给 出 针对 结 点 的 孩子 数 任意 
的 有 根 树 的 表示 方法 。 

树 的 结 点 用 对 象 表 示 。 与 链表 类 似 ， 假设 每 个 结 点 都 含有 一 个 关键 字 &ey。 其 余 我 们 感 兴趣 
的 属性 包括 指向 其 他 结 点 的 指针 ， 它 们 随 树 的 种 类 不 同 会 有 所 变化 。 

二 又 树 

图 10-9 展示 了 在 二 又 树 工 中 如 何 利用 属性 p、left 和 right 存放 指向 父 结 点 、 左 孩子 和 右 孩 
子 的 指针 。 如 果 zx. p=NIL, M z 是 根 结 点 。 如 果 结 点 x 没有 左 孩 子 ， 则 x. left 二 NIL， 右 孩子 
的 情况 与 此 类 似 。 属 性 T. root 指向 整 棵 树 工 的 根 结 点 。 如 果 T. root 二 NIL， 则 该 树 为 空 。 


T.root 





图 10-9 二 叉 树 工 的 表示 。 每 个 结 点 z 都 含有 属性 zx. pE), z. lefi( 左 
POA x. right AF), REF key 在 图 中 未 显示 


分 支 无 限制 的 有 根 树 

二 又 树 的 表示 方法 可 以 推广 到 每 个 结 点 的 孩子 数 至 多 为 常数 的 任意 类 型 的 树 : 只 需要 将 
left 和 right 属性 用 child,, child,, ---, child, 代替 。 当 孩子 的 结 点 数 无 限制 时 ， 这 种 方法 就 失 
效 了 ， 因 为 我 们 不 知道 应 当 预 先 分 配 多 少 个 属性 (在 多 数组 表示 法 中 就 是 多 少 个 数组 )。 此 外 ， 
即使 孩子 数 & 限 制 在 一 个 大 的 常数 以 内 ， 但 若 多 数 结 点 只 有 少量 的 孩子 ， 则 会 浪费 大 量 存 储 
空间 。 

所 幸 的 是 ， 有 一 个 巧妙 的 方法 可 以 用 来 表示 孩子 数 任意 的 树 。 该 方法 的 优势 在 于 ， 对 任意 n 
个 结 点 的 有 根 树 ， 只 需要 O(n) 的 存储 空间 。 这 种 左 孩 子 右 兄弟 表示 法 (left-child，right-sibling 
representation) 如 图 10-10 所 示 。 和 前 述 方法 类 似 ， 每 个 结 点 都 包含 一 个 父 结 点 指针 p, H T. root 
指向 树 工 的 根 结 点 。 然 而 ， 每 个 结 点 中 不 是 包含 指向 每 个 孩子 的 指针 ， 而 是 只 有 两 个 指针 : 

1. x. ltftchild 指向 结 点 x 最 左边 的 孩子 结 点 。 | 

2. x. rightsibling 指向 二 右 侧 相 邻 的 兄弟 结 点 。 

如 果 结 点 工 没 有 孩子 结 点 ， 则 x. lefechild=NIL; 如 果 结 点 工 是 其 父 结 点 的 最 右 孩 子 ， 则 
x. rt ght sibling =NIL, . 
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246 图 10-10 树 工 的 左 孩子 右 兄 弟 表 示 法 。 每 个 结 点 x 都 含有 属性 xz. pCL), x. leftchild 


ae (左下 ) 和 x. rightsibling AP). KEF key 在 图 中 未 显示 
树 的 其 他 表示 方法 


我 们 有 时 也 用 其 他 方法 表示 有 根 树 。 例 如 在 第 6 章 中 ， 我 们 对 一 棵 完全 二 又 树 使 用 堆 来 表 
示 ， 堆 用 一 个 单数 组 加 上 堆 的 最 末 结 点 的 下 标 表示 。 第 21 章 中 的 树 只 需 向 根 结 点 方向 遍历 ， 因 
此 只 需 提 供 父 结 点 的 指针 ， 而 没有 指向 孩子 结 点 的 指针 。 还 有 许多 其 他 的 表示 方法 。 哪 种 方法 最 
优 取决 于 具体 应 用 。 


练习 
10.4-1 画 出 下 列 属性 表 所 示 的 二 又 树 ， 其 根 结 点 下 标 为 6。 


下 标 key left right 
1 12 7 3 


2 15 8 NIL 
3 4 10 NIL 
4 10 5 9 
5 2 NIL NIL 
6 18 1 4 
7 7 NIL NIL 
8 14 6 2 
9 21 NIL NIL 
10 5 NIL NIL 


10.42 ”给 定 一 个 nn 结 点 的 二 又 树 ， 写 出 一 个 O(n) 时 间 的 递归 过 程 ， 将 该 树 每 个 结 点 的 关键 字 
输出 。 
10. 4-3 ”给 定 一 个 nn 结 点 的 二 又 树 ， 写 出 一 个 O(n) 时 间 的 非 递 归 过 程 ， 将 该 树 每 个 结 点 的 关键 
字 输 出 。 可 以 使 用 一 个 栈 作 为 辅助 数据 结构 。 
10. 4-4 ”对 于 一 个 含 ”个 结 点 的 任意 有 根 树 ， 写 出 一 个 O(n) 时 间 的 过 程 ， 输 出 其 所 有 关键 字 。 
该 树 以 左 孩 子 右 兄弟 表示 法 存储 。 
x10. 4-5 ”给 定 一 个 n 结 点 的 二 又 树 ， 写 出 一 个 O(C2z) 时 间 的 非 递 归 过 程 ， 将 该 树 每 个 结 点 的 关键 
248 字 输 出 。 要 求 除 该 树 本 身 的 存储 空间 外 只 能 使 用 固定 量 的 额外 存储 空间 ， 且 在 过 程 中 不 
得 修改 该 树 ， 即 使 是 暂时 的 修改 也 不 允许 。 
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*10.4-6 ”任意 有 根 树 的 左 孩 子 右 兄弟 表示 法 中 每 个 结 氮 用 到 三 个 指针 : lefechild, rightsibling 和 
parent。 对 于 任何 结 点 ， 都 可 以 在 常数 时 间 到 达 其 父 结 点 ， 并 在 与 其 孩子 数 呈 线性 关系 的 
时 间 内 到 达 所 有 和 孩子 结 点 。 说 明 如 何在 每 个 结 点 中 只 使 用 两 个 指针 和 一 个 布尔 值 的 情况 
下 ， 使 结 点 的 父 结 点 或 者 其 所 有 孩子 结 点 可 以 在 与 其 孩子 数 呈 线性 关系 的 时 间 内 到 达 。 


思考 题 
10-1 (链表 间 的 比较 ) 对 于 下 表 中 的 4 种 链表 ， 所 列 的 每 种 动态 集合 操作 在 最 坏 情况 下 的 渐 近 
运行 时 间 是 多 少 ? | 


a ee Ue 
arcas o | | | S 
ONT D | 
DELETE | | 
SUCCESOR, D | | d 
| 
| 
.0 ee! 









PREDECESSOR(L 
MINIMUM(L) 
MAXIMUM(CL) 


10-2 (利用 链表 实现 可 合并 堆 ) ”可 合并 堆 (mergeable heap) 支 持 以 下 操作 : MAKE-HEAP( 创 建 
一 个 空 的 可 合并 堆 )、INSERT、MINIMUM、EXTRACT-MIN 和 UNION。.e 说 明 在 下 列 前 
提 下 如 何 用 链表 实现 可 合并 堆 。 试 着 使 各 操作 尽 可 能 高 效 。 分 析 每 个 操作 按 动态 集合 规模 
的 运行 时 间 。 
a. 链表 是 已 排序 的 。 
b. 链表 是 未 排序 的 。 
c 链表 是 未 排序 的 ， 且 待 合并 的 动态 集合 是 不 相交 的 。 
10-3 (搜索 已 排序 的 紧 姿 链表) ”练习 10. 3-4 讨论 了 如 何 将 含 ”个 元 素 的 链表 紧凑 地 维持 在 数组 
的 前 ”个 位 置 。 假 设 所 有 的 关键 字 均 不 相同 ， 且 紧凑 链表 是 已 排序 的 ， 即 对 所 有 的 ;一 1， 
2, +, nA nextlLiJANIL, Æ ReyLi<&eytzaeztl zj。 又 假设 有 一 个 变量 工 存 放 链 表 的 首 
元 素 的 下 标 。 在 这 些 假 设 下 ， 试 说 明 可 以 利用 下 列 随机 算法 在 OVa) 的 期 望 时 间 内 搜索 
COMPACT-LIST-SEARCH(L, n, &) 
La Ee 
2 while z + NIL and keyli] < k 
3. j = RANDOM(1, n) 


4 if key[i| < key[ j] and keyl[j] < k 
A i=j 

6 if key[i] == k 

7 | return 1 

8 i = next i | 

9 ifi == NILorkey[i]>k 
10 | return NIL 


11 else return 1 





OQ ”由于 我 们 已 经 定义 了 一 个 支持 MINIMUM 和 EXTRACT-MIN 操作 的 可 合并 堆 ， 我 们 也 可 以 将 它 视 为 一 个 可 合 
并 最 小 堆 。 再 者 ， 如 果 这 个 堆 支持 MAXIMUM 和 EXTRACT-MAX 操作 ， 就 是 一 个 可 合并 最 大 堆 。 
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如 果 忽 略 过 程 中 第 3 一 7 行 ， 就 得 到 一 个 普通 的 搜索 已 排序 链表 的 算法 ， 其 中 下 标 i 
依次 指向 链表 的 各 个 位 置 。 当 下 标 i 越 出 表 的 末端 或 keyLij 之 时， 搜索 终止 。 在 后 一 种 
情况 中 ， 如 果 keyLi] 二 =k， 显然， 我 们 已 找到 值 为 的 关键 字 。 但 如 果 keyli]>k, WRN 
永远 也 找 不 到 值 为 的 关键 字 ， 因 而 终止 查找 是 正确 的 。 

第 3 一 7 行 意图 向 前 跳 至 某 个 随机 选择 的 位 置 ;}。 当 key lj] AKF keyLij 而 不 大 于 时 ， 
这 种 跳 路 是 有 益 的 。 因 为 这 种 情况 下 ，j 在 链表 中 标识 了 一 个 正常 搜索 中 i 将 要 到 达 的 位 
置 。 由 于 该 链表 是 紧 资 的， 所 以 在 1 到 ”中 任意 选择 一 个 7 都 会 指向 链表 中 的 某 个 对 象 ， 
而 不 会 是 自由 表 中 的 某 个 位 置 。 

”我 们 不 直接 分 析 COMPACT-LIST-SEARCH 的 性 能 ， 而 是 要 分 析 一 个 相关 的 算法 
COMPACT-LIST-SEARCH ， 该 算法 执行 两 个 独立 的 循环 。 该 算法 增加 了 一 个 参数 :， 用 
来 决定 第 一 个 循环 迭代 次 数 的 上 限 。 

COMPACT-LIST-SEARCH (L, n, k, t) 

1 i=L 

2 forg=1tot 

3 j = RANDOM(1, n) 
4 if keyli] < key[j] and keylj] < k 
5 i=j 
6 if key[i] == k 
7 return z 
8 while i ~ NIL and key[i| < k 
9 i = nezxtl i] 
10 ifi == NiLorkeyli] > k 
11 return NIL 


12 else return ż 


为 了 比较 算法 COMPACT-LIST-SEARCH(L, n, k) 和 COMPACT-LIST-SEARCH' 

( 工 ，7，&， 力 的 执行 过 程 ， 假 定 调用 RANDOM(1，z) 所 返回 的 整数 序列 在 两 个 算法 中 是 

一 样 的 。 

a. 假设 COMPACT-LIST-SEARCH(L, n, k) p% 2 一 8 475 while 循环 经 过 了 :次 迭代 。 
论证 COMPACT-LIST-SEARCH' (L, n, k, t) &)8 BRR WAR, H COMPACT- 
LIST-SEARCH 中 的 for 循环 和 while 循环 的 迭代 次 数 之 和 至 少 为 i。 

Æ COMPACT-LIST-SEARCH'(L, n, k, tz) 的 调用 中 ， 设 随机 变量 X, 描述 了 第 
2 一 7 行 的 for 循环 经 t 次 迭代 后 链表 中 从 位 置 i 到 目标 关键 字 & 之 间 的 距离 ( 即 通过 next 
指针 链 ) 。 

b. 论证 COMPACT-LIST-SEARCH'(L，”，&， 力 的 期 望 运行 时 间 为 OGz 十 ELX,])。 


c, 证 明 : ELX,] 过 YA r/n. GER: 利用 等 式 (C. 25).) 


d. 证 明 : sy <n"/(t+1). 

e WH: ELX,]<n/(@t+1). 

f. 证 明 ，COMPACT-LIST-SEARCH (L, n, k, DREZI EA Olttn/t). 

g. 证 明 : COMPACT-LIST-SEARCH 的 期 望 运 行 时 间 为 OW/n) . 

h. 为 什么 要 假设 COMPACT-LIST-SEARCH 中 的 所 有 关键 字 均 不 相同 ? 论证 当 链 表 中 包 
含 重复 的 关键 字 时 ， 随 机 跳跃 不 一 定 能 降低 渐 近 时 间 ，。 


第 10 章 基本 数据 结构 。 141 


本 章 注 记 

Aho、Hopcroft、Ullman[ 6] 和 Knuth[ 209] 都 是 基本 数据 结构 方面 的 优秀 参考 资料 。 很 多 其 
他 的 教材 都 介绍 了 基本 的 数据 结构 及 其 在 某 种 特定 编程 语言 下 的 实现 。 这 类 教材 包括 Goodrich 
和 Tamassia[ 147], Main[ 241 ]、Shaffer[ 311 ]， 以 及 Weiss[ 352，353，354 ]。Gonnet[ 145 ] 则 提 
供 了 许多 数据 结构 操作 性 能 方面 的 实验 数据 。 

栈 和 队列 作为 计算 机 科学 中 的 数据 结构 ， 它 们 的 起 源 已 不 得 而 知 ， 因 为 早 在 数字 计算 机 发 
明 以 前 ， 相 应 的 概念 就 已 经 在 数学 和 论文 出 版 形式 的 商业 应 用 中 出 现 了 。Knuth[L209] 提 到 了 
A. M. Turing 在 1947 年 为 子 程序 的 链接 问题 发 展 了 栈 技术 。 

基于 指针 的 数据 结构 也 似乎 是 来 自 于 一 项 民间 发 明 。 根 据 Knuth 的 说 法 ， 显 然 ， 指 针 在 早 
期 的 磁 鼓 式 存储 器 计算 机 中 就 被 使 用 了 。G. M. Hopper 于 1951 年 发 明 的 A-1 语言 将 代数 式 表 示 
成 二 叉 树 的 形式 。Knuth 认为 ， 由 A. Newell, J.C. Shaw 和 H. A. Simon 于 1956 年 提出 的 IPL-II 
语言 ， 真 正 意识 到 了 指针 的 重要 性 并 促进 了 指针 的 使 用 。 他 们 于 1957 年 提出 的 PLI 语言 包含 
了 具体 的 栈 操作 。 
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许多 应 用 都 需要 一 种 动态 集合 结构 ， 它 至 少 要 支持 INSERT, SEARCH 和 DELETE 字典 操作 。 
例如 ， 用 于 程序 语言 编译 的 编译 器 维护 了 一 个 符号 表 ， 其 中 元 素 的 关键 字 为 任意 字符 串 ， 它 与 程 
序 中 的 标识 符 相 对 应 。 散 列表 (hash table) 是 实现 字典 操作 的 一 种 有 效 数据 结构 。 尽 管 最 坏 情况 下 ， 
散 列 表 中 查找 一 个 元 素 的 时 间 与 链表 中 查找 的 时 间 相 同 ， 达 到 了 8B(n)。 然 而 在 实际 应 用 中 ， 散 列 
查找 的 性 能 是 极 好 的 。 在 一 些 合理 的 假设 下 ， 在 散 列 表 中 查找 一 个 元 素 的 平均 时 间 是 OC). 

散 列 表 是 普通 数组 概念 的 推广 。 由 于 对 普通 数组 可 以 直接 寻 址 ， 使 得 能 在 O(1) 时 间 内 访问 
数组 中 的 任意 位 置 。11. 1 节 将 更 详细 地 讨论 直接 寻 址 。 如 果 存 储 空间 允许 ， 我 们 可 以 提供 一 个 
数组 ， 为 每 个 可 能 的 关键 字 保 留 一 个 位 置 ， 以 利用 直接 寻 址 技术 的 优势 。 

当 实 际 存储 的 关键 字数 目 比 全 部 的 可 能 关键 字 总 数 要 小 时 ， 采 用 散 列 表 就 成 为 直接 数组 寻 
址 的 一 种 有 效 蔡 代 ， 因 为 散 列 表 使 用 一 个 长 度 与 实际 存储 的 关键 字数 目 成 比例 的 数组 来 存储 。 
在 散 列 表 中 ， 不 是 直接 把 关键 字 作为 数组 的 下 标 ， 而 是 根据 关键 字 计 算出 相应 的 下 标 。11. 2 节 
介绍 这 种 技术 的 主要 思想 ， 着 重 介 绍 通过 “链接 ”(chaining) 方 法 解决 “冲突 ”(collision) 。 所 谓 冲 
突 ， 就 是 指 多 个 关键 字 映 射 到 数组 的 同一 个 下 标 。11. 3 节 介 绍 如 何 利用 散 列 函数 根据 关键 字 计 
算出 数组 的 下 标 。 另 外 ， 还 将 介绍 和 分 析 散 列 技术 的 几 种 变形 。11. 4 节 介 绍 “ 开 放 寻 址 法 ”(open 
addressing) ， 它 是 处 理 冲 突 的 另 一 种 方法 。 散 列 是 一 种 极其 有 效 和 实用 的 技术 : 基本 的 字典 操作 
平均 只 需要 O(1) 的 时 间 。11. 5 节 介 绍 当 关键 字 集 合 是 静态 存储 ( 即 关 键 字 集合 一 旦 存 人 后 就 不 
再 改变 ) 时 ,“ 完 全 散 列 ”(perfect hashing) 如 何 能 够 在 O(1) 的 最 坏 情 况 时 间 内 完成 关键 字 查 找 。 


11. 1 直接 寻 址 表 


当 关 键 字 的 全 域 U 比较 小 时 ， 直 接 寻 址 是 一 种 简单 而 有 效 的 技术 。 假 设 某 应 用 要 用 到 一 个 
动态 集合 ， 其 中 每 个 元 素 都 是 取 自 于 全 域 U={0，1，…，m 一 1} 中 的 一 个 关键 字 ， 这 里 mm 不 是 
一 个 很 大 的 数 。 男 外 ， 假设 没有 两 个 元 素 具 有 相同 的 关键 字 。 

为 表示 动态 集合 ， 我 们 用 一 个 数组 ， 或 称 为 直接 寻 址 表 (direct-address table) ， 记 为 TLO..m—1]. 
其 中 每 个 位 置 ， 或 称 为 槽 (slot) ， 对 应 全 域 U 中 的 一 个 关键 字 。 图 11-1 描绘 了 该 方法 。 槽 & 指 向 
集合 中 一 个 关键 字 为 & 的 元 素 。 如 果 该 集合 中 没有 关键 字 为 & 的 元 素 ， 则 TLRI=NIL. 








图 11-1 如 何 用 一 个 直接 寻 址 表 工 来 实现 动态 集合 。 全 域 U 一 (0，1，…，9} 中 的 每 个 关键 
字 都 对 应 于 表 中 的 一 个 下 标 值 。 由 实际 关键 字 构成 的 集合 K={2, 3, 5, HIREK 
中 的 一 些 槽 ， 这 些 槽 包含 指向 元 素 的 指针 。 而 另 一 些 槽 包含 NIL， 用 深 阴 影 表示 
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几 个 字典 操作 实现 起 来 比较 简单 : 
DIRECT-ADDRESS-SEARCH(T,&) 
1 return T[k] 


DIRECT-ADDRESS-INSERT(T, x) 
1 Tlz.key]=x 





DIRECT-ADDRESS-DELETE(T, x) 
1 TL: key]= 一 NIL 


上 述 的 每 一 个 操作 都 只 需 O(1) 时 间 。 

对 于 某 些 应 用 ， 直 接 寻 址 表 本 身 就 可 以 存放 动态 集合 中 的 元 素 。 也 就 是 说 ， 并 不 把 每 个 元 素 
的 关键 字 及 其 卫星 数据 都 放 在 直接 寻 址 表 外 部 的 一 个 对 象 中 ， 再 由 表 中 某 个 槽 的 指针 指向 该 对 
象 ， 而 是 直接 把 该 对 象 存放 在 表 的 槽 中 ， 从 而 节省 了 空间 。 我 们 使 用 对 象 内 的 一 个 特殊 关键 字 来 
表明 该 本 为 空 槽 。 而 且 ， 通 常 不 必 存 储 该 对 象 的 关键 字 属性 ， 因 为 如 果 知 道 一 个 对 象 在 表 中 的 下 
标 ， 就 可 以 得 到 它 的 关键 字 。 然而 ， 如 果 不 存储 关键 字 ， 我 们 就 必须 有 某 种 方法 来 确定 某 个 槽 是 


11.1-1 假设 一 动态 集合 S 用 一 个 长 度 为 m 的 直接 寻 址 表 工 来 表示 。 请 给 出 一 个 查找 S 中 最 大 
元 素 的 过 程 。 你 所 给 的 过 程 在 最 坏 情 况 下 的 运行 时 间 是 多 少 ? 

11.1-2 位 向 量 (bit vector) 是 一 个 仅 包 含 0 和 1 的 数组 。 长 度 为 m 的 位 向 量 所 占 空间 要 比 包含 
个 指针 的 数组 少 1 导 多 。 请 说 明 如 何 用 一 个 位 向 量 来 表示 一 个 包含 不 同 元 素 ( 无 卫星 数据 ) 

的 动态 集合 。 字典 操作 的 运行 时 间 应 为 0(1)。 

11. 1-3 ” 试 说 明 如 何 实现 一 个 直接 寻 址 表 ， 表 中 各 元 素 的 关键 字 不 必 都 不 相同 ， 且 各 元 素 可 以 有 
卫星 数据 。 所 有 三 种 字典 操作 (INSERT、DELETE 和 SEARCH) 的 运行 时 间 应 为 OC). 
(KER 记 DELETE 要 处 理 的 是 被 删除 对 象 的 指针 变量 ， 而 不 是 关键 字 。) 

*11. 1-4 我 们 希望 在 一 个 非常 大 的 数组 上 ， 通过 利用 直接 寻 址 的 方式 来 实现 一 个 字典 。 开 始 时 ， 

该 数组 中 可 能 包含 一 些 无 用 信息 ， 但 要 对 整个 数组 进行 初始 化 是 不 太 实际 的 ， 因 为 该 数 

组 的 规模 太 大 。 请 给 出 在 大 数组 上 实现 直接 寻 址 字典 的 方案 。 每 个 存储 对 象 占用 OA) 

空间 ; SEARCH, INSERT 和 DELETE 操作 的 时 间 均 为 0(1); 并 且 对 数据 结构 初始 化 

的 时 间 为 O(1)。( 提 示 : 可 以 利用 一 个 附加 数组 ， 处 理 方 式 类 似 于 栈 ， 其 大 小 等 于 实际 

存储 在 字典 中 的 关键 字数 目 ， 以 帮助 确定 大 数组 中 某 个 给 定 的 项 是 否 有 效 。) 


11.2 散 列表 


直接 寻 址 技术 的 缺点 是 非常 明显 的 ， 如果 全 域 口 很 大 ， 则 在 一 台 标 准 的 计算 机 可 用 内 存 容 
量 中 ， 要 存储 大 小 为 |U| 的 一 张 表 工 也 许 不 太 实际 ， 甚 至 是 不 可 能 的 。 还 有 ， 实 际 存储 的 关键 
FRA K 相对 U 来 说 可 能 很 小 ， 使 得 分 配给 的 大 部 分 空间 都 将 浪费 掉 。 

当 存储 在 字典 中 的 关键 字 集 合 K 比 所 有 可 能 的 关键 字 的 全 域 U 要 小 许多 时 ， 散 列表 需要 的 
存储 空间 要 比 直 接 寻 址 表 少 得 多 。 特 别 地 ， 我 们 能 将 散 列表 的 存储 需求 降 至 @(| 开 | )， 同 时 散 列 
表 中 查找 一 个 元 素 的 优势 仍 得 到 保持 ， 只 需要 O(1) 的 时 间 。 问 题 是 这 个 界 是 针对 平均 情况 时 间 
的 ， 而 对 直接 寻 址 来 说 ， 它 是 适用 于 最 坏 情 况 时 间 的 。 

在 直接 寻 址 方式 下 ， 具 有 关键 字 k 的 元 素 被 存放 在 槽 上 中 。 在 散 列 方式 下 ， 该 元 素 存放 在 模 
h(k) 中 ; 即 利用 散 列 函数 (hash function)h， 由 关键 字 & 计 算出 模 的 位 置 。 这 里 ， 函 数 将 关键 字 
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的 全 域 U 映射 到 散 列 表 (hash table) TLO. .mm 一 1 的 槽 位 上 : 

h:U — {0,1,***,;m—1} 
这 里 散 列 表 的 大 小 m 一 般 要 比 1U| 小 得 多 。 我 们 可 以 说 一 个 具有 关键 字 & 的 元 素 被 散 列 到 村 
h(k) 上 ， 也 可 以 说 h(k) 是 关键 字 & 的 散 列 值 。 图 11-2 描述 了 这 个 基本 方法 。 散 列 函 数 缩小 了 数 
组 下 标的 范围 ， 即 减 小 了 数组 的 大 小 ， 使 其 由 |U| 减 小 为 m。 





图 11-2 用 一 个 散 列 函数 将 关键 字 映 射 到 散 列 表 的 模 中 ， 关 键 字 
ko 和 ks 映射 到 同一 个 槽 中 ， 因 而 产生 了 冲突 


这 里 存在 一 个 问题 : 两 个 关键 字 可 能 映射 到 同一 个 槽 中 。 我 们 称 这 种 情形 为 冲突 (collision) 。 
幸运 的 是 ， 我 们 能 找到 有 效 的 方法 来 解决 冲突 。 

当然 ， 理 想 的 解决 方法 是 避免 所 有 的 冲突 。 我 们 可 以 试图 选择 一 个 合适 的 散 列 函 数 h 来 做 到 
这 一 点 。 一 个 想法 就 是 使 hh 尽 可 能 的 “随机 ”， 从 而 避免 冲突 或 者 使 冲突 的 次 数 最 小 化 。 实 际 上 ， 
术语 “ 散 列 ”原意 就 是 随机 混杂 和 拼 竣 ， 即 体现 了 这 种 思想 。( 当 然 ， 一 个 散 列 函 数 h 必须 是 确定 
的 ， 因 为 某 一 个 给 定 的 输入 & 应 始终 产生 相同 的 结果 有 (8) 。) 但 是 ， 由 于 |U| om, KEDAH 
关键 字 其 散 列 值 相 同 ， 所 以 要 想 完 全 避免 冲突 是 不 可 能 的 。 因 此 ， 我 们 一 方面 可 以 通过 精心 设计 
的 散 列 函数 来 尽量 减少 冲突 的 次 数 ， 另 一 方面 仍 需要 有 解决 可 能 出 现 冲 突 的 办 法 。 

本 市 余下 的 部 分 要 介绍 一 种 最 简单 的 冲突 解决 方法 ， 称 为 链接 法 (chaining)。11. 4 节 还 要 介 
绍 另 一 种 冲突 解决 方法 ， 称 为 开放 寻 址 法 (open addressing)。 

通过 链接 法 解决 冲突 

在 链接 法 中 ， 把 散 列 到 同一 槽 中 的 所 有 元 素 都 放 在 一 个 链表 中 ， 如 图 11-3 所 示 。 槽 7 中 有 
一 个 指针 ， 它 指向 存储 所 有 散 列 到 ; 的 元 素 的 链表 的 表 头 ; 如 果 不 存 在 这 样 的 元 素 ， 则 槽 7 中 
W NIL, 

在 采用 链接 法 解决 冲突 后 ， 散 列表 上 的 字典 操作 就 很 容易 实现 。 


CHAINED-HASH-INSERT(T, x) 
1 insert x at the head of list T[h(zx. key) ] 


CHAINED-HASH-SEARCH(T, 2) 
1 search for an element with key k in list TLACA) ] 


CHAINED-HASH-DELETEC(CT, x) 
1 delete x from the list TLA(z. key) ] 


插入 操作 的 最 坏 情况 运行 时 间 为 O(1) 。 揪 入 过 程 在 某 种 程度 上 要 快 一 些 ， 因 为 假设 待 插入 
UR r 没有 出 现在 表 中 ; 如 果 需 要， 可 以 在 插入 前 执行 一 个 搜索 来 检查 这 个 假设 ( 需 付出 额外 
代价 )。 查 找 操作 的 最 坏 情况 运行 时 间 与 表 的 长 度 成 正比 。 下 面 还 将 对 此 操作 进行 更 详细 的 分 析 。 


第 11 章 散 W 表 - 145 


如 图 11-3 所 示 ， 如 果 散 列表 中 的 链表 是 双向 链接 的 ， 则 删除 一 个 元 素 z 的 操作 可 以 在 O(1) 时 间 
内 完成 。( 注 意 到 ，CHAINED-HASH-DELETE 以 元 素 x 而 不 是 它 的 关键 字 & 作为 输入 ， 所 以 无 
需 先 搜索 z。 如 果 散 列表 支持 删除 操作 ， 则 为 了 能 够 更 快 地 删除 某 一 元 素 ， 应 该 将 其 链表 设计 为 
双向 链接 的 。 如 果 表 是 单 链接 的 ， 则 为 了 删除 元 素 zx， 我 们 首先 必须 在 表 T[h(zx. Rey)] 中 找到 元 
Kr, RALEN x MRH nert 属性， 把 z 从 链表 中 删除 。 在 单 链表 情况 下 ， 删 除 和 查找 
操作 的 渐 近 运行 时 间 相 同 。) 





WA jo WAN, Alki)=hClki), WA ACRs) =h( ky) 一 六 (As ) 。 这 个 链表 可 能 是 单 链表 ， 
也 可 能 是 双向 链表 ; 图 中 链表 画 为 双 链 ， 因 为 删除 操作 比较 快 


链接 法 散 列 的 分 析 

采用 链接 法 后 散 列 的 性 能 怎么 样 呢 ? 特别 地 ， 要 查找 一 个 具有 给 定 关 键 字 的 元 素 需要 多 长 
时 间 呢 ? 

给 定 一 个 能 存放 ”个 元 素 的 、 具 有 闷 个 槽 位 的 散 列 表 人 下， 定义 工 的 装载 因子 (load factor)a 
为 n/m， 即 一 个 链 的 平均 存储 元 素数 。 我 们 的 分 析 将 借助 a 来 说 明 ，a 可 以 小 于 、 等 于 或 大 于 1。 

用 链接 法 散 列 的 最 坏 情况 性 能 很 差 .， 所 有 的 ”个 关键 字 都 散 列 到 同一 个 槽 中 ， 从 而 产生 出 一 
个 长 度 为 n 的 链表 。 这 时 ， 最 坏 情况 下 查找 的 时 间 为 86(n)， 再 加 上 计算 散 列 函数 的 时 间 ， 如 此 
就 和 用 一 个 链表 来 链接 所 有 的 元 素 差不多 了 。 显 然 ， 并 不 是 因为 散 列表 的 最 坏 情况 性 能 差 ， 就 不 
使 用 它 。(11. 5 节 中 介绍 的 完全 散 列 能 够 在 关键 字 集 合 为 静态 时 ， 提 供 比较 好 的 最 坏 情况 性 能 。) 

散 列 方法 的 平均 性 能 依赖 于 所 选取 的 散 列 函 数 h， 将 所 有 的 关键 字 集 合 分 布 在 m 个 槽 位 上 的 
均匀 程度 。11. 3 节 将 讨论 这 些 问题 ， 现 在 我 们 先 假定 任何 一 个 给 定 元 素 等 可 能 地 散 列 到 m 
中 的 任何 一 个 ， 且 与 其 他 元 素 被 散 列 到 什么 位 置 上 无 关 。 我 们 称 这 个 假设 为 简单 均匀 散 列 
(simple uniform hashing) 。 

对 于 7 一 0， 1, «+, m—1, PR TH JAKE nj 表示 ， 于 是 有 

| n = m +H m F’ F npa (11.1) 

并 且 n 的 期 望 值 为 Eln ]=a=n/m, 

假定 可 以 在 O(1) 时 间 内 计算 出 散 列 值 h(%)， 从 而 查找 关键 字 为 的 元 素 的 时 间 线 性 地 依赖 
于 表 T[h(&)] 的 长 度 mu。 先 不 考虑 计算 散 列 函 数 和 访问 横 h(8) 的 O(1) 时 间 ， 我 们 来 看 看 查找 
算法 查找 元 素 的 期 望 数 ， 即 为 比较 元 素 的 关键 字 是 否 为 而 检查 的 表 T[AC&)] 中 的 元 素数 。 分 两 
种 情况 来 考虑 。 在 第 一 种 情况 中 ， 查 找 不 成 功 ， 表 中 没有 一 个 元 素 的 关键 字 为 。 在 第 二 种 情况 
中 ， 成 功 地 查找 到 关键 字 为 的 元 素 。 

定理 11. 1 在 简单 均匀 散 列 的 假设 下 ， 对 于 用 链接 法 解决 冲突 的 散 列 表 ， 一 次 不 成 功 查找 
的 平均 时 间 为 @C1 +a). 

证 明 在 简单 均匀 散 列 的 假设 下 ， 任 何 尚未 被 存储 在 表 中 的 关键 字 都 等 可 能 地 被 散 列 到 mm 
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个 槽 中 的 任何 一 个 。 因 而 ， 当 查找 一 个 关键 字 & 时 ， 在 不 成 功 的 情况 下 ， 查 找 的 期 望 时 间 就 是 查 
找 至 链表 TLh(&) 末尾 的 期 望 时 间 ， 这 一 时 间 的 期 望 长 度 为 EL ] 二 a。 于 是 ， 一 次 不 成 功 的 查 
找平 均 要 检查 a 个 元 素 ， 并 且 所 需要 的 总 时 间 ( 包 括 计算 h(k) 的 时 间 ) 为 8(1 十 a)。 m 

对 于 成 功 的 查找 来 说 ， 情 况 略 有 不 同 ， 这 是 因为 每 个 链表 并 不 是 等 可 能 地 被 查找 到 的 。 替 
代 的 是 ， 某 个 链表 被 查找 到 的 概率 与 它 所 包含 的 元 素数 成 正比 。 然 而 ， 期 望 的 查找 时 间 仍 然 是 
Ota). 

定理 11.2 在 简单 均匀 散 列 的 假设 下 ， 对 于 用 链接 法 解决 冲突 的 散 列 表 ， 一 次 成 功 查 找 所 
需 的 平均 时 间 为 OC. +a). 

证 明 假定 要 查找 的 元 素 是 表 中 存放 的 nn 个 元 素 中 任何 一 个 ， 且 是 等 可 能 的 。 在 对 元 素 x 的 
一 次 成 功 查 找 中 ， 所 检查 的 元 素数 就 是 xz 所 在 的 链表 中 迟 前 面 的 元 素数 多 1。 在 该 链表 中 ， 因 为 
新 的 元 素 都 是 在 表 头 插 和 人 的 ， 所 以 出 现在 z 之 前 的 元 素 都 是 在 z 之 后 插入 的 。 为 了 确定 所 检查 
元 素 的 期 望 数 目 ， 对 zx 所 在 的 链表 ， 在 之 后 插入 到 表 中 的 期 望 元 素数 加 1， 再 对 表 中 的 ”个 元 
Fr 取 平 均 。 设 工 ; 表示 插入 到 表 中 的 第 i 个 元 素 ， i=]; yy Ny 并 设 k;=2;. key, 对 关键 字 
ki 和 k;， 定 义 指示 器 随机 变量 X; 二 I({h(k;) 二 hlk;))}。 在 简单 均匀 散 列 的 假设 下 ， 有 Pr{h(k) = 
h(k;)} 二 1/m， 从 而 根据 引 理 5.1， 有 ELX; 二 1/m。 于 是 ， 在 一 次 成 功 的 查找 中 ， 所 检查 元 素 
的 期 望 数目 为 


EL (2+ DX) =S (GADER) Ca RED 
= =20 (14> =) = 1+ aa 
1+5-( Sn i) = 1+ 2 (we - 2 EP) ERAD 
有 
因此 ， 一 次 成 功 的 查找 所 需要 的 全 部 时 间 ( 包 括 计 算 散 列 函 数 的 时 间 ) 为 8(2 十 a/2 一 a/2n) = 
(1 十 w) 。 国 
上 面 的 分 析 意 味 着 什么 呢 ? 如 果 散 列表 中 覃 数 至 少 与 表 中 的 元 素数 成 正比 ， 则 有 n=OCn), 
从 而 a 二 n/m 二 OCm)/m 二 O(1)。 所 以 ， 查 找 操作 平均 需要 常数 时 间 。 当 链表 采用 双向 链接 时 ， 


插入 操作 在 最 坏 情 况 下 需要 OC(1) 时 间 ， 删 除 操作 最 坏 情 况 下 也 需要 OC(1) 时 间 ， 因 而 ， 全 部 的 字 
典 操作 平均 情况 下 都 可 以 在 O(1) 时 间 内 完成 。 


练习 


11.2-1 假设 用 一 个 散 列 函数 疡 将 2 个 不 同 的 关键 字 散 列 到 一 个 长 度 为 m Kenge 假设 采用 
的 是 简单 均匀 散 列 ， 那 么 期 望 的 冲突 数 是 多 少 ? 更 准确 地 ， 集 合 { 人 : Rl, Ah(k)= 
hD ) SERS HABE D2 

11. 2-2 ”对 于 一 个 用 链接 法 解决 冲突 的 散 列 表 ， 说 明 将 关键 字 5,28,19,15,20,33,12,17,10 插入 
到 该 表 中 的 过 程 。 设 该 表 中 有 9 个 槽 位 ， 并 设 其 散 列 函数 为 h(k) =k mod9。 

11.2-3 Marley 教授 做 了 这 样 一 个 假设 ， 即 如 果 将 链 模式 改动 一 下 ， 使 得 每 个 链表 都 能 保持 已 排 
好 序 的 顺序 ， 散 列 的 性 能 就 可 以 有 较 大 的 提高 。Marley 教授 的 改动 对 成 功 查找 、 不 成 功 
查找 、 插 入 和 删除 操作 的 运行 时 间 有 何 影 响 ? 

11.2-4 说明 在 散 列 表 内 部 ， 如 何 通过 将 所 有 未 占用 的 槽 位 链接 成 一 个 自由 链表 ， 来 分 配 和 释放 
元 素 所 占 的 存储 空间 。 假 定 一 个 槽 位 可 以 存储 一 个 标志 、 一 个 元 素 加 上 一 个 或 两 个 指 
针 。 所 有 的 字典 和 自由 链表 操作 均 应 具有 O(1) 的 期 望 运行 时 间 。 该 自由 链表 需要 是 双 
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向 链表 吗 ? 或 者 ， 是 不 是 单 链表 就 足够 了 呢 ? 

11. 2-5 ”假设 将 一 个 具有 个 关键 字 的 集合 存储 到 一 个 大 小 为 m 的 散 列 表 中 。 试 说 明 如 果 这 些 关 
键 字 均 源 于 全 域 U， 且 |U| >>nm， 则 U 中 还 有 一 个 大 小 为 的 子 集 ， 其 由 散 列 到 同一 模 
位 中 的 所 有 关键 字 构 成 ， 使 得 链接 法 散 列 的 查找 时 间 最 坏 情况 下 为 O). 

11.2-6 ”假设 将 n 个 关键 字 存 储 到 一 个 大 小 为 m 且 通 过 链接 法 解决 冲突 的 散 列 表 中 ， 同 时 已 知 每 
条 链 的 长 度 ， 包 括 其 中 最 长 链 的 长 度 工 ， 请 描述 从 散 列表 的 所 有 关键 字 中 均匀 随机 地 选 

择 某 一 元 素 并 在 OL + (1 十 1/a) ) 的 期 望 时 间 内 返回 该 关键 字 的 过 程 。 


11.3 散 列 函 数 

本 节 将 讨论 一 些 关 于 如 何 设 计 好 的 散 列 函数 的 问题 ， 并 介绍 三 种 具体 方法 。 其 中 的 两 种 方 
法 (用 除法 进行 散 列 和 用 乘法 进行 散 列 ) 本 质 上 属于 启发 式 方法 ， 而 第 三 种 方法 (全 域 散 列 ) 则 利用 
了 随机 技术 来 提供 可 证 明 的 良好 性 能 。 

好 的 散 列 函数 的 特点 





一 个 好 的 散 列 函数 应 (近似 地 ) 满 足 简 单 均匀 散 列 假设 : 每 个 关键 字 都 被 等 可 能 地 散 列 到 m 


个 槽 位 中 的 任何 一 个 ， 并 与 其 他 关键 字 已 散 列 到 哪个 槽 位 无 关 。 遗 憾 的 是 ， 一 般 无 法 检查 这 一 条 

件 是 否 成 立 ， 因 为 很 少 能 知道 关键 字 散 列 所 满足 的 概率 分 布 ， 而 且 各 关键 字 可 能 并 不 是 完全 独 

WN. | 

有 时 ， 我 们 知道 关键 字 的 概率 分 布 。 例 如 ， 如 果 各 关键 字 都 是 随机 的 实数 &， 它 们 独立 均匀 

地 分 布 于 OK< 范围 中 ， 那 么 散 列 函 数 
h(k) = Len] 

就 能 满足 简单 均匀 散 列 的 假设 条 件 。 

在 实际 应 用 中 ， 常 常 可 以 运用 启发 式 方法 来 构造 性 能 好 的 散 列 函 数 。 设 计 过 程 中 ， 可 以 利用 
关键 字 分 布 的 有 用 信息 。 例 如 ， 在 一 个 编译 器 的 符号 表 中 ， 关 键 字 都 是 字符 串 ， 表 示 程 序 中 的 标 
识 符 。 一 些 很 相近 的 符号 经 常会 出 现在 同一 个 程序 中 ， 如 pt 和 pts。 好 的 散 列 函数 应 能 将 这 些 
相近 符号 散 列 到 相同 槽 中 的 可 能 性 最 小 化 。 

一 种 好 的 方法 导出 的 散 列 值 ， 在 某 种 程度 上 应 独立 于 数据 可 能 存在 的 任何 模式 。 例 如 ,“ 除 
法 散 列 ”(11, 3. 1 节 中 要 介绍 ) 用 一 个 特定 的 素数 来 除 所 给 的 关键 字 ， 所 得 的 余数 即 为 该 关键 字 的 
散 列 值 。 假 定 所 选择 的 素数 与 关键 字 分 布 中 的 任何 模式 都 是 无 关 的 ， 这 种 方法 常常 可 以 给 出 好 
的 结果 。 

最 后 ， 注意 到 散 列 函 数 的 某 些 应 用 可 能 会 要 求 比 简单 均匀 散 列 更 强 的 性 质 。 例如 ， 可 能 希望 
菜 些 很 近似 的 关键 字 具 有 截然 不 同 的 散 列 值 (使 用 11. 4 节 中 定义 的 线性 探查 技术 时 ， 这 一 性 质 特 
GA FAD. 11. 3. 3 节 中 将 介绍 的 全 域 散 列 (universal hashing) 通 常 能 够 提供 这 些 性 质 。 

将 关键 字 转 换 为 自然 数 

多 数 散 列 函数 都 假定 关键 字 的 全 域 为 上 自然数 集 N= 二 {0，1，2，…)}。 因 此 ， 如 果 所 给 关键 字 不 
是 自然 数 ， 就 需要 找到 一 种 方法 来 将 它们 转换 为 自然 数 。 例 如 ， 一 个 字符 串 可 以 被 转换 为 按 适 当 
的 基数 符号 表示 的 整数 。 这 样 ， 就 可 以 将 标识 符 pt 转换 为 十 进 制 整数 对 (112，116)， 这 是 因为 
在 ASCII 字符 集中 ，p 王 112，t 王 116。 然 后 ， 以 128 为 基数 来 表示 ，pt 即 为 (112X128) 十 116 一 
14 452。 在 一 特定 的 应 用 场合 ， 通 常 还 能 设计 出 其 他 类 似 的 方法 ， 将 每 个 关键 字 转 换 为 一 个 (可 
能 是 很 大 的 ) 自然 数 。 在 后 面 的 内 容 中 ， 假定 所 给 的 关键 字 都 是 自然 数 。 


11. 3. 1 除法 散 列 法 
在 用 来 设计 散 列 函数 的 除法 散 列 法 中 ， 通 过 取 k 除 以 mm 的 余数 ， 将 关键 字 映射 到 zz 个 模 
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中 的 某 一 个 上 ， 即 散 列 函数 为 : 
h(k) = kmodm 
例如 ， 如 果 散 列表 的 大 小 为 m=12, MAREF k=100, M h(8) 一 4。 由 于 只 需 做 一 次 除法 操 
作 ， 所 以 除法 散 列 法 是 非常 快 的 。 

当 应 用 除法 散 列 法 时 ， 要 避免 选择 m WH. PIM, mA A 2K, AAWMR mm 一 2?， 
TW ACR) Bide k W p 个 最 低位 数字 。 除 非 已 知 各 种 最 低 p 位 的 排列 形式 为 等 可 能 的 ， 否 则 在 设计 
散 列 函数 时 ， 最 好 考虑 关键 字 的 所 有 位 。 练 习 11. 3-3 要 求 读者 证 明 ， 当 & 是 一 个 按 基数 2* 表示 
的 字符 串 时 ， 选 m=2?—1 可 能 是 一 个 糟糕 的 选择 ， 因 为 排列 & 的 各 字符 并 不 会 改变 其 散 列 值 。 

一 个 不 太 接 近 2 的 整数 寡 的 素数 ， 常 常 是 mm 的 一 个 较 好 的 选择 。 例 如 ， 假 定 我 们 要 分 配 一 
张 散 列表 并 用 链接 法 解决 冲突 ， 表 中 大 约 要 存放 n=2 000 个 字符 串 ， 其 中 每 个 字符 有 8 位 。 如 
果 我 们 不 介意 一 次 不 成 功 的 查找 需要 平均 检查 3 个 元 素 ， 这 样 分 配 散 列表 的 大 小 为 m= 二 701。 选 
择 701 这 个 数 的 原因 是 ， 它 是 一 个 接近 2 000/3 但 又 不 接近 2 的 任何 次 只 的 素数 。 把 每 个 关键 字 
& 视 为 一 个 整数 ， 则 散 列 函数 如 下 : 

h(k) = kmod701 


11.3.2 乘法 散 列 法 


构造 散 列 函 数 的 乘法 散 列 法 包含 两 个 步 又。 第 一 步 ， 用 关键 字 & 乘 上 和 常 数 A(0<A<1)， 并 

提取 RA 的 小 数 部 分 。 第 二 步 ， 用 mm 乘 以 这 个 值 ， 再 向 下 取 整 。 总 之 ， 散 列 函 数 为 : 
h(k) = |m(RA mod1)| 

这 里 “kA mod1” 是 取 kA 的 小 数 部 分 ， 即 kA 一 [kAj。 

乘法 散 列 法 的 一 个 优点 是 对 m 的 选择 不 是 特别 关键 ,一般 选择 它 为 2 的 某 个 帘 次 (m 二 2*，p 
为 某 个 整数 )， 这 是 因为 我 们 可 以 在 大 多 数 计 算 
机 上 ， 按 下 面 所 示 方 法 较 容易 地 实现 散 列 函数 。 
假设 某 计 算 机 的 字 长 为 ww 位 ， 而 正好 可 用 一 个 
单字 表示 。 限 制 A 为 形 如 s/2” 的 一 个 分 数 ， 其 
中 S 是 一 个 取 上 自 0<s<2” 的 整数 。 参见 图 11-4, one ep en) E E 
Ay ER s=A-2”KEL, 其 结果 是 一 个 ee 
2w 位 的 值 r2” T o3 这 里 rı 为 乘积 的 高 位 字 ， 
ro 为 乘积 的 低位 字 。 所 求 的 之 位 散 列 值 中 ， 包 含 





T r 的 个 最 高 有 效 位 。 示 乘 上 s 二 A，2* Ww 位 值 。 在 乘积 的 
虽然 这 个 方法 对 任何 的 A 值 都 适用 ， 但 对 whit, p 个 最 高 位 构成 了 所 需 的 
某 些 值 效果 更 好 。 最 佳 的 选择 与 待 散 列 的 数据 的 散 列 值 h(&) 
特征 有 关 。Knuth[211] 认 为 
Aw /5 —1)/2 = 0. 618 033 988 7… (11. 2) 
是 个 比较 理想 的 值 。 


作为 一 个 例子 ， 假 设 R=123 456, p=14, m=2"=16 384, H w= 二 32。 依 据 Knuth 的 建议 ， 
取 A 为 形 如 s/22 的 分 数 ， 它 与 (V5 一 1)/2 最 为 接近 ， 于 是 A 二 2 654 435 769/2", BRA, kXs= 
327 706 022 297 664=(76 300X22 ) 十 17 612 864, Mit rı =76 300 和 ro 二 17 612 864, ro 的 14 
个 最 高 有 效 位 产生 了 散 列 值 hk) =67. 


”11. 3.3 全 域 散 列 法 


如 果 让 一 个 恶意 的 对 手 来 针对 某 个 特定 的 散 列 函数 选择 要 散 列 的 关键 字 ， 那 么 他 会 将 ”个 关 
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键 字 全 部 散 列 到 同一 个 覃 中， 使 得 平均 的 检索 时 间 为 6(n)。 任 何 一 个 特定 的 散 列 函数 都 可 能 出 
现 这 种 令 人 疏 怖 的 最 坏 情况 。 唯 一 有 效 的 改进 方法 是 随机 地 选择 散 列 函数 ， 使 之 独立 于 要 存储 
的 关键 字 。 这 种 方法 称 为 全 域 散 列 (universal hashing)， 不 管 对 手 选 择 了 怎么 样 的 关键 字 ， 其 平 
均 性 能 都 很 好 。 

全 域 散 列 法 在 执行 开始 时 ， 就 从 一 组 精心 设计 的 函数 中 ， 随 机 地 选择 一 个 作为 散 列 函数 。 就 
像 在 快速 排序 中 一 样 ， 随 机 化 保证 了 没有 哪 一 种 输入 会 始终 导致 最 坏 情 况 性 能 。 因 为 随机 地 选 
择 散 列 函 数 ， 算 法 在 每 一 次 执行 时 都 会 有 所 不 同 ， 甚 至 对 于 相同 的 输入 都 会 如 此 。 这 样 就 可 以 确 
保 对 于 任何 输入 ， 算 法 都 具有 较 好 的 平均 情况 性 能 。 再 回 到 编译 器 的 符号 表 的 例子 ， 在 全 域 散 列 
方法 中 ， 可 以 发 现 程 序 员 对 标识 符 的 选择 就 不 会 总 是 导致 较 差 的 散 列 性 能 了 。 仅 当 编 译 器 选择 
了 一 个 随机 的 散 列 函数 ， 使 得 标识 符 的 散 列 效果 较 差 时 ， 才 会 出 现 较 差 的 性 能 。 但 出 现 这 种 情况 
的 概率 很 小 ， 并 且 这 一 概率 对 任何 相同 大 小 的 标识 符 集 来 说 都 是 一 样 的 。 

设 为 一 组 有 限 散 列 函数 ， 它 将 给 定 的 关键 字 全 域 UU 映射 到 {0，1，…，m 一 1} 中 。 这 样 的 
一 个 函数 组 称 为 全 域 的 (universal)， 如 果 对 每 一 对 不 同 的 关键 字 ，lEU， WE hk) =h NR 
列 函数 hE 的 个 数 至 多 为 | 允 | /m。 换 句 话 说 ， 如 果 从 % 中 随机 地 选择 一 个 散 列 函 数 ， 当 关键 字 
k 关 1 时， 两 者 发 生 冲突 的 概率 不 大 于 1/m， 这 也 正好 是 从 集合 {0，1，…，m 一 1} 中 独立 地 随机 
选择 h(k) 和 有 h(D) 时 发 生 冲 突 的 概率 。 

下 面 的 定理 表明 ， 全 域 散 列 函数 类 的 平均 性 态 是 比较 好 的 。 注 意 n 表示 链表 TT[ 引 的 长 度 。 

定理 11.3 如 果 几 选 自 一 组 全 域 散 列 函 数 ， 将 nn 个 关键 字 散 列 到 一 个 大 小 为 m RT P, 
并 用 链接 法 解决 冲突 。 如 果 关 键 字 不 在 表 中 ， 则 此 被 散 列 至 其 中 的 链表 的 期 望 长 度 ElLnwIZ 
多 为 a 一 n/m。 如 果 关 键 字 率 在 表 中 ， 则 包含 关键 字 尼 的 链表 的 期 望 长 度 Ely ] 至 多 为 1 十 a。 

证 明 注意 到 ， 此 处 的 期 望 值 与 散 列 函数 的 选择 有 关 ， 且 不 依赖 于 任何 有 关 关 键 字 分 布 的 
假设 。 对 于 每 对 不 同 的 关键 字 & 和 7， 和 定义 指示 器 随机 变量 Xi =A 二 (1)}。 因 为 由 全 域 散 
列 函数 的 定义 ， 一 对 关键 字 发 生 冲 突 的 概率 至 多 为 1/m， 我 们 有 Prih(k)=h(1)}<1/m, RHI 
理 5. 1， 所 以 有 EL X |<1/m. 

接 下 来 ， 对 每 个 关键 字 &， 和 定义 随机 变量 Y;， 它 表示 与 散 列 到 同一 槽 位 中 的 非 & 的 其 他 关 
键 字 的 数目 。 于 是 ， 有 


> Xi 
从 而 ,有 
ELY,] = EL 2)Xu |= 24 EL Xu! (根据 期 望 的 线性 性 ) 


z581 
IET m 
余下 部 分 的 证 明 按 关键 字 是 否 在 表 工 中 ， 分 情况 讨论 ， 
如 果 kT, W My = Yi 并 且 | (2; LETH LAR} | =n. 于 是 ， EL ma J=ELY, |<n/m=a. 
II 
&， 因 而 有 Moy ~Y, +1, 并 且 | (L: LET Hl4¢k}|=n—-1, 于 是 ， ELmca J=ELY, J 二 1< 
(n—1)/m+1=1+a—1/m<l1+a. a 
下 面 的 推论 说 明 全 域 散 列 法 达到 了 期 望 的 效果 : 现在 对 手 已 经 无 法 通过 选择 一 个 操作 序列 
来 迫使 达到 最 坏 情 况 运行 时 间 了 。 通 过 在 运行 时 聪明 地 随机 选择 散 列 函数 ， 就 可 以 确保 每 一 个 
操作 序列 都 具有 良好 的 平均 情况 运行 时 间 。 
推论 11. 4 对 于 一 个 具有 m 个 槽 位 且 初 始 时 为 空 的 表 ， 利 用 全 域 散 列 法 和 链接 法 解决 冲突 ， 
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需要 日 (n) 的 期 望 时 间 来 处 理 任 何 包 含 了 n 个 INSERT, SEARCH 和 DELETE 的 操作 序列 ， 其 中 
该 序列 包含 了 OCm) 个 INSERT 操作 。 

证 明 由 于 插入 操作 的 数目 为 Ol(m)， 有 n= 二 OC(m)， 从 而 有 a 二 0O(1)。INSERT 操作 和 
DELETE 操作 需要 常量 时 间 ， 由 定理 11.3， 每 一 个 SEARCH 操作 的 期 望 时 间 为 0(1)。 于 是 ， 
根据 期 望 值 的 线性 性 质 可 知 ， 整 个 ?个 操作 序列 的 期 望 时 间 为 O(z) 。 因 为 每 个 操作 所 用 时 间 为 
Q(1)， 所 以 8(n) 的 界 成 立 。 国 

设计 一 个 全 域 散 列 函 数 类 

设计 一 个 全 域 散 列 函数 类 很 容易 ， 只 需 一 点 数论 方面 的 知识 即 可 加 以 证 明 。 读 者 如 果 对 数 
论 不 熟悉 ， 可 以 先 阅读 第 31 章 。 

首先 ， 选 择 一 个 足够 大 的 素数 p， 使 得 每 一 个 可 能 的 关键 字 & 都 落 在 0 到 p 一 1 的 范围 内 ( 包 
括 0 Al p—1). iw Z, 表示 集合 (0， ls =; p—1}, Z; 表示 集合 {1， Lig 8h prod ie 由 于 pp 是 一 
个 素数 ， 故 可 以 用 第 31 章 中 给 出 的 方法 来 求解 模 p 的 方程 。 因 为 我 们 假定 了 关键 字 全 域 的 大 小 
大 于 散 列 表 中 的 槽 数 ， 故 有 pom. 

现在 ， 对 于 任何 acEZ* AMER b EZ, EBT BM lw 。 利 用 一 次 线性 变换 ， 再 进行 模 p 
和 模 m 的 归 约 ， 有 


ha (k) = (Clak +6)modp)modm | (11. 3) 
例如 ， 如 果 p=17 A m=6, WA h: (8)=5. PAH BO R R ALA PBR A 
Hom = {has :a < Z; » OE Z (11. 4) 


每 一 个 散 列 函数 hs 都 将 Z, 映射 到 Z, 。 这 一 类 散 列 函数 具有 一 个 良好 的 性 质 ， 即 输出 范围 的 大 
小 m 是 任意 的 ， 不必 是 一 个 素数 。11. 5 节 将 用 到 这 一 特性 。 由 于 对 < 来 说 有 z 一 1 种 选择 ， 对 
来 说 有 zp 种 选择 ， 故 .pr 中 包含 p(p 一 个 散 列 函数 。 

定理 11.5 由 公式 (11.3) 和 公式 (11.4) 定 义 的 散 列 函数 簇 .Jpm 是 全 域 的 。 

证 明 考虑 Z, PRA RES RAL, BU RAL. MFR TASC HBS! Mh, WH 

r= (ak + b)modp 
s = (al + b)mod p 
首先 ， 注 意 到 rés. KENTA? AA 
r—s=atk—l1)(modp) 
可 以 导出 rás, RAW 为 素数 ， 且 < 和 (& 一 1) 模 户 的 结果 均 不 为 0， 于 是 根据 定理 31.6， 它 
们 的 乘积 模 p 后 也 不 为 0。 于 是 ， 计 算 任何 ha EXm 时 ， 不 同 的 输入 & 和 7 会 被 映射 至 不 同 的 值 
r 和 s( 模 p); 在 模 p 层 次 上 ， 尚 不 存在 冲突 。 此 外 ， 数 对 (a，65) (ae 天 0) 有 pC(p 一 1) 种 可 能 的 选 
择 ， 其 中 的 每 一 种 都 会 产生 一 个 不 同 的 结果 数 对 (r，s) (r 关 ;)， 这 是 因为 给 定 r+ 和 s 后 ， 可 以 解 
出 a Fb: 
a= ((r—s)((k—1) modp))mod p 
b = (r—ak)mod p 

HPD mdp RAN k—1 倒数 后 的 模 记 。 因 为 仅 有 pCp 一 1) 种 可 能 的 数 对 (r，s) (rs), Br 
以 在 数 对 (ae，p) (a 关 0) 与 数 对 (r，s) (7 关 5) 之 间 ， 存 在 一 个 一 一 对 应 关系 。 于 是 ， 对 任何 给 定 的 
em AX RAL, MRM Z XZ, 中 均匀 地 随机 选择 (a，65)， 则 结果 数 对 (r+，s) 就 等 可 能 地 为 任何 不 
同 的 数值 对 ( 模 p). 

因此 ， 当 rr 和; 为 随机 选择 的 不 同 的 值 ( 模 p) 时 ,不 同 的 关键 字 和 发 生 冲 突 的 概率 等 于 
r 三 s(modm) 的 概率 。 对 于 某 个 给 定 的 r+ 值 ，s 的 可 能 取 值 就 为 余下 的 p 一 1 种 ， 其 中 满足 sAr H 
s 沽 r(modm) 的 ; 值 的 数目 至 多 为 : : 

[p/m|—-1< ((p 十 m 一 1)/m) 一 1 (根据 不 等 式 (3. 6) 
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= (p—1)/m 


当 模 m 进行 归 约 时 ，* 与 > 发 生 冲 突 的 概率 至 多 为 ((p 一 1)/m)/(p 一 1) 二 1/m。 
所 以 ， 对 于 任何 不 同 的 数 对 k, LEZ, A 


Pr{ha (k) = ha D} <1/m 


TÆ, Hom 的 确 是 全 域 的 。 E 


11. 3-1 


11. 3-2 


11. 3-3 


11. 3-4 


*11. 3-5 


x11. 3-6 


仿 设 我 们 希望 查找 一 个 长 度 为 的 链表 ， 其 中 每 一 个 元 素 都 包含 一 个 关键 字 & HRAM 
列 值 h(k)。 每 一 个 关键 字 都 是 长 字符 串 。 那 么 在 表 中 查找 具有 给 定 关键 字 的 元 素 时 ， 如 
何 利用 各 元 素 的 散 列 值 呢 ? 

假设 将 一 个 长 度 为 + 的 字符 串 散 列 到 wm 个 槽 中 ， 并 将 其 视 为 一 个 以 128 为 基数 的 数 ， 要 
求 应 用 除法 散 列 法 。 我 们 可 以 很 容易 地 把 数 m 表示 为 一 个 32 位 的 机 器 字 ， 但 对 长 度 为 
r 的 字符 串 ， 由 于 它 被 当做 以 128 为 基数 的 数 来 处 理 ， 就 要 占用 若干 个 机 器 字 。 假 设 应 
用 除法 散 列 法 来 计算 一 个 字符 串 的 散 列 值 ， 那 么 如 何 才能 在 除了 该 串 本 身 占用 的 空间 
外 ， 只 利用 常数 个 机 器 字 ? 

考虑 除法 散 列 法 的 另 一 种 版 本 ， 其 中 ACA) 二 k modm, m=2?—1, 有 为 按 基数 2? 表示 的 
字符 串 。 试 证 明 : MER Ty 通过 其 自身 的 字符 置换 排列 导出 ， 则 = Aly 具有 相 
同 的 散 列 值 。 给 出 一 个 应 用 的 例子 ， 其 中 这 一 特性 在 散 列 函数 中 是 不 希望 出 现 的 。 
考虑 一 个 大 小 为 m 一 1 000 的 散 列 表 和 一 个 对 应 的 散 列 函数 HCH) 一 Lm(&A mod D), Bh 


A= =-(V5 一 1)/2， 试 计算 关键 字 61、62、63、64 和 65 被 映射 到 的 位 置 。 
定义 一 个 从 有 限 集合 U 到 有 限 集合 B 上 的 散 列 函 数 簇 天 为 ER, WRR U 中 所 有 的 
不 辣 元 素 对 4 All, BA 

Prih(k) =h()} <e 

JL FP ES EET DA BR BLT BY A Ph TMA. AER: 一 个 s 全 域 的 散 
| 1 1 


* TBI TU 

设立 为 由 取 自 Zs 中 的 值 构成 的 ”元 组 集合 ， 并 设 B=, HH p 为 素数 。 对 于 一 个 取 
U 的 输入 n 元 组 (ao， Ajs **s Qn-1), RESELE RIBI R ha. U 一 B(OEZ,) 为 : 

hy laosa ya ly) = (S\4,6/) mod p 


并 且 设 = (hy: DEZ). WRAY 11.35 Pe 全域 的 定义 ;证明 KR 是 (Cn 一 1)/p) 全 域 
的 。 (提示 ; WAY 31. 4-4。) 


m 








11.4 开放 寻 址 法 


在 开放 寻 址 法 (open addressing) 中 ， 所 有 的 元 素 都 存放 在 散 列表 里 。 也 就 是 说 ， 每 个 表 项 或 
包含 动态 集合 的 一 个 元 素 ， 或 包含 NIL。 当 查找 某 个 元 素 时 ， 要 系统 地 检查 所 有 的 表 项 ， 直 到 找 
到 所 需 的 元 素 ， 或 者 最 终 查 明 该 元 素 不 在 表 中 。 不 像 链 接 法 ， 这 里 既 没 有 链表 ， 也 没有 元 素 存放 
在 散 列表 外 。 因 此 在 开放 寻 址 法 中 ， 散 列表 可 能 会 被 填 满 ， 以 至 于 不 能 插入 任何 新 的 元 素 。 该 方 
法 寻 致 的 一 个 结果 便 是 装载 因子 a 绝对 不 会 超过 l. 

当然 ,也 可 以 将 用 作 和 链接 的 链表 存放 在 散 列表 未 用 的 槽 中 ( 见 练习 11. 2-4) ， 但 开放 寻 址 法 的 
好 处 就 在 于 它 不 用 指针 ， 而 是 计算 出 要 存 取 的 槽 序列 。 于 是 ， 不 用 存储 指针 而 节省 的 空间 ， 使 得 
可 以 用 同样 的 空间 来 提供 更 多 的 槽 ， 洪 在 地 减少 了 冲突 ， 提 高 了 检索 速度 。 
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为 了 使 用 开放 寻 址 法 插入 一 个 元 素 ， 需 要 连续 地 检查 散 列 表 ， 或 称 为 探查 (probe) ， 直 到 找 
到 一 个 空 槽 来 放置 待 插 人 的 关键 字 为 止 。 检 查 的 顺序 不 一 定 是 0，1，…，m 一 1( 这 种 顺序 下 的 查 
找 时 间 为 8(n))， 而 是 要 依赖 于 待 插 入 的 关键 字 。 为 了 确定 要 探查 哪些 柳 ， 我 们 将 散 列 函数 加 以 
扩充 ， 使 之 包含 探查 号 (从 0 开始 ) 以 作为 其 第 二 个 输入 参数 。 这 样 ， 散 列 函 数 就 变 为 : 

h:U X (0 1 一 1) 一 (0,1，…)70 一 1) 
对 每 一 个 关键 字 &， 使 用 开放 寻 址 法 的 探查 序列 (probe sequence) 
《PCR,0) sh€R,1) 5***,h(kRsm—1)) 

是 (0，1，…，7 一 1 的 一 个 排列 ， 使 得 当 散 列表 逐渐 填 满 时 ， 每 一 个 表 位 最 终 都 可 以 被 考虑 为 
用 来 插 人 新 关键 字 的 槽 。 在 下 面 的 伪 代 码 中 ， 假 设 散 列表 工 中 的 元 素 为 无 卫星 数据 的 关键 字 ; 
KEF k 等 同 于 包含 关键 字 & 的 元 素 。 每 个 槽 或 包含 一 个 关键 字 ， 或 包含 NIL( 如 果 该 槽 为 空 ) 。 
HASH-INSERT 过 程 以 一 个 散 列 表 和 一 个 关键 字 & 为 输入 ， 其 要 么 返回 关键 字 & 的 存储 醒 位 ， 
要 么 因为 散 列 表 已 满 而 返回 出 错 标志 。 

HASH-INSERT(T, k) 

l 2=0 

2 repeat 

3 j=h(k,1) 

4 if TLj ]==NIL 

5 TL J=k 

6 return j 

7 else ;一 ;十 1 

8 until ;一 一 7 


9 error “hash table overflow” 


ERRET k 的 算法 的 探查 序列 与 将 & 插 人 时 的 算法 一 样 。 因 此 ， 查 找 过 程 中 碰 到 一 个 空 模 
时 ， 查 找 算 法 就 ( 非 成 功 地 ?停止 ， 因 为 如 果 在 表 中 ， 它 就 应 该 在 此 处 ， 而 不 会 在 探查 序列 随后 
的 位 置 上 (之 所 以 这 样 说 ， 是 假定 了 关键 字 不 会 从 散 列 表 中 删除 )。 过 程 HASH-SEARCH 的 输入 
为 一 个 散 列 表 工 和 一 个 关键 字 &， 如 果 模 7 PRS TRS, WIR; WRk PERTH, N 
返回 NIL。 

HASH-SEARCH(T,2&) 

1 i=0 

2 repeat 
3 7]=h(k,7) 
4 if TLjJ==k 
5 return j 
6 i 二 i 十 1 
7 until T ]==NIL ori==m 
8 return NIL 


从 开放 寻 址 法 的 散 列 表 中 删除 操作 元 素 比 较 困 难 。 当 我 们 从 槽 i 中 删除 关键 字 时 ， 不 能 仅 将 


NIL 置 于 其 中 来 标识 它 为 空 。 如 果 这 样 做 ， 就 会 有 问题 : 在 插入 关键 字 & 时， 发 现 权 i 被 占用 


了 ， 则 & 就 被 插 和 人 到 后 面 的 位 置 上 ;此 时 将 槽 ;中 的 关键 字 删 除 后 ， 就 无 法 检索 到 关键 字 & 了 。 
有 一 个 解决 办 法 ， 就 是 在 槽 ; 中 置 一 个 特定 的 值 DELETED 替代 NIL 来 标记 该 槽 。 这 样 就 要 对 过 
程 HASH-INSERT 做 相应 的 修改 ， 将 这 样 的 一 个 槽 当做 空 模 ， 使 得 在 此 仍然 可 以 插入 新 的 关键 
F. Xt HASH-SEARCH 无 需 做 什么 改动 ， 因 为 它 在 搜索 时 会 绕 过 DELETED 标识 。 但 是 ， 当 我 
们 使 用 特殊 的 值 DELETED 时 ， 查 找 时 间 就 不 再 依赖 于 装载 因子 a 了。 为 此 ， 在 必须 删除 关键 字 
的 应 用 中 ， 更 常见 的 做 法 是 采用 链接 法 来 解决 冲突 。 
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在 我 们 的 分 析 中 ， 做 一 个 均匀 散 列 (uniform hashing) 的 假设 每 个 关键 字 的 探查 序列 等 可 
能 地 为 (0，1，…，m 一 1) 的 m! 种 排列 中 的 任 一 种 。 均 匀 散 列 将 前 面 定义 过 的 简单 均匀 散 列 的 
概念 加 以 了 一 般 化 ， 推 广 到 散 列 函 数 的 结果 不 只 是 一 个 数 ， 而 是 一 个 完整 的 探查 序列 。 然 而 ， 
真正 的 均匀 散 列 是 难以 实现 的 ， 在 实际 应 用 中 ， 常 常 采用 它 的 一 些 近 似 方 法 (如 下 面 定义 的 双 
重 散 列 等 )。 

有 三 种 技术 常用 来 计算 开放 寻 址 法 中 的 探查 序列 :线性 探查 、 二 次 探查 和 双重 探查 。 这 几 种 
技术 都 能 保证 对 每 个 关键 字 k，hCk，0)，hCk，1)，…，h《k，m 一 1)) 都 是 (0，1，…，m 一 1) 的 
一 个 排列 。 但 是 ， 这 些 技 术 都 不 能 满足 均匀 散 列 的 假设 ， 因 为 它们 能 产生 的 不 同 探查 序列 数 都 不 
超过 ma 个 (均匀 散 列 要 求 有 m! 个 探查 序列 )。 在 三 种 技术 中 ， 双 重 散 列 产 生 的 探查 序列 数 最 多 ， 
似乎 能 给 出 最 好 的 结果 。 

线性 探查 

给 定 一 个 普通 的 散 列 函数 放 ; U->{0，1，…，m 一 1} ， 称 之 为 辅助 散 列 函数 (auxiliary hash 
function) ， 线 性 探查 (linear probing) 方 法 采用 的 散 列 函数 为 : 

h(k,i) = (h'(k) +i)modm, i=0,1,.…,mO—1 
给 定 一 个 关键 字 &， 首 先 探查 槽 TL 忆 (6]， 即 由 辅助 散 列 函数 所 给 出 的 槽 位 。 再 探查 槽 TE 1], 
依 此 类 推 ， 直 至 槽 Tml] RE MAAN T[o]，T[1]，…， 直 到 最 后 探查 到 槽 T[h'(k) 一 1]。 在 
线性 探查 方法 中 ， 初 始 探查 位 置 决 定 了 整个 序列 ， 故 只 有 m 种 不 同 的 探查 序列 。 

线性 探查 方法 比较 容易 实现 ， 但 它 存在 着 一 个 问题 ， 称 为 一 次 群集 (primary clustering)。 随 
着 连续 被 占用 的 槽 不 断 增加 ， 平 均 查找 时 间 也 随 之 不 断 增 加 。 和 群集 现象 很 容易 出 现 ， 这 是 因为 当 
一 个 空 槽 前 有 ; 个 满 的 槽 时 ， 该 空 档 为 下 一 个 将 被 占用 的 概率 是 (; 十 1)/mm。 连 续 被 占用 的 槽 就 会 
变 得 越 来 越 长 ， 因 而 平均 查找 时 间 也 会 越 来 越 大 。 

二 次 探查 

二 次 i ali probing) 采 用 如 下 形式 的 散 列 函数 .; 

hlk, D = Ch' (kk) 二 ci ci modm (11. 5) 
其 中 妈 是 一 个 辅助 散 列 函数 ，c, 和 c 为 正 的 辅助 常数 ，i 二 0，1，…，m 一 1。 初 始 的 探查 位 置 为 
T[h'(k)]， 后 续 的 探查 位 置 要 加 上 一 个 偏 移 量 ， 该 偏 移 量 以 二 次 的 方式 依赖 于 探查 序号 i。 这 种 
探查 方法 的 效果 要 比 线性 探查 好 得 多 ， 但是， 为 了 能 够 充分 利用 散 列表 ，cl 、c: Am 的 值 要 受到 


限制 。 思 考题 11-3 给 出 了 一 种 选择 这 几 个 参数 的 方法 。 此 外 ， 如 果 两 个 关键 字 的 初始 探查 位 置 相 


同 ， 那 么 它们 的 探查 序列 也 是 相同 的 ， 这 是 因为 ACh}, O) =A, OWE hlk, =A, i). 
这 一 性 质 可 导致 一 种 轻 度 的 群集 ， 称 为 二 次 群集 (secondary clustering) 。 像 在 线性 探查 中 一 样 ， 
初始 探查 位 置 决 定 了 整个 序列 ， 这 样 也 仅 有 m 个 不 同 的 探查 序列 被 用 到 。 

双重 散 列 

双重 散 列 (double hashing) 是 用 于 开放 寻 址 法 的 最 好 方法 之 一 ， 因 为 它 所 产生 的 排列 具有 随 
饥 选 择 排列 的 许多 特性 。 双重 散 列 采 用 如 下 形式 的 散 列 函数 ， 

hCk,t) = (h, CR) + ih, (k))modm 

其 中 心 hy 均 为 辅助 散 列 函 数 。 初 始 探 查 位 置 为 TLh,(k)]， 后 续 的 探查 位 置 是 前 一 个 位 置 加 上 
ABE hu (AE m。 因 此 ， 不 像 线性 探查 或 二 次 探查 ， 这 里 的 探查 序列 以 两 种 不 同方 式 依赖 于 关 
键 字 &， 因 为 初始 探查 位 置 、 偏 移 量 或 者 二 者 都 可 能 发 生变 化 。 图 11-5 给 出 了 一 个 使 用 双重 散 列 
法 进行 插 人 的 例子 。 

为 了 能 查找 整个 散 列表 ， 值 和 ( 包 必 须要 与 表 的 大 小 疡 互 素 ( 见 练习 11. 4-4)。 有 一 种 简便 的 
方法 确保 这 个 条 件 成 立 ， 就 是 取 zn 为 2 的 客 ， 并 设计 一 个 总 产生 奇数 的 友 。 另 一 种 方法 是 取 m 
为 素数 ， 并 设计 一 个 总 是 返回 较 m 小 的 正 整数 的 函数 h,。 例 如 ， 我 们 可 以 取 m 为 素数 ， 并 取 
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hı (k) = k modm,h, (k) = 1 + (k modm’) 

其 中 因 略 小 于 和 (比如 ，mm 一 1)。 例 如 ， 如 果 Too 
k=123 456, m=701, m =700, WA h (k) = 
80，hs(&) 二 257， 可 知 我 们 的 第 一 个 探查 位 置 
为 80， 然 后 检查 每 第 257 SHA m), BERK 
BARES, MAA ST PA 

当 m 为 素数 或 者 2H, MEBANE 
用 到 了 OC’) PRA, MARA RK 
探查 中 用 了 8@(m) 种 ， 故 前 者 是 后 两 种 方法 的 一 
种 改进 。 因 为 每 一 对 可 能 的 (hi(k)，h。(&)) 都 
会 产生 一 个 不 同 的 探查 序列 。 因此 ， 对 于 m 的 11 
每 一 种 可 能 取 值 ， 双 重 散 列 的 性 能 看 起 来 就 非 12 
常 接 近 “ 理 想 的 ”均匀 散 列 的 性 能 。 





a 


图 11-5 双重 散 列 法 的 插入 。 此 处 ， 散 列表 的 大 小 


尽管 除 素数 和 2 BARA Sb HY) mm AEREE 913, hı (k) =k mod 13, h: (k) =1— 
也 能 用 于 双重 散 列 中 , 但 是 在 实际 中 ， 要 高 效 (kmod11)。 因 为 14=1(mod13), H 14= 
地 产生 hs(&) 确 保 使 其 与 m 互 素 ， 将 变 得 更 加 3(mod11), KERA TW 1 和 模 5， 并 发 现 
困难 。 部 分 原因 是 这 些 数 的 相对 密度 $Cm)/m EIRGHE, KEF 14 Bea A BE 9 中 
可 能 较 小 ( 见 公式 (31. 24) ) 。 

开放 寻 址 散 列 的 分 析 


像 在 链接 法 中 的 分 析 一 样 ， 开 放 寻 址 法 的 分 析 也 是 以 散 列 表 的 装载 因子 a 二 n/m 来 表达 的 。 
当然 ， 使 用 开放 寻 址 法 ， 每 个 槽 中 至 多 只 有 一 个 元 素 ， 因 而 nx<m， 也 就 意味 着 S1. 

假设 采用 的 是 均匀 散 列 。 在 这 种 理想 的 方法 中 ， 用 于 插入 或 查找 每 一 个 关键 字 & 的 探查 序列 
《hlk，0)，hCk，1)，*…，h(k，m 一 1)) 等 可 能 地 为 (0，1，…，m 一 1) 的 任意 一 种 排列 。 当 然 ， 
每 一 个 给 定 的 关键 字 有 其 相应 的 唯一 固定 的 探查 序列 。 我 们 这 里 想 说 的 是 ， 考 虑 到 关键 字 空间 
上 的 概率 分 布 及 散 列 函数 施 于 这 些 关键 字 上 的 操作 ， 每 一 种 探查 序列 都 是 等 可 能 的 。 

现在 就 来 分 析 在 均匀 散 列 的 假设 下 ， 用 开放 寻 址 法 来 进行 散 列 时 探查 的 期 望 次 数 。 先 来 分 
析 一 次 不 成 功 查找 时 的 探查 次 数 。 

定理 11.6 给 定 一 个 装载 因子 为 a 二 n/m 二 1 的 开放 寻 址 散 列表 ， 并 假设 是 均匀 散 列 的 ， 则 
对 于 一 次 不 成 功 的 查找 ， 其 期 望 的 探查 次 数 至 多 为 1/(1 一 a 。 

证 明 ”在 一 次 不 成 功 的 查找 中 ， 除 了 最 后 一 次 探查 ， 每 一 次 探查 都 要 检查 一 个 被 占用 但 并 
不 包含 所 求 关 键 字 的 构 ， 最 后 检查 的 槽 是 空 的 。 先 定义 随机 变量 X 为 一 次 不 成 功 查找 的 探查 次 
数 ， 再 定义 事件 A;(i 二 1，2，…) 为 第 i 次 探查 且 探 查 到 的 是 一 个 已 经 锌 占用 的 柳 。 那 么 ， 事件 
{Xi} AF A, NA: (Ve NA- 的 交集 。 下 面 通 过 给 出 Pr(A NA: N (A) 的 界 来 得 到 
Pr{X 之 让 的 界 。 根 据 练习 C. 2-5， 有 

Pr{A N 4: N … N Avi} = Pr{A,} » Pr{A, | Ai} e Pr{A; | A; 门 A 
Pr{A;, | A, N Az MN N Azz? 

由 于 有 7 个 元 素 和 m 个 槽 ， 所 以 Pr{A,}=n/m, MF 71， 在 前 7 一 1 次 探查 到 的 都 是 已 占用 醒 
的 前 担 下， 第 7 次 探查 且 探 查 到 的 仍 是 已 占用 槽 的 概率 是 (* 一 /十 1)/(m 一 7 十 1)。 这 是 因为 要 在 
(mm 一 (7 一 1)) 个 未 探查 的 槽 中 ， 查 找 余 下 的 (2 一 (一 1)) 个 元 素 中 的 某 一 个 。 由 均匀 散 列 的 假设 
知 ， 这 一 概率 为 这 两 个 量 的 比值 。 注 意 到 nm, WFR JOS Km), MACN) mS 
n/m, FÆ, HHA idSi<m), A 


pani es 三 = il , 
PAA e l E 2...7 a =," 


m—1 m—-2 m—it2 ~\m 
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现在 ， 再 利用 公式 (C. 25) 来 得 出 探查 期 望 数 的 界 ; 
ELX] = DPX >i) < Sa = Yet =g 


1/da— PERET. 十 十 … 的 这 个 界 有 一 个 直观 的 解释 。 无 论 如 何 ， 总 要 进行 第 一 次 探 
查 。 第 一 次 探查 发 现 的 是 一 个 已 占用 的 槽 时 ， 必 须要 进行 第 二 次 探查 ， 进 行 第 二 次 探查 的 概率 大 
约 为 a。 前 两 次 探查 所 发 现 的 槽 均 是 已 占用 时 ， 需 要 进行 第 三 次 探查 ， 进 行 第 三 次 探查 的 概率 大 
约 为 a’, 等 等 。 

如 果 a 是 一 个 常数 ， 由 定理 11. 6 可 知 ， 一 次 不 成 功 查找 的 运行 时 间 为 O(1) 。 例 如 ， 如 果 散 
列表 一 半 是 满 的 ， 一 次 不 成 功 查找 的 平均 探查 数 至 多 是 1/(1 一 0. 5) 一 2。 如果 散 列表 是 90% 满 
的 ， 则 平均 探查 数 至 多 为 1/(1 一 0. 9) =10, 

根据 定理 11. 6， 几 乎 直接 可 以 得 到 HASH-INSERT 过 程 的 性 能 。 

推论 11.7 假设 采用 的 是 均匀 散 列 ， 平 均 情况 下 ， 向 一 个 装载 因子 为 a 的 开放 寻 址 散 列表 
中 插入 一 个 元 素 至 多 需要 做 1/(1 一 a) 次 探查 。 

证 明 只 有 当 表 中 有 空 权时 ， 才 可 以 插入 新 元 素 ， 故 a 二 1。 插 入 一 个 关键 字 要 先 做 一 次 不 成 
功 的 查找 ， 然 后 将 该 关键 字 置 人 第 一 个 遇 到 的 空 档 中 。 所 以 ， 期 望 的 探查 次 数 至 多 为 1/ (1 一 ) 。 国 

对 于 一 次 成 功 的 查找 ， 需 要 稍 做 一 些 工作 来 得 到 探查 的 期 望 次 数 。 

定理 11.8 ”对 于 一 个 装载 因子 为 a 过 1 的 开放 寻 址 散 列 表 ， 一 次 成 功 查 找 中 的 探查 期 望 数 至 
多 为 





1 
l—a 
假设 采用 均匀 散 列 ， 日 表 中 的 每 个 关键 字 被 查找 的 可 能 ; 性 是 相同 的 。 
证 明 ERREF k 的 探查 序列 与 插入 关键 字 为 & 的 元 素 的 探查 序列 是 相同 的 。 根 据 推论 
11.7， 如 果 上 是 第 (i 十 1) 个 被 插入 表 中 的 关键 字 ， 则 对 % 的 一 次 查找 中 ， 探 查 的 期 望 次 数 至 多 为 
1/(1 一 i/m)= m/(m—i). SRNR AHA 7 个 关键 字 求 平均 ， 则 得 到 一 次 成 功 查 找 的 探查 期 望 





=n 








1s; m — mS) _1_=4 5 d<t adet (由 不 等 式 (A.12)) 


= trak T 
1 
Q m—n a 1 — a 
如 果 散 列表 是 半 满 的 ， 则 一 次 成 功 的 查找 中 ， 探 查 的 期 望 数 小 于 1. 387。 如 果 散 列表 为 90% 
满 的 ， 则 探查 的 期 望 数 小 于 2. 559。 


练习 

11.4-1 考虑 用 开放 寻 址 法 将 关键 字 10、22、31、4、15、28、17、88、59 插入 到 一 长 度 为 m= 
11 的 散 列表 中 ， 辅 助 散 列 函 数 为 h'(k) 一 上 。 试 说 明 分 别 用 线性 探查 、 二 次 探查 (ca 一 1， 
cz 一 3) 和 双重 散 列 (六 (CE) 一 上 ， 必 (一 1 十 (mod( 一 1))) 将 这 些 关键 字 揪 人 散 列 表 的 
过 程 。 

11.4-2 it 3 4) HASH-DELETE 的 伪 代 码 ; 修改 HASH-INSERT, 使 之 能 处 理 特殊 值 
“DELETED, 

11. 4-3 考虑 一 个 采用 均匀 散 列 的 开放 寻 址 散 列 表 。 当 装载 因子 为 3/4 和 7/8 时 ， 试 分 别 给 出 一 

次 不 成 功 查找 和 一 次 成 功 查找 的 探查 期 望 数 上 界 。 

*11. 4-4 “假设 采用 双重 散 列 来 解决 冲突 ， 即 所 用 的 散 列 函数 为 hCk, 让 二 Ch (Ch&) 十 ihs(k))modm。 

WUER: 如 果 对 某 个 关键 字 k, 和 /7 (CA) 有 最 大 公约 数 d 宇 1， 则 在 对 关键 字 & 的 一 次 
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不 成 功 查找 中 ， 在 返回 覃 六 (Re) 之前， 要 检查 散 列 表 中 第 (1/d) 个 元 素 。 于 是 ， 当 d=1 
时 ， 么 与 Ps (CA) 互 素 ， 查 找 操作 可 能 要 检查 整个 散 列 表 。 Ger: 见 第 31 章 。) 


*11.4-5 考虑 一 个 装载 因子 为 a 的 开放 寻 址 散 列 表 。 找 出 一 个 非 零 的 a 值 ， 使 得 一 次 不 成 功 查 找 


的 探查 期 望 数 是 一 次 成 功 查 找 的 探查 期 望 数 的 2 倍 。 这 两 个 探查 期 望 数 可 以 使 用 定理 
11.6 和 定理 11. 8 PASH EF. 


11.5 完全 散 列 


使 用 散 列 技术 通常 是 个 好 的 选择 ， 不 仅 是 因为 它 有 优异 的 平均 情况 性 能 ， 而 且 当 关键 字 集 
合 是 静态 (static) 时 ， 散 列 技术 也 能 提供 出 色 的 最 坏 情况 性 能 。 所 谓 静 态 ， 就 是 指 一 旦 各 关键 字 
存 人 表 中 ， 关 键 字 集合 就 不 再 变化 了 。 一些 应 用 存在 着 天 然 的 静态 关键 字 集 合 ， 如 程序 设计 语言 
中 的 保留 字 集合 ， 或 者 CD-ROM 上 的 文件 名 集合 。 一 种 散 列 方法 称 为 完全 散 列 (perfect 
hashing) ， 如 采 该 方法 进行 查找 时 ， 能 在 最 坏 情 况 下 用 OC(1) 次 访 存 完成 。 

我 们 采用 两 级 的 散 列 方法 来 设计 完全 散 列 方案 ， 在 每 级 上 都 使 用 全 域 散 列 。 图 11-6 描述 了 
该 方法 。 





函数 为 由) 一 ((aR 十 0)modp)modm， 这 里 a=3, b=42, p=101, m=9, 例如，h(75)= 二 2， 因 
此 ， 关 键 字 75 散 列 到 表 TAB 2 中 。 一 个 二 级 散 列 表 S PRAT PARISI 7 中 的 关键 字 。 
BON S 的 大 小 为 mj =n}, ## AAAS Bl PABA hj (2) = (Cak +; ) mod p) modm;. AW 
ja(75) 一 7， 故 关键 字 75 被 存储 在 二 级 散 列 表 S HT 中 。 二 级 散 列表 没有 冲突 ， 因 而 查找 操作 
在 最 坏 情 况 下 所 需 的 时 间 为 常数 


第 一 级 与 带 链 接 的 散 列 表 基 本 上 是 一 样 的 : 利用 从 某 一 全 域 散 列 函 数 簇 中 仔细 选 出 的 一 个 
BO" PRB h, RE ”个 关键 字 散 列 到 TAR. 

然而 ， 我 们 采用 了 一 个 较 小 的 二 次 散 列 表 (secondary hash table)S; 及 相关 的 散 列 函数 h;， 而 
不 是 将 散 列 到 槽 7 中 的 所 有 关键 字 建立 一 个 链表 。 利 用 精心 选择 的 散 列 函数 方 ， 可 以 确保 在 第 二 
级 上 不 出 现 冲突 。 

但 是 ， 为 了 确保 在 第 二 级 上 不 出 现 冲突 ， 需 要 让 散 列 表 S 的 大 小 mj; 为 散 列 到 槽 7 中 的 关键 
字数 nj 的 平方 。 尽 管 m 对 nj; 的 这 种 二 次 依赖 看 上 去 可 能 使 得 总 体 存 储 需求 很 大 ， 但 我 们 会 在 
后 面 说 明 ， 通 过 适当 地 选择 第 一 级 散 列 函数 ， 可 以 将 预期 使 用 的 总 体 存 储 空间 限制 为 O(n).。 

我 们 采用 的 散 列 函数 是 选 目 11. 3. 3 节 中 的 全 域 散 列 函数 类 。 第 一 级 散 列 函 数 选 自 类 pn， 
其 中 p 是 一 个 比 任 何 关键 字 值 都 要 大 的 素数 ( 见 11. 3. 3 节 ) 。 那 些 散 列 到 槽 7 中 的 关键 字 通 过 利 
用 一 个 从 类 pn, 中 选 出 的 散 列 函 数 h;， 被 重新 散 列 到 一 个 大 小 为 m 的 二 次 散 列表 S; H.S 


O ăny=m=l 时， 我 们 并 不 是 真 的 需要 为 槽 7 选择 一 个 散 列 函 数 ; 当 为 这 样 的 权 选 择 一 个 散 列 函数 hao (k) = 
((ak 十 6)modp)modm; 时 ， 我 们 也 只 是 用 了 a=b=0, 
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下 面 分 两 步 进行 。 首 先 ， 要 确定 如 何 才 能 保证 第 二 级 散 列 表 中 不 发 生 冲 突 。 其 次 ， 要 说 明 使 
用 总 体 存储 空间 的 期 望 数 为 O(z) ， 这 里 包括 主 散 列 表 和 所 有 的 二 级 散 列 表 所 占 的 空间 。 

定理 11.9 如 果 从 一 个 全 域 散 列 函 数 类 中 随机 选 出 散 列 函数 h， 将 nn 个 关键 字 存 储 在 一 个 大 
小 为 m 二 2 的 散 列 表 中 ， 那 么 表 中 出 现 冲 突 的 概率 小 于 1/2。 


证 明 HAC 对 关键 字 可 能 发 生 冲突 ;如 果 是 从 一 个 全 域 散 列 函数 类 3 中 随机 选 出 ， 那 


么 每 一 对 关键 字 冲 突 的 概率 为 1/m。 设 XX 是 一 个 统计 冲突 次 数 的 随机 变量 。 当 m= 时， 期 望 
的 冲突 次 数 为 ; 





me ae aSa 


n 2 
(注意 ， 这 里 的 分 析 类 似 于 5.4.1 节 中 关于 生日 悖 论 的 分 析 。) 再 运用 马尔 可 夫 不 等 式 (C. 30)， 
Pr( X> KELX]/t, 将 t=1 代入 ， 即 完成 证 明 。 加 


在 定理 11. 9 所 描述 的 情形 ( 即 mm 一 巡 ) 中 ， 对 于 一 个 从 无 中 随机 选 出 的 散 列 函数 关 ， 较 有 可 能 
不 发 生 冲 突 。 给 定 待 散 列 的 包含 ”个 关键 字 的 集合 K (注意 K 是 静态 的 )， 只 需 几 次 随机 的 尝试 ， 
就 能 比较 容易 地 找 出 一 个 没有 冲突 的 散 列 函数 ho 

但 当 n 比较 大 时 ， 一 个 大 小 为 m= 的 散 列表 还 是 很 大 的 。 因 此 ， 我 们 采用 两 级 散 列 方法 ， 
并 利用 定理 11. 9 中 的 做 法 ， 对 每 个 槽 中 的 关键 字 仅 进 行 一 次 散 列 。 一 个 外 层 的 (或 称 为 第 一 级 
的 ) 散 列 函数 hh 用 于 将 各 关键 字 散 列 到 m= 个 槽 中 。 那 么 ， 如 果 有 y PREFERIA TH j 
中 ， 可 以 用 一 个 大 小 为 mj = 届 的 二 级 散 列表 S; 来 提供 无 冲突 的 常数 时 间 查 找 。 

现在 再 来 看 看 如 何 确保 所 用 总 体 存储 空间 为 OCn) 的 问题 。 由 于 第 j 个 二 级 散 列表 的 大 小 mm， 
以 所 存储 的 关键 字数 n; 的 平方 方式 增长 ， 因 而 存在 着 这 样 一 种 风险 ， 即 所 需 的 总 体 存储 空间 量 
可 能 会 很 大 。 

如 果 第 一 级 散 列表 的 大 小 为 m= 二 n， 则 用 于 存储 主 散 列 表 、 大 小 为 m 的 二 级 散 列 表 ， 以 及 用 
于 存储 二 次 散 列 函数 有 的 参数 a; Ab; (a; Mb; 定义 取 自 11. 3. 3 节 中 类 p,m 的 二 次 散 列 函数 h;， 
对 于 n==1 Al a=b=0 除外 ) 的 存储 空间 总 量 为 O(n)。 下 面 的 定理 和 一 个 推论 给 出 了 所 有 二 级 散 
列表 的 大 小 加 起 来 后 的 期 望 值 的 界 。 第 二 个 推论 给 出 了 所 有 二 级 散 列表 的 大 小 加 起 来 后 超过 线 
性 时 的 概率 的 一 个 上 界 (实际 上 ， 后 面 的 证 明 中 ， 超 过 线性 是 指 等 于 或 大 于 4n). 

定理 ,11. 10 如果 从 菜 一 个 全 域 散 列 函 数 类 中 随机 选 出 散 列 函数 h， 用 它 将 nn 个 关键 字 存 储 
到 一 个 大 小 为 m 二 n 的 散 列表 中 ， 则 有 


E[S J< 2n 
RE n ARAN ANG] 中 的 关键 字数 。 
WEAR, 我 们 从 下 面 的 恒等式 开始 ， 这 个 等 式 对 任何 非 负 的 整数 a 成 立 : 


a =at+2(,) (11. 6) 
于 是 ， 有 
ELS] El S*(n,+2()) | (由 式 (11. 6)) 


2 


-E[n ha D(H] (由 期 望 的 线性 性 ) 





= E[n] +25] Š (%7) | (由 式 (11. 1)) 
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=n+2E| Š (”) | (因为 不 是 一 个 随机 变量 ) 


为 了 计算 和 式 D (”) ， 注 意 到 它 正 是 散 列表 中 发 生 冲突 的 关键 字 的 总 对 数 。 根 据 全 域 区 列 
性 质 ， 这 一 和 式 的 期 望 值 至 多 为 


因为 m=n, TE 





2 

推论 11.11 如 果 从 菜 一 全 域 散 列 函 数 类 中 随机 选 出 散 列 函 数 h， 用 它 将 nn 个 关键 字 存 储 到 
一 个 大 小 为 m 二 nn 的 散 列 表 中 ， 并 将 每 个 二 次 散 列 表 的 大 小 设置 为 mj 二 (j= 二 0，1，…，m 一 1)， 
则 在 一 个 完全 散 列 方案 中 ， 存 储 所 有 二 次 散 列表 所 需 的 存储 总 量 的 期 望 值 小 于 2n。 

证 明 因为 m= 二 w==0，1，…，m 一 1)， 由 定理 11. 10 给 出 


E[S m ]= E[ i ]< 2n (11.7) 
证 毕 。 国 
推论 11.12 ”如 果 从 茶 一 全 域 散 列 函数 类 中 随机 选 出 散 列 函数 h 有 ， 用 它 将 nn 个 关键 字 存 储 到 
一 个 大 小 为 m= 二 n 的 散 列 表 中 ， 并 将 每 个 二 级 散 列 表 的 大 小 置 为 mj 二 nj (j= 二 0，1，…，m 一 1)， 
则 用 于 存储 所 有 二 级 散 列 表 的 存储 总 量 等 于 或 大 于 4n 的 概率 小 于 1/2。 
证 明 ”再 应 用 马尔 可 夫 不 等 式 (C. 30), BI Pri X> <ELX]/t. F X = $m, Al t= 4n 4K 
人 不 等 式 (11. 7): 


ml 
E[ Sind |< n+2 224 = 2n—1 < 2n E 
j=0 


ml BD e] 
Pr{ >) mj > 4n) < <#= 1/2 四 
从 推论 11.12 可 以 看 出 ， 只 和 需 从 全 域 散 列 蚂 数 类 中 随机 选 出 几 个 散 列 函数 ， 尝 试 几 次 就 可 以 


快速 地 找到 一 个 所 需 存 储量 较为 合理 的 函数 。 


练习 
*11.5-1 假设 采用 了 开放 寻 址 法 和 均匀 散 列 技术 将 n 个 关键 字 插 入 到 一 个 大 小 为 m 的 散 列 表 中 。 
设 p(n, m) 为 没有 冲突 发 生 的 概率 。 W uE HH: p(n, m) Aa (提示 : 见 
式 (3. 12) ,) 论 证 当 n 超 过 Ym 时 ， 不 发 生 冲 突 的 概率 快速 趋 于 0。 





思考 题 
11-1 ( 散 列 最 长 探查 的 界 ) ”采用 开放 寻 址 法 ， 用 一 个 大 小 为 m 的 散 列 表 来 存储 n(n 二 m/2) 个 数 
据 项 目 。 
a. 假设 采用 均匀 散 列 ， WEAR : 对 于 i=l, 2， °°°, Ny 第 ; 次 插 人 需要 严格 多 于 次 探查 的 
概率 至 多 为 2“。 


b 证明; 对 于 i 二 1，2，…,n, 第 i 次 插入 需 要 多 于 21gn 次 探查 的 概率 为 OC1/)。 
设 随机 变量 X 表示 第 ; 次 插入 所 需 的 探查 次 数 。 在 上 面 (b) 中 已 证 明 Pr{X:>21gn} = 
O01/ 民 )。 设 随机 变量 X= maxX, RA n 次 插入 中 所 需 探查 数 的 最 大 值 。 


11-2 


11-3 


11-4 
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c. WEAK: Pr{X>2lgn}=O01/n). 
d 证 明 ， 最 长 探查 序列 的 期 望 长 度 为 E[z] 二 OClgn)。 
(链接 法 中 模 大 小 的 界 ) 假设 有 一 个 含 ”个 槽 的 散 列 表 ， 回 表 中 插入 ”个 关键 字 ， 并 用 链 
接 法 来 解决 冲突 问题 。 每 个 关键 字 被 等 可 能 地 散 列 到 每 个 模 中 。 所 有 关键 字 被 插入 后 ， 设 
M 是 各 槽 中 所 含 关 键 字数 的 最 大 值 。 读 者 的 任务 是 证 明 M 的 期 望 值 ELMj] 的 一 个 上 界 
为 Ol(lgn/lglg n). 
a. HEH: 正好 有 个 关键 字 被 散 列 到 某 一 特定 槽 中 的 概率 Qx 为 
aa G 
b. 设 Pi 为 M=& 的 概率 ， 即 包含 最 多 关键 字 的 模 中 有 此 个 关键 字 的 概率 。 证 明 : 
P,<7nQ, . 
c 应 用 斯 特 林 近似 公式 (3. 18) 来 证 明 : QKE. 
d. 证 明 : 存在 常数 >l, EQ, 二 1/n 对 和 = 二 clgn/lglg nn 成立。 并 有 结论 : 对 kREk = 
clgn/Iglgn, P,<1/n’ 成 立 。 
e WEHR: 








E[M] < Pr{M> en} n+PriM< clgn 上 clgn 


| lglg lglgn! lglgn 
并 有 结论 : ELM]=Oign/lelgn). 
(二 次 探查 ) 假设 要 在 一 个 散 列 表 ( 表 中 的 各 个 位 置 为 0，1，…， 和 一 1) 中 查找 关键 字 k, 
并 假设 有 一 个 散 列 函数 将 关键 字 空间 映射 到 集合 {0，1，…，m 一 1; 上 ， 查 找 方法 如 下 : 
1. 计算 值 7 一 /AR) ， 置 ;一 0。 
2. 探查 要 找 的 关键 字 & 的 位 置 7 ， 或 者 找到 了 ， 或 者 该 位 置 为 空 ， 并 结束 查找 。 
3. 置 i=i 十 1。 如 果 i 二 m， 则 表 已 满 ， 于 是 终止 探查 ; 否则 ， 设 7 一 (十 7)modm， 返 回 到 
HE 2. 
BL m E 2 ORE. 
a. 通过 给 出 等 式 (11. 5) 中 o 和 c 的 适当 值 ， 来 证 明 该 方案 是 一 般 的 “二 次 探查 ”法 的 一 个 
实例 。 
b. WEAR: 在 最 坏 情况 下 ， 这 个 算法 要 检查 表 中 的 每 一 个 位 置 。 . 
《( 散 列 和 认证 ) ” 设 天 为 一 个 散 列 函数 类 ， 其 中 的 每 个 散 列 函数 hE KR 将 关键 字 全 域 0U 映射 
到 {0，1，…，m 一 1} 上 。 我 们 称 .KK 是 上 全域 的 (k-universal)， 如 果 对 每 个 由 个 不 同 的 关 
EFP? cP, oer, LP ) 构 成 的 固定 序列 ， 以 及 从 天 中 随机 选 出 的 任意 散 列 沙 数 h， 序 列 
Cha), AC), e, ALENE mM ARER k 的 序列 (其 元 素 取 自 {0，1，…:，mm 一 1)) 
中 任意 一 个 的 可 能 性 相同 。 
a. 证 明 : ORB! RAAHE 2 全 域 的 ， 则 它 是 全 域 的 。 
b ARU IRA Z, 一 (0，1，…，p 一 1}) 中 数值 的 元 组 集合 ， 此 处 p 为 素数 。 考 虑 元 
R L= los Lis s Ta) EU, X FERM n TOA a =a, ais ts, anm) EU, EEL 
IRR ha 为 


| h, (x) = (Da jmodp 
并 设 == {h,}。 证明; 是 全 域 的 ， 但 不 是 2 全 域 的 。( 提 示 ; 寻找 一 个 关键 字 ， 使 得 


中 所 有 散 列 函数 对 其 都 得 到 相同 的 值 。) 
c 假设 将 (b) 中 的 光 略 作 修改 : 对 任意 的 EU 和 任意 的 5EZ,， 定 义 
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nl 
h'a la) = ( Dyas; + b) mod p 


HKH =(h'y). WEK 是 2 全 域 的 。( 提 示 : 考虑 固定 的 2 元 组 zxEU 和 >yEU， 对 某 个 :; 
有 Zi 天 yi。 当 a; 和 b 包括 Z, 时 ， h'a (x) Al h'a (y) 会 如 何 ?) 

d. 假设 Alice 和 Bob 悄悄 地 约定 了 一 个 取 自 2 全 域 散 列 函数 艇 天 中 的 散 列 函数 有。 每 个 hE 
HERES SIM U RHA Z, 上 ， 此 处 之 为 素数 。 后 来 ，Alice 通过 互联 网 回 Bob £% T 
—MHEBm, HP mmEU。 她 同时 还 通过 发 送 一 个 认证 标记 t=h(m) Ki] Bob 认证 这 一 
消息 ， 而 Bob 则 要 检查 他 所 接收 到 的 (m，) 对 是 否 确 实 满足 t=A(m). 。 假 设 某 一 对 手 半 
路 中 截获 了 (Cm，t) ， 并 试图 将 该 值 对 蔡 换 为 另 一 值 对 Cm ，z ) 来 欺骗 Bob。 论 证 无 论 该 
对 手 的 计算 机 性 能 多 好 ， 他 成 功 地 欺骗 Bob 接受 Cm ，#) 的 概率 至 多 为 /p， 即 使 他 知 

284 道 所 用 的 散 列 函 数 簇 天 。 


本 章 注 记 

在 有 关 散 列 算法 的 分 析 书 籍 中 ，KnuthL211] 和 GonnetL145 都 是 很 好 的 参考 书 。Knuth Å 
为 ，H. P. Luhn(1953) 首 先 提 出 了 散 列 表 技 术 ， 以 及 用 于 解决 冲突 的 链接 方法 。 在 大 约 相同 的 时 
[a], G. M. Amdahl 首先 提出 了 开放 寻 址 法 的 思想 。 

Carter 和 WegmanL58] 于 1979 年 引入 了 全 域 散 列 函数 类 的 概念 。 

Fredman, Komlós 和 Szemerédi[ 112 ] 针 对 静态 关键 字 和 集合 ( 见 11.5 节 )， 提 出 了 完全 散 列 方 
案 。Dietzfelbinger FALS 后 来 又 将 这 一 方法 扩展 至 动态 关键 字 和 集合 上 ， 其 处 理 插入 和 删除 操作 

[285] ”的 摊 还 期 望 时 间 为 O(1)。 
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二 叉 搜索 树 


搜索 树 数 据 结 构 支 持 许多 动态 集合 操作 ， 包 括 SEARCH, MINIMUM, MAXIMUM, 
PREDECESSOR, SUCCESSOR, INSERT 和 DELETE 等 。 因 此 ， 我 们 使 用 一 棵 搜索 树 既 可 以 作 
为 一 个 字典 又 可 以 作为 一 个 优先 队列 。 

二 又 搜索 树 上 的 基本 操作 所 花费 的 时 间 与 这 棵 树 的 高 度 成 正比 。 对 于 有 ”个 结 点 的 一 棵 完全 
二 叉 树 来 说 ， 这 些 操作 的 最 坏 运 行 时 间 为 6(lgn)。 然 而 ， 如 果 这 棵 树 是 一 条 nn 个 结 点 组 成 的 线 
性 链 ， 那 么 同样 的 操作 就 要 花费 @(n) 的 最 坏 运行 时 间 。 在 12. 4 节 中 ， 我 们 将 看 到 一 棵 随机 构造 
的 二 又 搜 索 树 的 期 望 高 度 为 Ol(lgn)， 因 此 这 样 一 棵 树 上 的 动态 集合 的 基本 操作 的 平均 运行 时 间 
是 @(lgn)。 

实际 上 ， 我 们 并 不 能 总 是 保证 随机 地 构造 二 叉 搜 索 树 ， 然 而 可 以 设计 二 叉 搜 索 树 的 变 体 ， 来 
保证 基本 操作 具有 好 的 最 坏 情况 性 能 。 第 13 章 给 出 了 一 个 这 样 的 变形 ， 即 红 黑 树 ， 它 的 树 高 为 
O(lgn)。 第 18 章 将 介绍 B 树 ， 它 特别 适用 于 二 级 (磁盘 ) 存 储 器 上 的 数据 库 维护 。 

在 给 出 二 又 搜索 树 的 基本 性 质 之 后 ， 随 后 几 节 介绍 如 何 遍 历 一 棵 二 又 搜索 树 来 按 序 输 出 各 
个 值 ， 如 何在 一 棵 二 又 搜索 树 上 查找 一 个 值 ， 如 何 查 找 最 小 或 最 大 元 素 ， 如 何 查找 一 个 元 素 的 前 
驱 和 后 继 ， 以 及 如 何 对 一 棵 二 又 搜索 树 进 行 插 入 和 删除 。 树 的 这 些 基本 数学 性 质 见 附录 B. 


12.1 什么 是 二 叉 搜索 树 | 
顾名思义 ， 一 棵 二 又 搜索 树 是 以 一 棵 二 又 树 来 组 织 的 ， 如 图 12-1 所 示 。 这 样 一 棵 树 可 以 使 
用 一 个 链表 数据 结构 来 表示 ， 其 中 每 个 结 点 就 是 一 个 对 象 。 除 了 key 和 卫星 数据 之 外 ， 每 个 结 点 
还 包含 属性 left、right 和 妨 ， 它 们 分 别 指向 结 点 的 左 孩子 、 右 孩子 和 双亲 。 如 果 某 个 孩子 结 点 和 [286] 
一 父 指针 为 NIL 的 结 点 。 








(a) 


12-1 二 又 搜索 树 。 对 任何 结 点 zx， 其 左 子 树 中 的 关键 字 最 大 不 超过 x. key， 其 右 子 树 中 的 关键 字 最 小 不 
(KT z. key。 不 同 的 二 又 搜索 树 可 以 代表 同一 组 值 的 集合 。 大 部 分 搜索 树 操作 的 最 坏 运行 时 间 与 树 
的 高 度 成 正比 。(a) 一 棵 包含 6 个 结 点 、 高 度 为 2 的 二 又 搜索 树 。(b) 一 棵 包含 相同 关键 字 、 高 度 
为 4 的 低 效 二 又 搜索 树 


二 又 搜索 树 中 的 关键 字 总 是 以 满足 二 又 搜索 树 性 质 的 方式 来 存储 
设 工 是 二 又 搜索 树 中 的 一 个 结 点 。 如 果 y 是 xz 左 子 树 中 的 一 个 结 点 ， 那 么 y keys 
x. key, 如 果 y 是 z 右 子 树 中 的 一 个 结 点 ， 那 么 y. ReySx. key. 
因此 ， 在 图 12-1(a) 中 ， 树 根 的 关键 字 为 6， 在 其 左 子 树 中 有 关键 字 2、5 和 5， 它们 均 不 大 于 6; 
而 在 其 右 子 树 中 有 关键 字 7 和 8， 它们 均 不 小 于 6。 这 个 性 质 对 树 中 的 每 个 结 点 都 成 立 。 例 如 ， 
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树 根 的 左 孩 子 为 关键 字 5， 不 小 于 其 左 子 树 中 的 关键 字 2 并 且 不 大 于 其 右 子 树 中 的 关键 字 5. 

二 又 搜索 树 性 质 允 许 我 们 通过 一 个 简单 的 递归 算法 来 按 序 输出 二 又 搜索 树 中 的 所 有 关键 字 ， 
这 种 算法 称 为 中 序 遍历 (inorder tree walk) 算 法 。 这 样 命名 的 原因 是 输出 的 子 树 根 的 关键 字 位 于 
其 左 子 树 的 关键 字 值 和 右 子 树 的 关键 字 值 之 间 。( 类 似 地 ， 先 序 遍 历 (preorder tree walk) 中 输出 
的 根 的 关键 字 在 其 左右 子 树 的 关键 字 值 之 前 ， 而 后 序 遍 历 (postorder tree walk) 输 出 的 根 的 关键 
字 在 其 左右 子 树 的 关键 字 值 之 后 。) 调 用 下 面 的 过 程 INORDER-TREE-WALK(T. root)， 就 可 以 输 
出 一 棵 二 又 搜索 树 TPH PAIR. 


INORDER-TREE-WALK(z) 


1 ifzA~ NIL 

2 INORDER-TREE-WALK (2, le ft) 
3 print x. key 

4 INORDER-TREE-WALK (xz. right) 


作为 一 个 例子 ， 对 于 图 12-1 中 的 两 棵 二 又 搜索 树 ， 中 序 遍 历 输 出 的 关键 字 次 序 均 为 2，5， 
5，6，7，8。 根 据 二 又 搜索 树 性 质 ， 可 以 直接 应 用 归纳 法 证 明 该 算法 的 正确 性 。 

遍历 一 棵 有 7 个 结 点 的 二 又 搜索 树 需 要 耗费 9(z) 的 时 间 ， 因 为 初次 调用 之 后 ， 对 于 树 中 的 
每 个 结 点 这 个 过 程 恰好 要 自己 调用 两 次 : 一 次 是 它 的 左 孩子 ， 另 一 次 是 它 的 右 孩 子 。 下 面 的 定理 
给 出 了 执行 一 次 中 序 遍 历 耗 费 线性 时 间 的 一 个 证 明 。 

定理 12.1 如 果 工 是 一 哥 有 7? 个 结 点 子 树 的 根 ， 那 么 调用 INORDER-TREE-WALK(Cz) 需 要 
B(n) 时 间 。 

WEAR 当 INORDER-TREE-WALK 作用 于 一 棵 有 nn 个 结 点 子 树 的 根 时 ， 用 T(n) 表 示 和 需要 的 
时 间 。 由 于 INORDER-TREE-WALK 要 访问 这 棵 子 树 的 全 部 ”个 结 点 ， 所 以 有 TM=). F 
面 要 证 明 T(n) =O(n) : 

由 于 对 于 一 棵 空 树 ，INORDER-TREE-WALK 需要 耗费 一 个 小 的 常数 时 间 ( 因 为 测试 cH 
NIL)， 因 此 对 某 个 常数 c>>0， 有 T(0)=c。 

对 n>0, RIAA INORDER-TREE-WALK 作用 在 一 个 结 点 zx E, BRET RPE 
点 且 其 右 子 树 有 nn 一 一 1 个 结 点 ， 则 执行 INORDER-TREE-WALK(Cz) 的 时 间 由 TO) <TR) + 
Tn 一 & 一 1) 十 4 限界 ， 其 中 常数 4 二 0。 此 式 反映 了 执行 INORDER-TREE-WALK(z) 的 一 个 时 间 
上 界 ， 其 中 不 包括 递归 调用 所 花费 的 时 间 。 

使 用 替换 法 ， 通 过 证 明 T(n) 志 (ec 十 dqd)n 十 c， 可 以 证 得 T(n)= 二 Oln)。 对 于 n= 二 0， 有 (cc 十 d)。 
O+tc=c=TO). XF n>0, A 

Tin) STk) + Tn—-k-D td = (ce+adDkt+oc) + (etd) (n—k-1) +0) +d 
=(ct+td)n+ce—(ctd)+etd=(ct+dnt+c 


于 是 ， 便 完成 了 定理 的 证 明 。 w 

练习 

12. 1-1 对 于 关键 字 和 集合 {1，4，5，10，16，17，21},， 分别 画 出 高 度 为 2、3、4、5 和 6 的 二 又 
搜索 树 。 


12.1-2 ”二 又 搜索 树 性 质 与 最 小 堆 性 质 ( 见 6. 1 节 ) 之 间 有 什么 不 同 ? 能 使 用 最 小 堆 性 质 在 O(n) 
时 间 内 按 序 输 出 一 棵 有 2 个 结 点 树 的 关键 字 吗 ? 可 以 的 话 ， 请 说 明 如 何 做 ， 否 则 解释 
理由 。 

12. 1-3 ”设计 一 个 执行 中 序 遍 历 的 非 递归 算法 。( 提 示 : 一 种 容易 的 方法 是 使 用 栈 作为 辅助 数据 结 
构 ;， 男 一 种 较 复 杂 但 比较 简洁 的 做 法 是 不 使 用 栈 ， 但 要 假设 能 测试 两 个 指针 是 否 相 等 .) 


第 12 章 二 又 搜索 树 ° 163 


12. 1-4 对 于 一 棵 有 7 个 结 点 的 树 ， 请 设计 在 Bm) 时 间 内 完成 的 先 序 遍历 算法 和 后 序 遍 历 算法 。 

12.1-5 ”因为 在 基于 比较 的 排序 模型 中 ， 完 成 ”个 元 素 的 排序 ， 其 最 坏 情况 下 需要 QCnlgn) 时 
间 。 试 证 明 : 任何 基于 比较 的 算法 从 “个 元 素 的 任意 序列 中 构造 一 棵 二 又 搜索 树 ， 其 最 
坏 情 况 下 需要 Qnlgn) 的 时 间 。 


12.2 ”查询 二 又 搜索 树 


我 们 经 常 需要 查找 一 个 存储 在 二 又 搜索 树 中 的 关键 字 。 除 了 SEARCH 操作 之 外 ， 二 又 搜索 
树 还 能 支持 诸如 MINIMUM、MAXIMUM、SUCCESSOR 和 PREDECESSOR 的 查询 操作 。 本 节 
将 讨论 这 些 操作 ， 并 且说 明 在 任何 高 度 为 h 的 二 叉 搜索 树 上 ， 如 何在 OC(h) 时 间 内 执行 完 每 个 
操作 。 
查找 
我 们 使 用 下 面 的 过 程 在 一 棵 二 又 搜索 树 中 查找 一 个 具有 给 定 关键 字 的 结 点 。 输 入 一 个 指向 
树 根 的 指针 和 一 个 关键 字 &， 如 果 这 个 结 点 存在 ，TREE-SEARCH 返回 一 个 指向 关键 字 为 上 的 结 
点 的 指针 ; 否则 返回 NIL. 
TREE-SEARCH(z,&) 
1 it 二 NIL or k == z. key 
‘return x 
if k < x. key 
‘return TREE-SEARCH(z, le ft,k) 
else return TREE-SEARCH (=. right, k) 


这 个 过 程 从 树 根 开 始 查找 ， 并 沿 着 这 棵 树 中 的 一 条 简单 路 径 向 下 进行 ， 如 图 12-2 所 示 。 对 
于 遇 到 的 每 个 结 点 zx， 比较 关键 字 & zx. keys MRA E 
个 关键 字 相 等 ， 查 找 就 终止 。 如 果 & 小 于 z.&ey， 查 找 
在 zz 的 左 子 树 中 继续 ， 因 为 二 又 搜 索 树 性 质 蕴涵 了 & 不 
可 能 被 存储 在 右 子 树 中 。 对 称 地 ， 如 果 上 有 大 于 zz. key, 
查找 在 右 子 树 中 继续 。 从 树 根 开始 递归 期 间 遇 到 的 结 点 
就 形成 了 一 条 问 下 的 简单 路 径 ， 所 以 TREE-SEARCH 
的 运行 时 间 为 OW, AP h 是 这 棵 树 的 高 度 。 

我 们 可 以 采用 while 循环 来 展开 递归 ， 用 一 种 迭代 
方式 重 写 这 个 过 程 。 对 于 大 多 数 计算 机 ， 和 迭代 版 本 的 效 ”图 12-2 一 棵 二 又 搜索 树 上 的 查询 。 为 


oT å e WwW N 


率 要 高 得 多 。 了 查找 这 棵 树 中 关键 字 为 13 的 
| 结 点 ， 从 树 根 开始 沿 着 15 一 6 
ITERATIVE-TREE-SEARCH(z,:) 一 7 一 13 路 径 进 行 查找 。 这 标 

1 while z ~ NIL and k Æ z. key 树 中 最 小 的 关键 字 为 2， 它 是 

2 iifh<z.key 从 树 根 开始 一 直 沿 着 left 指针 

3 | x = zx. left 被 找到 的 。 最 大 的 关键 字 20 是 

4 else x = x. right 从 树 根 开始 一 直 沿 着 right 指 

5 return x 针 被 找到 的 。 关 键 字 为 15 的 结 

点 的 后 继 是 关键 字 为 17 的 结 

最 大 关键 字 元 素 和 最 小 关键 字 元 素 点 ， 因 为 它 是 15 的 右 子 树 中 的 
通过 从 树 根 开始 沿 着 left 孩子 指针 直到 遇 到 一 个 最 小 关键 字 。 关 键 字 为 13 的 结 
NIL, 我们 总 能 在 一 棵 二 又 搜索 树 中 找到 一 个 元 素 ， 如 ae ee i 
图 12-2 所 示 。 下 面 的 过 程 返 回 了 一 个 指向 在 以 给 定 结 是 一 个 祖先 。 这 种 情况 下 ， 关 





Ka x 为 根 的 子 树 中 的 最 小 元 素 的 指针 ， 这 里 假设 不 键 字 为 15 的 结 点 就 是 它 的 后 继 
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J NIL: 
TREE-MINIMUM(z) 
1 while z. left Æ NIL 
2 x = zx. left 


3 return z 


二 又 搜索 树 性 质保 证 了 TREE-MINIMUM 是 正确 的 。 如 果 结 点 工 没 有 左 子 树 ， 那 么 由 于 z 
右 子 树 中 的 每 个 关键 字 都 至 少 大 于 或 等 于 z. key, MA z 为 根 的 子 树 中 的 最 小 关键 字 是 x. key. 
如 果 结 点 z 有 左 子 树 ， 那 么 由 于 其 右 子 树 中 没有 关键 字 小 于 x. key， 且 在 左 子 树 中 的 每 个 关键 字 
不 大 于 z. key， 则 以 z 为 根 的 子 树 中 的 最 小 关键 字 一 定 在 以 z. left 为 根 的 子 树 中 。 

TREE-MAXIMUM 的 伪 代 码 是 对 称 的 ， 如 下 : 

TREE-MAXIMUM(z) 

1 while x. right Æ NIL 

2 x = x. right 


3 return z 


这 两 个 过 程 在 一 棵 高 度 为 h 的 树 上 均 能 在 OC(h) 时 间 内 执行 完 ， 因 为 与 TREE-SEARCH 一 
它们 所 遇 到 的 结 点 均 形 成 了 一 条 从 树 根 向 下 的 简单 路 径 。 
后 继 和 前 驱 
给 定 一 棵 二 又 搜索 树 中 的 一 个 结 点 ， 有 了 时候 需要 按 中 序 人 遍历 的 次 序 查 找 它 的 后 继 。 如 果 所 
有 的 关键 字 互 不 相同 ， 则 一 个 结 点 z 的 后 继 是 大 于 q. key 的 最 小 关键 字 的 结 点 。 一 棵 二 又 搜索 
树 的 结构 允许 我 们 通过 没有 任何 关键 字 的 比较 来 确定 一 个 结 点 的 后 继 。 如 果 后 继 存在 ， 下 面 的 
过 程 将 返回 一 棵 二 又 搜索 树 中 的 结 点 z 的 后 继 ; 如 果 工 是 这 棵 树 中 的 最 大 关键 字 ， 则 返 
回 NIL。 
TREE-SUCCESSOR(z) 
if x. right # NIL 
return TREE-MINIMUM(z. right) 


1 
2 
3 yy 一 工 . 力 

4 while y ~ NIL and x == y. right 
5 

6 

7 


样 


< 


t= y 
yoru y p 
return y 

把 TREE-SUCCESSOR 的 伪 代 码 分 为 两 种 情况 。 如 果 结 点 z 的 右 子 树 非 空 ， 那 么 z 的 后 继 
恰 是 z 右 子 树 中 的 最 左 结 点 ， 通 过 第 2 行 中 的 TREE-MINIMUM(z. righz) 调 用 可 以 找到 。 例 如 ， 
在 图 12-2 中 ， 关 键 字 为 15 的 结 点 的 后 继 是 关键 字 为 17 的 结 点 。 

另 一 方面 ， 正 如 练习 12. 2-6 所 要 做 的 ， 如 果 结 点 z 的 右 子 树 非 空 并 有 一 个 后 继 y， 那 么 y 就 
是 工 的 有 左 孩 子 的 最 底层 祖先 ， 并 且 它 也 是 z 的 一 个 祖先 。 在 图 12-2 中 ， 关 键 字 为 13 的 结 点 的 
后 继 是 关键 字 为 15 的 结 点 。 为 了 找到 y， 只 需 简单 地 从 z 开始 沿 树 而 上 直到 遇 到 一 个 其 双亲 有 
左 孩 子 的 结 点 。TREE-SUCCESSOR 中 的 第 3~7 行 正 是 处 理 这 种 情况 。 

在 一 棵 高 度 为 h 的 树 上 ，TREE-SUCCESSOR 的 运行 时 间 为 O(h)， 因 为 该 过 程 或 者 遵从 一 
条 简单 路 径 沿 树 向 上 或 者 遵从 简单 路 径 沿 树 向 下 。 过 程 TREE-PREDECESSOR 与 TREE- 
SUCCESSOR 是 对 称 的 ， 其 运行 时 间 也 为 Oh). 

即使 关键 字 非 全 不 相同 ， 我 们 仍然 定义 任何 结 点 z 的 后 继 和 前 驱 为 分 别 调用 TREE- 
SUCCESSOR(x) fl TREE-PREDECESSOR(z) 所 返回 的 结 点 。 

总 之 ， 我 们 已 经 证 明了 下 面 的 定理 。 
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定理 12.2 在 一 棵 高 度 为 有 的 二 又 搜索 树 上 ,动态 集合 上 的 操作 SEARCH, MINIMUM, 
MAXIMUM、SUCCESSOR 和 PREDECESSOR 可 以 在 O(h) 时 间 内 完成 。 


练习 
12. 2-1 


12. 2-2 
12. 2-3 
12. 2-4 


12. 2-5 


12. 2-6 


12. 2-7 


12. 2-8 


12. 2-9 


12.3 


假设 一 棵 二 又 搜 索 树 中 的 结 点 在 1 到 1 000 之 间 ， 现 在 想 要 查找 数值 为 363 的 结 点 。 下 
面 序 列 中 哪个 不 是 查找 过 的 序列 ? | 

a.2, 252, 401, 398, 330, 344, 397, 363. 

b.924, 220, 911, 244, 898, 258, 362, 363, 

c. 925, 202, 911, 240, 912, 245, 363. 

d.2, 399, 387, 219, 266, 382, 381, 278, 363, 

e. 935, 278, 347, 621, 299, 392, 358, 363. 

写 出 TREE-MINIMUM 和 TREE-MAXIMUM 的 递归 版 本 。 

写 出 过 程 TREE-PREDECESSOR 的 伪 代 码 。 

Bunyan 教授 认为 他 发 现 了 一 个 二 又 搜 索 树 的 重要 性 质 。 假 设 在 一 棵 二 又 搜 索 树 中 查找 
一 个 关键 字 &， 查 找 结 束 于 一 个 树叶 。 考 虑 三 个 集合 : A 为 查找 路 径 左边 的 关键 字 和 集合 ; 
B 为 查找 路 径 上 的 关键 字 集 合 ; C 为 查找 路 径 右边 的 关键 字 集合 。Bunyan 教授 声称 : IE 
何 aE A，bEB 和 cEC， 一 定 满足 a6<<c。 请 给 出 该 教授 这 个 论断 的 一 个 最 小 可 能 的 
反例 。 

证 明 ， 如 果 一 棵 二 又 搜索 树 中 的 一 个 结 点 有 两 个 孩子 ， 那 么 它 的 后 继 没有 左 孩 子 ， 它 的 
前 驱 没 有 右 孩 子 。 

考虑 一 棵 二 又 搜 索 树 T， 其 关键 字 互 不 相同 。 证 明 : 如 果 工 中 一 个 结 点 z 的 右 子 树 为 
空 ， 且 xX 有 一 个 后 继 y， 那 么 > 一 定 是 z 的 最 底层 祖先 ， 并且 其 左 孩 子 也 是 z 的 祖先 。 
(注意 到 ， 每 个 结 点 都 是 它 自己 的 祖先 。) 

对 于 一 棵 有 7 个 结 点 的 二 又 搜索 树 ， 有 男 一 种 方法 来 实现 中 序 遍 历 ， 先 调用 TREE- 
MINIMUM 找到 这 棵 树 中 的 最 小 元 素 ， 然 后 再 调用 n 一 1 次 的 TREE-SUCCESSOR, 证 
AA: 该 算法 的 运行 时 间 为 O(n). 

证 明 : 在 一 棵 高 度 为 h 的 二 叉 搜索 树 中 ,不 论 从 哪个 结 点 开始 ,，& 次 连续 的 TREE- 
SUCCESSOR 调用 所 需 时 间 为 OCk 十 h)。 

设 了 是 一 棵 二 又 搜索 树 ， 其 关键 字 互 不 相同 ， 设 z 是 一 个 叶 结 点 ，y 为 其 父 结 点 。 证 
BA: y. key 或 者 是 工 树 中 大 于 z. key 的 最 小 关键 字 ， 或 者 是 TWP) F z. key 的 最 大 关 
键 字 。 


插入 和 删除 


插入 和 删除 操作 会 引起 由 二 又 搜索 树 表示 的 动态 集合 的 变化 。 一 定 要 修改 数据 结构 来 反映 
这 个 变化 ， 但 修改 要 保持 二 又 搜索 树 性 质 的 成 立 。 正 如 下 面 将 看 到 的 ， 插 入 一 个 新 结 点 带 来 的 树 
修改 要 相对 简单 些 ， 而 删除 的 处 理 有 些 复杂 。 

插入 

要 将 一 个 新 值 " 插 入 到 一 棵 二 又 搜索 树 T 中 ， 需 要 调用 过 程 TREE-INSERT。 该 过 程 以 结 点 
z 作 为 输入 ， 其 中 z. key=v, z. left=NIL, z. rigpi 一 NIL。 这 个 过 程 要 修改 下 和 >z 的 某 些 属性 ， 
来 把 z 插 入 到 树 中 的 相应 位 置 上 。 

TREE-INSERT( T,2z) 

1 y= NIL 
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x = T. root 
while z Æ NIL 
y=Hu 
if z. key < z. key 
x = zx. left 
else x = x. right 
zp=y 
if y == NIL 
T. root = z i tree T was empty 


Oo won mm oO FP WH N 
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elseif z. key < y. key 

y. left = z 
else y. right = z 
图 12-3 显示 了 TREE-INSERT 是 如 何 工 作 的 。 正 如 过 程 TREE-SEARCH 和 ITERATIVE- 
TREE-SEARCH 一 样 ，TREE-INSERT 从 树 根 开始 ， 指 3 
针 工 记录 了 一 条 回 下 的 简单 路 径 ， 并 查找 要 替换 的 输入 
项 z 的 NIL。 该 过 程 保持 遍历 指针 (trailing pointer) y 作 
为 z RAR. WREE. R 3 一 7 行 的 while 循环 使 得 这 
两 个 指针 沿 树 向 下 移动 ， 向 左 或 向 右 移动 取决 于 z.key “ 
和 <z. key 的 比较 ， 直 到 zz 变 为 NIL。 这 个 NIL 占据 的 位 


a 项 ` pE 7 5 
AMA = 要 放置 的 地 方 。 我 们 需要 遍历 指针 yy， ， as ogg 人 


= p= 
w N 





这 是 因为 找到 NIL 时 要 知道 z 属于 哪个 结 点 。 第 8 一 13 
一 棵 二 又 搜索 树 中 。 浅 阴影 结 点 
行 设置 相应 的 指针 ,使 得 z 插 入 其 中 。 指示 了 一 条 从 树 根 向 下 到 要 插入 
与 其 他 搜索 树 上 的 原始 操作 一 样 ， 过 程 TREE- 数据 项 位 置 处 的 简单 路 径 。 虚 线 
INSERT 在 一 棵 高 度 为 h 的 树 上 的 运行 时 间 为 OC(h)。 表示 了 为 插入 数据 项 而 加 入 的 树 
从 一 棵 二 又 搜 索 树 工 中 删除 一 个 结 点 z 的 整个 策略 分 为 三 种 基本 情况 (如 下 所 述 )， 但 只 有 
一 种 情况 有 点 环 手 。 
。 如 果 z 没 有 孩子 结 点 ， 那 么 只 是 简单 地 将 它 删 除 ， 并 修改 它 的 父 结 点 ， 用 NIL 作为 孩子 
HER z。 
。 如 果 = 只 有 一 个 孩子 ， 那 么 将 这 个 孩子 提升 到 树 中 z 的 位 置 上 ， 并 修改 z 的 父 结 点 ， 用 z 
的 孩子 来 替换 z. 


。 如 果 z 有 两 个 孩子 ， MAR z 的 后 继 y (一定 在 z 的 右 子 树 中 )， 并 让 y 占据 树 中 e 的 位 
置 。z 的 原来 右 子 树 部 分 成 为 y 的 新 的 右 子 树 ， 并 且 z 的 左 子 树 成 为 y 的 新 的 左 子 树 。 
这 种 情况 稍 显 麻烦 (如 下 所 述 ) ， 因 为 还 与 y 是 否 为 z 的 右 孩 子 相关 。 

从 一 棵 二 又 搜索 树 工 中 删除 一 个 给 定 的 结 点 xz， 这 个 过 程 取 指 向 工 和 >z 的 指针 作为 输入 参 
数 。 人 12-4 中 显示 的 4 种 情况 ， 它 与 前 面 概括 出 的 三 种 情况 有 些 不 同 。 
。 如 果 z 没 有 左 孩子 (图 12-4(a))， 那 么 用 其 右 孩 子 来 替换 z， 这 个 右 孩 子 可 以 是 NIL， 也 
可 以 不 是 。 当 z 的 右 孩 子 是 NIL 时 ， 此 时 这 种 情况 归 为 z 没有 孩子 结 点 的 情形 。 当 z 的 
右 孩 子 非 NIL 时， 这 种 情况 就 是 z 仅 有 一 个 孩子 结 点 的 情形 ， 该 孩子 是 其 右 孩 子 。 

。 WR z 仅 有 一 个 孩子 且 为 其 左 孩 子 (图 12-4(b))， 那 么 用 其 左 孩 子 来 替换 z. 

。 否则 ，z 既 有 一 个 左 孩 子 又 有 一 个 右 孩 子 。 我 们 要 查找 z 的 后 继 y， 这 个 后 继 位 于 z 的 右 
子 树 中 并 且 没 有 左 孩 子 ( 见 练习 12. 2-5)。 现 在 需要 将 > 移出 原来 的 位 置 进行 拼接 ， 并 车 
换 树 中 的 z。 

。 如 果 y 是 z 的 右 孩 子 ( 图 12-4(c))， 那 么 用 y 替换 z， 并 仅 留 下 y WERT. 
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。 否则 ，y 位 于 >z 的 右 子 树 中 但 并 不 是 z 的 右 孩 子 ( 图 12-4(d)) 。 在 这 种 情况 下 ， 先 用 y 的 
右 孩 子 替换 y， 然 后 再 用 y SR. 





(a) 





(b) 





图 12-4 ”从 一 棵 二 又 搜索 树 中 删除 结 点 z。 结 点 z 可 以 是 树 根 ， 可 以 是 结 点 q 的 一 个 左 孩 子 ， 也 可 以 是 g 的 
一 个 右 孩 子 。(a) 结 点 z 没有 左 孩 子 。 用 其 右 孩 子 > 来 替换 z， 其 中 > 可 以 是 NIL， 也 可 以 不 是 。 
(b) 结 点 z 有 一 个 左 孩 子 1 但 没有 右 孩 子 。 用 来 替换 z。(c) 结 点 z 有 两 个 孩子 ， 其 左 孩 子 是 结 点 
l, REBT y 还 是 其 后 继 ，y 的 右 孩 子 是 结 点 zx。 用 yB, Brel 成 为 y 的 左 孩子 ， 但 保留 
z 仍 为 y 的 右 孩 子 。(d) 结 点 z 有 两 个 孩子 ( 左 孩 子 /和 右 孩 子 r)， 并 且 z KAR yr 位 于 以 7 为 
根 的 子 树 中 。 用 y 自己 的 右 孩 子 z 来 代替 y， 并 且 置 ?为 ”> 的 双亲 。 然 后 ， 再 置 > 为 9 的 孩子 和 / 
的 双亲 
为 了 在 二 又 搜索 树 内 移动 子 树 ， 定 义 一 个 子 过 程 TRANSPLANT， 它 是 用 另 一 棵 子 树 替 换 
一 棵 子 树 并 成 为 其 双亲 的 孩子 结 点 。 当 TRANSPLANT 用 一 棵 以 v 为 根 的 子 树 来 替换 一 棵 以 
为 根 的 子 树 时 ， 结 点 u 的 双亲 就 变 为 结 点 v 的 双亲 ， 并 且 最 后 "成 为 x 的 双亲 的 相应 孩子 。 
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TRANSPLANT(T,u,v) 
l ifu.p == NIL 
2 T. root = y 

3 elseif u == u. p,left 
4 u. p. left = v 
5 else u. p. right = v 
6 ifv ~ NIL 

7 uv. p = u. p 


第 1 一 2 ITA u ET ARH. BW, u 是 其 双亲 的 左 孩子 或 右 孩 子 。 如 果 u 是 一 个 
ERT., B3~4 FAR u. p. left 的 更 新 ; MR 是 一 个 右 孩 子 ， 第 5 行 更 新 v p. right。 我 们 允 
Yf vJ NIL, WR v HAE NIL 时， 第 6 一 ?7 行 更 新 vp. $A, TRANSPLANT 并 没有 处 理 
v. left 和 vw. right 的 更 新 ; 这 些 更 新 都 由 TRANSPLANT 的 调用 者 来 负责 。 

利用 现成 的 TRANSPLANT 过 程 ， 下 面 是 从 二 又 搜索 树 中 删除 结 点 z 的 删除 过 程 ， 

TREE-DELETE(T, z) 

l if z.lefe == NIL 

2 TRANSPLANT(T z, z. right) 

3 elseif z. right == NIL 

4 TRANSPLANTC(T, z, z. left) 

5 else y = TREE-MINIMUMCz. right) 

6 ify p Æ z 

7 TRANSPLANT(T y, y. right) 
8 y. right = z. right 

9 y. right. p = y 

10 TRANSPLANT(T, z, y) 

11 y. left = z. left 

12 y. left. p = y 


TREE-DELETE 过 程 处 理 4 种 情况 如 下 。 第 1 一 2 行 处 理 结 点 xz 没有 左 孩 子 的 情况 ， 第 3 一 4 
行 处 理 z 有 一 个 左 孩 子 但 没有 右 孩 子 情况 。 第 5 一 12 行 处 理 剩 下 的 两 种 情况 ， 也 就 是 x 有 两 个 孩 
子 的 情形 。 第 5 行 查找 结 点 y， 它 是 z 的 后 继 。 因 为 z 的 右 子 树 非 空 ， 这 样 后 继 一 定 是 这 个 子 树 
中 具有 最 小 关键 字 的 结 点 ， 因 此 就 调用 TREE-MINIMUM(z. right)。 如 前 所 述 ，y 没有 左 孩 子 。 
将 y 移 出 它 的 原来 位 置 进行 拼接 ， 并 替换 树 中 的 z。 如 果 y 是 z 的 右 孩 子 ， 那 么 第 10 一 12 行 用 y> 
替换 z 并 成 为 z 的 双亲 的 一 个 孩子 ， 用 z WERTER y 的 左 孩 子 。 如 果 y 不 是 z HAE. 第 
7 一 9 行 用 y 的 右 孩 子 蔡 换 y 并 成 为 y 的 双亲 的 一 个 孩子 ， 然 后 将 z 的 右 孩 子 转 变 为 y 的 右 孩 子 ， 
最 后 第 10~12 行 用 y 替换 z 并 成 为 z 的 双亲 的 一 个 孩子 ， 再 用 z 的 左 孩 子 蔡 换 为 y 的 左 孩 子 。 

除了 第 5 行 调用 TREE-MINIMUM 之 外 ，TREE-DELETE 的 每 一 行 ， 包 括 调 用 
TRANSPLANT， 都 只 花费 常数 时 间 。 因 此 ， 在 一 棵 高 度 为 h WWE, TREE-DELETE 的 运行 时 
间 为 OCA). 

总 之 ， 我 们 证 明了 下 面 的 定理 。 

定理 12.3 在 一 棵 高 度 为 有 的 二 又 搜索 树 上 ， 实 现 动态 集合 操作 INSERT 和 DELETE 的 运 
行 时 间 均 为 OCA). E 


练习 
12.3-1 给 出 TREE-INSERT 过 程 的 一 个 递归 版 本 。 
12.3-2 ”假设 通过 反复 向 一 棵 树 中 插入 互 不 相同 的 关键 字 来 构造 一 棵 二 又 搜索 树 。 证 明 : RR 
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树 中 查找 关键 字 所 检查 过 的 结 点 数目 等 于 先前 插入 这 个 关键 字 所 检查 的 结 点 数目 加 1。 

12.33 ”对 于 给 定 的 nn 个 数 的 集合 ， 可 以 通过 先 构造 包含 这 些 数据 的 一 棵 二 又 搜 索 树 (反复 使 用 
TREE-INSERT 逐个 插入 这 些 数 )， 然 后 按 中 序 遍 历 输出 这 些 数 的 方法 ， 来 对 它们 排序 。 
这 个 排序 算法 的 最 坏 情况 运行 时 间 和 最 好 情况 运行 时 间 各 是 多 少 ? 

12.3-4 删除 操作 可 交换 吗 ? 可 交换 的 含义 是 ， 先 删除 z 再 删除 > 留 下 的 结果 树 与 先 删 除 y 再 删 
Bic 留 下 的 结果 树 完全 一 样 。 如 果 是 ， 说 明 为 什么 ? 否则 ， 给 出 一 个 反例 。 

12.35 ”假设 为 每 个 结 点 换 一 种 设计 ， 属 性 x. p 指 问 工 的 双亲 ， 属 性 x. succ 指向 zx 的 后 继 。 试 
给 出 使 用 这 种 表示 法 的 二 又 搜索 树 TT 上 SEARCH, INSERT 和 DELETE 操作 的 伪 代 码 。 
这 些 伪 代码 应 在 OC(h) 时 间 内 执行 完 ， 其 中 为 树 工 的 高 度 。( 提 示 ; 应 该 设计 一 个 返回 
某 个 结 点 的 双亲 的 子 过 程 。 | 

12.3-6 3 TREE-DELETE 中 的 结 点 zx 有 两 个 孩子 时 ， 应 该 选择 结 点 y 作为 它 的 前 驱 ， 而 不 是 
作为 它 的 后 继 。 如 果 这 样 做 ， 对 TREE-DELETE 应 该 做 些 什么 必要 的 修改 ? 一 些 人 提 
出 了 一 个 公平 策略 ， 为 前 驱 和 后 继 赋 予 相 等 的 优先 级 ， 这 样 得 到 了 较 好 的 实验 性 能 。 如 
何 对 TREE-DELETE 进行 修改 来 实现 这 样 一 种 公平 策略 ? 


12.4 ”随机 构建 二 又 搜索 树 


我 们 已 经 证 明了 二 又 搜索 树 上 的 每 个 基本 操作 都 能 在 O(h) 时 间 内 完成 ， 其 中 及 为 这 棵 树 
的 高 度 。 然 而 ， 随 着 元 素 的 插入 和 删除 ， 二 又 搜索 树 的 高 度 是 变化 的 。 例 如 ， 如 果 nn 个 关键 字 
按 严 格 递增 的 次 序 被 插入 ， 则 这 棵 树 一 定 是 高 度 为 n 一 1 的 一 条 链 。 另 外 ， 练 习 B. 5-4 说 明了 
h 宇 Llgnj。 和 快速 排序 一 样 ， 我 们 可 以 证 明 其 平均 情形 性 能 更 接近 于 最 好 情形 ， 而 不 是 最 坏 情 
形 时 的 性 能 。 

遗憾 的 是 ， 当 一 棵 二 又 搜索 树 同时 由 插入 和 删除 操作 生成 时 ， 我 们 对 这 棵 树 的 平均 高 度 了 
解 的 其 少 。 当 树 是 由 插入 操作 单独 生成 时 ， 分 析 就 会 变 得 容易 得 多 。 因 此 ， 我 们 定义 n 个 关键 字 
的 一 棵 随机 构建 二 又 搜索 树 (randomly built binary search tree) 为 按 随 机 次 序 插入 这 些 关 键 字 到 一 
棵 初始 的 空 树 中 而 生成 的 树 ， 这 里 输入 关键 字 的 n! 个 排列 中 的 每 个 都 是 等 可 能 地 出 现 。( 练 习 
12. 4-3 要 求 读 者 证 明 ， 这 个 概念 与 假定 每 棵 含有 7 个 关键 字 的 二 又 搜索 树 为 等 可 能 的 概念 不 同 。) 
接 下 来 ， 这 里 要 证 明 下 面 的 定理 。 

定理 12.4 一 棵 有 7 个 不 同 关键 字 的 随机 构建 二 又 搜索 树 的 期 望 高 度 为 Ol(lgn)。 

TEAR ”从 定义 三 个 随机 变量 开始 ， 这 些 随机 变量 有 助 于 度量 一 棵 随机 构建 二 又 搜 索 树 。 用 
X, 表示 一 棵 有 n 个 不 同 关键 字 的 随机 构建 二 又 搜 索 树 的 高 度 ， 并 定义 指数 高 度 (exponential 
height)Y, 二 2™。 当 构造 一 棵 有 个 关键 字 的 二 又 搜 索 树 时 ， 选 择 一 个 关键 字 作 为 树 根 ， 并 设 R, 
为 一 个 随机 变量 ， 表 示 这 个 关键 字 在 ”个 关键 字 集 合 中 的 秩 (rank)， 即 R, 代表 的 是 这 些 关键 字 
排 好 序 后 这 个 关键 字 应 占据 的 位 置 。R, 的 值 对 于 集合 {1，2，…，n}) 中 的 任何 元 素 都 是 等 可 能 
的 。 如 果 R, 王 i， 那么 根 的 左 子 树 是 一 棵 有 i 一 1 个 关键 字 的 随机 构建 二 又 搜索 树 ， 并 且 右 子 树 是 
一 棵 有 n 一 i 个 关键 字 的 随机 构建 二 又 搜 索 树 。 因 为 二 叉 树 的 高 度 比 根 的 两 棵 子 树 较 高 的 那 棵 子 
树 大 1， 因此 二 又 树 的 指数 高 度 是 根 的 两 棵 子 树 较 高 的 那 棵 子 树 的 2 倍 。 如 果 RSi WA 

| Y, = 2° max(Y;,,Y,-;) 

作为 基础 情况 ， 设 页 三 1， 因 为 1 个 结 点 的 树 的 指数 高 度 是 2 二 1， 为 了 方便 起 见 ， 我 们 定义 Y =0. 

接 下 来 ， 定 义 指示 器 随机 变量 Zn» Zao o Zuno IEP 2 二 1(R, 二 站。 因为 R, 对 于 集合 
{1，2，，…，7}) 中 的 任何 元 素 都 是 等 可 能 的 ， 即 有 Pr{R, 二 让 二 1/n， 其 中 i 二 1，2,，…，n， 所 以 
由 引 理 5.1， 有 

| E[Z,,;] = 1/n (12. 1) 
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其 中 i 二 1，2,，…，n。 由 于 Zu: 恰 有 一 个 值 为 1， 其 余 所 有 的 值 为 0， 因此 有 
ne a (2 © max(Y:4,Y,4)) 

下 面 将 证 明 了 LY,j 是 ”的 一 个 多 项 式 ， 由 此 最 终 推 出 ELX, ]=OUgn) . 

fa Nahe Zn SHR, = MT YAY, We. CARRS R 5i LFW RK 
高 度 是 Y-:) 是 由 i 一 1 个 关键 字 随 机 构建 的 ， 其 每 个 元 素 的 秩 都 小 于 ;。 这 棵 子 树 就 像 任何 其 他 
由 i 一 1 个 关键 字 随 机 构建 的 二 又 搜索 树 一 样 。 除 了 所 包含 的 关键 字数 目 之 外 ， 这 棵 子 树 的 结构 
完全 不 受 R, 王 i 选择 的 影响 ， 因 此 随机 变量 ;和 2Z,; 是 独立 的 。 同 样 ， 右 子 树 ( 其 指数 高 度 是 
Y Eh ni 个 关键 字 随 机 构建 的 ， 其 每 个 元 素 的 秩 都 大 于 i。 它 的 结构 独立 于 R, 的 值 ， 因 此 
随机 变量 Y,-, 和 2 ;是 独立 的 。 所 以 ， 有 


ELY |= EL > Zn e max(Y YD 
= SIELZ,,:(2 + max(Y:1 ,Yi))] (由 期 望 的 线性 性 质 ) 


= > ELZ.]E[2 + max(Y, 1 ,Y, 1)] (由 独立 性 ) 


ap + * EL2 + max(Y: Ym) ] CH A (12. 1)) 
i=1 
= £5) E[max(Y i ,Y, 1)] CH RCC. 22)) 
<= (CE[Y HEYD (由 练习 C. 3-4) 
i=1 


在 上 面 最 后 一 个 和 式 中 ， 因为 ELY. J; ELY, J, aS ELY | PW baa, 一 次 作为 
ELY; J; 一 次 作为 ELY,-:J; 所 以 有 下 面 的 递归 式 : 


301 ELY,] < 4 Sey] (12. 2) 
使 用 替换 法 ,下面 证 明 对 于 所 有 的 正 整数 x， 递归 式 (12.2) 有 人 解 
ey, J< H T) 
在 求解 过 程 中 ， 将 使 用 下 面 的 等 式 : 
gs = ( (12. 3) 


(练习 12. 4-1 要 求 读 者 去 证 明 这 个 等 式 。) 
对 于 基础 情况 ， 注 意 到 两 个 界 0 二 Y。 =ELY,I<C1/4) ` =1/4 和 1=Y =E[Y ] K 1/4) 





1 
(OTS) =1 成立 。 对 于 归纳 情况 ， 有 
n—l " 3 
eyci t 于 ( 。) (由 归纳 假设 ) 
下 1 /7 十 3 
== 21 )==( A ) (由 式 (12. 3) 
_1. @+3)! _1 a) ie aa, 
~ n Al(n—l1)! 4 31n! 4\ 3 
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虽然 我 们 有 了 ELY, ] 界 ， 但 最 终 的 目标 是 要 得 到 ELX,] 的 界 。 正 如 练习 12. 4-4 要 求 读者 证 明 的 
函数 f(z) 二 2 BON. Alt, WA Jensen 不 等 式 (C. 26)， 也 就 有 

, 22%.) < EL2* ] = ELY, ] 

如 下 可 得 : 


pec cL (49) 1, Ot DGtD@tD _ Te tliat 6 [302 
| 4、\3 4 6 24 
两 边 取 对 数 ， 得 到 ELX,]=OUgn). 
练习 


12. 4-1 证 明 等 式 (12. 3). : 

12.4-2 请 描述 这 样 一 棵 有 7 个 结 点 的 二 又 搜索 树 ， 其 树 中 结 点 的 平均 深度 为 9(lgz) ， 但 这 棵 树 
的 高 度 是 w(lgn)。 一 棵 有 个 结 点 的 二 叉 搜索 树 中 结 点 的 平均 深度 为 @(lgn)， 给 出 这 村 
树 高 度 的 一 个 渐 近 上 界 。 

12.4-3 ”说 明 含 有 ?个 关键 字 的 随机 选择 二 又 搜索 树 的 概念 ， 这 里 每 一 棵 个 结 点 的 二 又 搜索 树 
是 等 可 能 地 被 选择 ， 不 同 于 本 节 中 给 出 的 随机 构建 二 又 搜索 树 的 概念 。( 提 示 : 4n=3 
时 ， 列 出 所 有 的 可 能 。) 

12. 4-4 证 明 : 函数 f(z) =2* BOW. 

*12.4-5 考虑 RANDOMIZED-QUICKSORT 操作 在 nn 个 互 不 相同 的 输入 数据 的 序列 上 。 证 明 : 

WHE RB k> 0, n! 种 输入 排列 除了 其 中 的 OC) Fh Zh, 运行 时 间 都 
为 O(nlgn)。 


12-1 〈 带 有 相同 关键 字 的 二 又 搜索 树 ) ”相同 关键 字 给 二 又 搜索 树 的 实现 带 来 了 问题 。 
a. 当 用 TREE-INSERT 将 nn 个 其 中 带 有 相同 关键 字 的 数据 插入 到 一 棵 初始 为 空 的 二 又 搜 
索 树 中 时 ， 其 浙 近 性 能 是 多 少 ? 
”建议 通过 在 第 5 行 之 前 测试 z. key 王 xz. key 和 在 第 11 行 之 前 测试 z. key= y. key 的 方 ”[30: 
法 ， 来 对 TREE-INSERT 进行 改进 。 如 果 相 等 ， 根 据 下 面 的 策略 之 一 来 实现 。 对 于 每 个 策 
略 ， 得 到 将 ”个 其 中 带 有 相同 关键 字 的 数据 插 和 人 到 一 棵 初始 为 空 的 二 又 搜索 树 中 的 渐 近 性 
能 。( 对 第 5 行 描述 的 策略 是 比较 z 和 z 的 关键 字 ， 用 于 第 11 行 的 策略 是 用 y RET.) 
b. 在 结 点 z 设置 一 个 布尔 标志 x. db, HR r b E, E rH ax. left Max. right. 4A 
一 个 与 z 关键 字 相 同 的 结 点 时 ， 每 次 访问 x ACHE x. b A FALSE 或 TRUE。 
e 在 工 处 设置 一 个 与 zx 关键 字 相 同 的 结 点 列表 ， 并 将 z 插入 到 该 列表 中 。 
d. 随机 地 置 z 为 x. left 或 x.right。( 给 出 最 坏 情 况 性 能 ， 并 非 形式 地 导出 期 望 运行 
时 间 。) 
12-2 (基数 树 ) 给 定 两 个 串 a 二 way*…as 和 6 二 bb.…b,， 这 里 每 个 a; Ab 是 以 字符 集 的 某 种 次 序 出 
现 的 ， 如 果 下 面 两 种 规则 之 一 成 立 ， 就 称 串 a 按 字典 序 小 于 (lexicographically less than) #3 b; 
k; 存在 一 个 整数 )， 其 中 O<Sj<min(p, 9)， 使 得 对 所 有 的 i 二 0, l, =°, j—l, a=b; 成 
Ww, Ha;<b;. 
2. bb<g， 且 对 所 有 的 i=0, 1, +, ps a=. 
例如 ， 如 果 a 和 4 是 位 串 ， 那 么 10100<10 110( 由 规则 1, He J=3), 10 100<101 000 
《由 规则 2) 。 这 种 次 序 类 似 于 英语 字典 中 使 用 的 排序 。 
基数 树 (radix tree) 数 据 结 构 如 图 12-5 所 示 ， 这 个 树 存 储 了 位 串 1011, 10, 011, 100 和 0。 


172 


304 


第 三 部 分 数据 结构 


当 对 一 个 关键 字 a=aa,a, 进行 查找 时 ， 在 深度 为 i 的 一 个 结 点 处 ， 如 果 a;= 二 0， 则 走 左 侧 ; 如 
Ra=l, WEAN. w S 是 一 个 不 同位 串 组 成 的 集合 ， 各 个 串 长 度 值 和 为 2。 说 明 如 何 使 用 一 
棵 基数 树 在 @(n) 时 间 内 按 字 上 典 序 对 S 进行 排序 。 对 于 图 12-5 所 示 的 例子 ， 排 序 输 出 的 应 该 是 序 
列 0、011、10、100、1011。 


12-3 


12-4 





和 ` 
te H E BW TEN 
Bact bo em 


图 12-5 “一 棵 基数 树 存 储 了 位 串 1011、10、011、100 和 0。 每 个 结 点 的 关键 字 可 以 通过 从 
树 根 到 该 结 点 的 一 条 简单 路 径 来 确定 。 这 样 就 没有 必要 在 这 些 结 点 中 存储 关键 字 ; 
图 中 出 现 的 关键 字 仅仅 作为 描述 之 用 。 如 果 一 些 结 点 的 关键 字 不 在 树 中 ， 它 们 就 
馈 标 为 深 阴影 ， 这 些 结 点 的 存在 仅 是 为 了 建立 起 一 条 通 往 其 他 结 点 的 路 径 


(随机 构建 二 又 搜索 树 中 的 平均 结 点 深度 ) ”在 本 题 中 ， 要 证 明 有 ?个 结 点 的 一 棵 随机 构建 
二 又 搜索 树 中 的 结 点 平均 深度 为 O(lgz) 。 虽 然 这 个 结果 弱 于 定理 12.4， 但 我 们 使 用 的 方 
法 显露 出 构建 一 棵 二 又 搜索 树 与 7. 3 节 中 的 RANDOMIZED-QUICKSORT 的 执行 之 间 有 
着 惊人 的 相似 之 处 。 

定义 一 棵 二 又 树 工 的 路 径 总 长 度 (total path length) PCD AT PABA cs 的 深度 之 
和 ， 对 每 个 结 点 z 的 深度 表示 为 4(zx，7T)。 
a. 证 明 : 工 中 的 一 个 结 点 平均 深度 是 


1 nae 
2d (aT) eG) 


因此 ， 我 们 希望 进一步 证 明 P(T) 的 期 望 值 为 O(nlgn)。 
b. BTL 和 Tx ORAM T 的 左 子 树 和 右 子 树 ， 证 明 : MR Tan SER, 
P(T) = P(T) 十 P(TR) 十 7 一 1 
e 设 P(z)? 表 示 有 ?个 结 点 的 随机 构建 二 又 搜索 树 的 平均 路 径 总 长 度 ， 证 明 : 


nl 
Pas LN PW + P@=i-D)+n=1) 
d. 说 明 如 何 将 P(z) 重 写 为 ， 
nl 
P(n) = £5) PC) + O(n) 
k=1 


e 思考 题 7-3 曾 给 出 随机 快速 排序 的 男 一 种 分 析 ， 试 证 明 结 论 : Pin) =O(rlgn). 

在 快速 排序 的 每 次 递归 调用 时 ， 总 要 选择 一 个 随机 划分 元 来 为 待 排 序 的 元 素 集 合 进行 
划分 。 二 又 搜索 树 的 每 个 结 点 都 是 对 以 该 结 点 为 根 的 子 树 中 所 有 元 素 进行 划分 。 

f 请 给 出 快速 排序 的 一 种 实现 ， 使 快速 排序 中 对 一 组 元 素 的 比较 与 将 这 些 元 素 插 和 人 一 棵 二 
又 搜索 树 中 所 需 的 比较 恰好 相同 。( 这 些 比 较 的 次 序 可 以 不 同 ， 但 出 现 的 比较 一 定 要 
一 样 。) 

(不 同 二 又 树 的 数目 ) Ro, RRRA Nn 个 结 点 的 不 同 二 又 树 的 数目 。 在 本 题 中 ， 试 给 出 一 

个 求 6 的 公式 和 一 个 渐 近 估计 。 

3. HEAR : by =1 且 对 n=l, 有 
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oe 
b 参考 思考 题 4-4 中 生成 函数 的 定义 ， 设 B(z) 是 下 面 的 生成 函数 ， 
BOS ie 
证 明 ，B(z) 一 zB(z)* 十 1， 因 此 以 闭 形式 表示 BCz) 的 一 种 方式 是 
: B(x) = +0 — VIZio) 
fz) 在 点 c=a Sh eB RRIF SK (Taylor expansion) 为 
Fa) = 3 (za) 


这 里 fO Ca) FETE x SEAR 阶 导数 。 

c 使 用 v1 一 4z 在 z==0 处 的 泰勒 展开 式 ， 证 明 : 
| fal (2) 
a n+1 n 
( 即 第 ”个 Catalan 数 )。 (如 果 读 者 愿意 ， 可 以 不 用 泰勒 展开 式 ， 而 是 将 二 项 展开 式 
(C. 4) 推 广 到 非 整 数 的 指数 ”上 去 ， 也 就 是 对 于 任何 实数 ”和 任何 整数 &， 当 & 之 0 时 ， 
AR 否则 为 0。) 








d. 证 明 : b, = (1+OC/n)). 


ee + 
本 章 注 记 

Knuth 211 | 一 书 提供 了 对 简单 二 又 搜索 树 及 其 许多 变形 的 很 好 讨论 。 二 又 搜 索 树 似乎 在 20 
世纪 50 年 代 的 后 期 由 许多 人 独立 提出 和 发 现 。 基 数 树 经 常 被 称 为 “检索 树 ”(tries) ， 它 来 自 于 单 
词 “retrieval” 的 中 间 字 母 。Knuth[211] 也 讨论 过 它们 。 

许多 教材 包括 本 书 的 前 两 个 版 本 ， 对 于 删除 一 棵 二 叉 搜 索 树 中 两 个 孩子 都 存在 的 结 点 ， 都 
给 出 了 一 个 稍 简 单 的 方法 。 我 们 不 是 用 z 的 后 继 y 来 替代 结 点 z， 而 是 删除 结 点 y， 但 复制 y 的 
关键 字 和 其 卫星 数据 到 结 点 z 中 。 这 种 方法 的 缺陷 是 实际 被 删除 的 结 点 也 许 并 不 是 被 传递 到 删除 
过 程 中 的 那个 结 点 。 如 果 一 个 程序 的 其 他 部 分 要 维持 指向 树 中 一 些 结 点 的 指针 ， 那 么 它们 可 能 
被 这 些 指 向 已 删除 结 点 的 “过 时 ”指针 带 来 错误 影响 。 虽 然 本 书 新 版 中 给 出 的 删除 方法 略 显 复杂 ， 
但 它 保证 了 删除 结 点 z 的 调用 删除 了 结 点 z 而 仅 删 除 该 结 点 。 

当 在 构建 树 前 已 知 各 个 关键 字 的 查找 频率 时 ，15. 5 节 将 讨论 如 何 构建 一 棵 最 优 的 二 又 搜索 
树 。 也 就 是 说 ， 给 定 了 每 个 关键 字 的 查找 频率 和 查找 落 在 树 中 各 关键 字 之 间 值 的 频率 ， 我 们 能 构 
建 一 棵 二 又 搜索 树 ， 使 得 服从 这 些 查 找 频率 的 查找 集合 检查 结 点 数目 最 少 。 

12. 4 节 中 的 证 明 给 出 了 一 棵 随机 构建 二 又 搜索 树 的 期 望 高 度 的 界 ， 这 一 工作 归功 于 Aslam 
[24]. Martínez 和 Roura[243j] 给 出 了 用 于 二 又 搜索 树 的 插入 和 删除 的 随机 算法 ， 该 算法 使 得 使 
用 这 两 种 操作 的 结果 树 是 一 棵 随机 二 又 搜索 树 。 然 而 ， 他 们 对 于 随机 二 又 搜索 树 的 定义 不 同 于 
本 章 中 的 随机 构建 二 又 搜索 树 ， 只 是 略微 不 同 而 已 。 
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第 12 章 介 绍 了 一 棵 高 度 为 h 的 二 又 搜索 树 ， 它 可 以 支持 任何 一 种 基本 动态 集合 操作 ， 如 
SEARCH, PREDECESSOR, SUCCESSOR, MINIMUM, MAXIMUM, INSERT 和 DELETE 等 ， 
其 时 间 复 杂 度 均 为 OO 。 因 此 ， 如 果 搜 索 树 的 高 度 较 低 时 ， 这 些 集合 操作 会 执行 得 较 快 。 然 而 ， 
如 果树 的 高 度 较 高 时 ， 这 些 集合 操作 可 能 并 不 比 在 链表 上 执行 得 快 。 红 黑 树 (red-black tree) 是 许多 
“平衡 ”搜索 树 中 的 一 种 ， 可 以 保证 在 最 坏 情况 下 基本 动态 集合 操作 的 时 间 复 杂 度 为 Ol(lgn)。 


13.1 红 黑 树 的 性 质 


红 黑 树 是 一 棵 二 又 搜索 树 ， 它 在 每 个 结 点 上 增加 了 一 个 存储 位 来 表示 结 点 的 颜色 ， 可 以 是 
RED 或 BLACK。 通过 对 任何 一 条 从 根 到 叶子 的 简单 路 径 上 各 个 结 点 的 颜色 进行 约束 ， 红 黑 树 确 
保 没 有 一 条 路 径 会 比 其 他 路 径 长 出 2 倍 ， 因 而 是 近似 于 平衡 的 。 

树 中 每 个 结 点 包含 5 个 属性 : color, key, left, right 和 pp。 如 果 一 个 结 点 没有 子 结 点 或 父 
结 点 ， 则 该 结 点 相应 指针 属性 的 值 为 NIL。 我 们 可 以 把 这 些 NIL 视 为 指向 二 又 搜索 树 的 叶 结 点 
(外 部 结 点 ) 的 指针 ， 而 把 带 关 键 字 的 结 点 视 为 树 的 内 部 结 点 。 

一 棵 红 黑 树 是 满足 下 面 红 黑 性 质 的 二 又 搜索 树 : 

1. 每 个 结 点 或 是 红色 的 ， 或 是 黑色 的 。 

2. 根 结 点 是 黑色 的 。 

3. 每 个 叶 结 点 (NIL) 是 黑色 的 。 

4. 如 果 一 个 结 点 是 红色 的 ， 则 它 的 两 个 子 结 点 都 是 黑色 的 。 

5. 对 每 个 结 点 ， 从 该 结 点 到 其 所 有 后 代 叶 结 点 的 简单 路 径 上 ， 均 包含 相同 数目 的 黑色 结 点 。 

图 13-1(a) 显 示 了 一 个 红 黑 树 的 例子 。 

为 了 便于 处 理 红 黑 树 代码 中 的 边界 条 件 ， 使 用 一 个 哨兵 来 代表 NIL( 参 见 10. 2 节 ) 。 对 于 一 
棵 红 黑 树 T, HR T. nl 是 一 个 与 树 中 普通 结 点 有 相同 属性 的 对 象 。 它 的 color 属性 为 BLACK, 
而 其 他 属性 p, left, right 和 key 可 以 设 为 任意 值 。 如 图 13-1(b) 所 示 ， 所 有 指向 NIL 的 指针 都 
用 指向 哨兵 T. nil 的 指针 替换 。 

使 用 哨兵 后 ， 就 可 以 将 结 点 工 的 NIL 孩子 视 为 一 个 普通 结 点 ， 其 父 结 点 为 zx。 尽 管 可 以 为 树 
内 的 每 一 个 NIL 新 增 一 个 不 同 的 哨兵 结 点 ， 使 得 每 个 NIL 的 父 结 点 都 有 这 样 的 良 定 义 ， 但 这 种 做 法 
会 浪费 空间 。 取 而 代 之 的 是 ， 使 用 一 个 哨兵 开刀 来 代表 所 有 的 NIL: 所 有 的 叶 结 点 和 根 结 点 的 父 结 
点 。 哨 兵 的 属性 p, left, right 和 key 的 取 值 并 不 重要 ， 尽 管 为 了 方便 起 见 可 以 在 程序 中 设 定 它们 。 

我 们 通常 将 注意 力 放 在 红 黑 树 的 内 部 结 点 上 ， 因 为 它们 存储 了 关键 字 的 值 。 在 本 章 的 后 面 
部 分 ， 所 画 的 红 黑 树 都 忽略 了 叶 结 点 ， 如 图 13-1(c) 所 示 。 

从 某 个 结 点 出 发 (不 舍 该 结 点 ) 到 达 一 个 叶 结 点 的 任意 一 条 简单 路 径 上 的 黑色 结 点 个 数 称 为 该 结 
点 的 黑 高 (black-height) ， 记 为 bh(z) 。 根 据 性 质 5， 黑 高 的 概念 是 明确 定义 的 ， 因 为 从 该 结 点 出 发 的 所 
有 下 降 到 其 叶 结 点 的 简单 路 径 的 黑 结 点 个 数 都 相同 。 于 是 定义 红 黑 树 的 黑 高 为 其 根 结 点 的 黑 高 。 

下 面 的 引 理 说 明了 为 什么 红 黑 树 是 一 种 好 的 搜索 树 。 

引 理 13.1 一 棵 有 nn 个 内 部 结 点 的 红 黑 树 的 高 度 至 多 为 21g(z 十 1)。 

证 明 ” 先 证 明 以 任 一 结 点 z 为 根 的 子 树 中 至 少 包 含 OO 一 1 TARA. BRIAR, We 
的 高 度 进行 归纳 。 如 果 z 的 高 度 为 0， 则 z 必 为 叶 结 点 (下 Mi ， 且 以 并 为 根 结 点 的 子 树 至 少 包 含 
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2° 一 1 二 2 一 1 二 0 个 内 部 结 点 。 对 于 归纳 步骤 ， 考 虑 一 个 高 度 为 正 值 且 有 两 个 子 结 点 的 内 部 结 点 
xz。 每 个 子 结 点 有 黑 高 bh(z) 或 bhlzx) 一 1， 其 分 别 取 决 于 自身 的 颜色 是 红 还 是 黑 。 由 于 工 子 结 点 的 
高 度 比 z 本身 的 高 度 要 低 ， 可 以 利用 归纳 假设 得 出 每 个 子 结 点 至 少 有 2””“ 一 1 个 内 部 结 点 的 结 
论 。 于 是 ， 以 z 为 根 的 子 树 至 少 包含 (222 一 一 1D) 十 (222 一 一) 十 1 二 2 一 1 个 内 部 结 点 ， 因 此 得 证 。 


3 20 


3(17) : M > 
2 21 2(30) 47 
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Ble) 一 棵 红 黑 树 ， 其 中 黑 结 点 涂 黑 ， 红 结 点 以 浅 阴影 表示 。 在 一 棵 红 黑 树 内 ， 每 个 结 点 或 
红 或 黑 ， 红 结 点 的 两 个 子 结 点 都 是 黑色 ， 且 从 每 个 结 点 到 其 后 代 叶 结 点 的 每 条 简单 路 
径 上 ， 都 包含 相同 数目 的 黑 结 点 。(a) 每 个 标 为 NIL 的 叶 结 点 都 是 黑 的 。 每 个 非 NIL 结 
点 都 标 上 它 的 黑 高 ; NIL 的 黑 高 为 0。(b) 同 样 的 这 棵 红 黑 树 ， 不 是 用 一 个 个 的 NIL K 
示 ， 而 用 一 个 总 是 黑色 的 哨兵 T. nil 来 代替 ， 它 的 黑 高 也 被 省 略 。 根 结 点 的 父 结 点 也 是 
这 个 哨兵 。(c) 同 样 的 这 棵 红 黑 树 ， 其 叶 结 点 与 根 结 点 的 父 结 点 全 部 被 省 略 。 本 章 的 其 


余部 分 也 采用 这 种 画图 方式 
为 完成 引 理 的 证 明 ， 设 h 为 树 的 高 度 。 根 据 性 质 4， 从 根 到 时 结 点 (不 包括 根 结 点 ) 的 任何 一 [356 
条 简单 路 径 上 都 至 少 有 一 半 的 结 点 为 黑色 。 因 此 ， 根 的 黑 高 至 少 为 h/2; 于 是 有 a 
n> 2—1 
把 1 移 到 不 等 式 的 左边 ， 再 对 两 边 取 对 数 ， 得 到 lgCn 十 1) 宇 h/2, 或 者 h<2lg(n+1). 车 


由 该 引 理 可 知 ， 动 态 集合 操作 SEARCH, MINIMUM, MAXIMUM, SUCCESSOR 和 
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PREDECESSOR 可 在 红 黑 树 上 在 OClgn) 时 间 内 执行 ， 因 为 这 些 操作 在 一 棵 高 度 为 h 的 二 又 搜索 
树 上 的 运行 时 间 为 O(h) (参见 第 12 章 )， 而 任何 包含 个 结 点 的 红 黑 树 又 都 是 高 度 为 Ol(lgn) 的 二 
LERH. CA, EP 12 章 的 算法 中 ，NIL 的 引用 必须 用 T. nil 来 代替 。) 虽 然 当 给 定 一 棵 红 黑 
树 作为 输入 时 ， 第 12 章 的 算法 TREE-INSERT 和 TREE-DELETE 的 运行 时 间 为 O(lgz)， 但 是 
这 两 个 算法 并 不 直接 支持 动态 集合 操作 INSERT 和 DELETE， 因 为 它们 并 不 能 保证 被 这 些 操作 
修改 过 的 二 又 搜索 树 仍 是 红 黑 树 。 那 么 如 何在 时 间 OC(lgn) 内 支持 这 两 个 操作 呢 ， 我 们 将 在 13. 3 
节 和 13.4 节 中 介绍 。 


练习 


13.1-1 按照 图 13-1(a) 的 方式 ， 画 出 在 关键 字 集合 {L，2，…，15} 上 高 度 为 3 的 完全 二 又 搜索 
树 。 以 三 种 不 同方 式 向 图 中 加 入 NIL 叶 结 点 并 对 各 结 点 着 色 ， 使 所 得 的 红 黑 树 的 黑 高 分 
别 为 2、3 和 4。 

13.1-2 对 图 13-1 中 的 红 黑 树 ， 画 出 对 其 调用 TREE-INSERT 操作 插入 关键 字 36 后 的 结果 。 如 
果 插 入 的 结 点 被 标 为 红色 ， 所 得 的 树 是 否 还 是 一 棵 红 黑 树 ? 如果 该 结 点 被 标 为 黑色 呢 ? 

13. 1-3 ”定义 一 棵 松弛 红 黑 树 (relaxed red-black tree) 为 满足 红 黑 性 质 1、3、4 和 5 的 二 又 搜索 
树 。 换 句 话 说， 根 结 点 可 以 是 红色 或 是 黑色 。 考 虑 一 棵 根 结 点 为 红色 的 松弛 红 黑 树 T. 
如 果 将 工 的 根 结 点 标 为 黑色 而 其 他 都 不 变 ， 那 么 所 得 到 的 是 否 还 是 一 棵 红 黑 树 ? 

13.1-4 假设 将 一 棵 红 黑 树 的 每 一 个 红 结 点 “吸收 ”到 它 的 黑色 父 结 点 中 ， 使 得 红 结 点 的 子 结 点 变 
成 黑色 父 结 点 的 子 结 点 (忽略 关键 字 的 变化 )。 当 一 个 黑 结 点 的 所 有 红色 子 结 点 都 被 吸收 
后 ， 它 可 能 的 度 为 多 少 ? 所 得 的 树 的 叶 结 点 深度 如 何 ? 

13.1-5 WEH: 在 一 棵 红 黑 树 中 ， 从 某 结 点 zx 到 其 后 代 叶 结 点 的 所 有 简单 路 径 中 ， 最 长 的 一 条 至 
多 是 最 短 一 条 的 2 倍 。 

13. 1-6 ”在 一 棵 黑 高 为 上 的 红 黑 树 中 ， 内 部 结 点 最 多 可 能 有 多 少 个 ? 最 少 可 能 有 多 少 个 ? 

13. 1-7” 试 描述 一 棵 含有 2 个 关键 字 的 红 黑 树 ， 使 其 红色 内 部 结 点 个 数 与 黑色 内 部 结 点 个 数 的 比 
值 最 大 。 这 个 比值 是 多 少 ? 该 比值 最 小 的 树 又 是 怎样 呢 ? 比值 是 多 少 ? 


13.2 旋转 


搜索 树 操作 TREE-INSERT 和 TREE-DELETE 在 含 ” 个 关键 字 的 红 黑 树 上 ， 运 行 花 费时 间 
为 Ol(lgn)。 由 于 这 两 个 操作 对 树 做 了 修改 ， 结 果 可 能 违反 13.1 节 中 列 出 的 红 黑 性 质 。 为 了 维护 
这 些 性 质 ， 必 须要 改变 树 中 某 些 结 点 的 颜色 以 及 指针 结构 。 

指针 结构 的 修改 是 通过 旋转 (ratation) 来 完成 的 ， 这 是 一 种 能 保持 二 又 搜索 树 性 质 的 搜索 树 局 
部 操作 。 图 13-2 中 给 出 了 两 种 旋转 : 左旋 和 右 旋 。 当 在 某 个 结 点 工 上 做 左旋 时 ， 假 设 它 的 右 孩 子 
Ay 而 不 是 T.nil; 工 可 以 为 其 右 孩 子 不 是 Tnil 结 点 的 树 内 任意 结 点 。 左 旋 以 xz 到 y HEA“ 
轴 ” 进 行 。 它 使 y 成 为 该 子 树 新 的 根 结 点 ，z 成 为 y 的 左 孩 子 ，y 的 左 孩 子 成 为 z 的 右 孩 子 。 





图 13-2 二 又 搜索 树 上 的 旋转 操作 。 操 作 LEFT-ROTATE (T，z) 通 过 改变 常数 数目 的 指针 ， 可 以 将 右边 两 
个 结 点 的 结构 转变 成 左边 的 结构 。 左 边 的 结构 可 以 使 用 相反 的 操作 RIGHT-ROTATE (T，y) 来 转 
变 成 右边 的 结构 。 字 和 母 a、B 和 7 代表 任意 的 子 树 。 旋 转 操 作 保 持 了 二 又 搜索 树 的 性 质 ， a 的 
关键 字 在 z. key 之 前 ，z. key 在 PB 的 关键 字 之 前 ，B 的 关键 字 在 y. key 之 前 ，y. key EY WK 
键 字 之 前 
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在 LEFT-ROTATE 的 伪 代 码 中 ， 假 设 x. right 关 T. nil 上 且 根 结 点 的 父 结 点 为 T. nil. 


LEFT-ROTATEC(T, zx) 

1 y= zx. right // set y 
x. right = y. left // turn y’s left subtree into x’s right subtree 
if y. left Æ T. nil 

y. left.p = =x 

y. p = T. p // link x’s parent to y 
if z. p == T. nil 

~ T.root = y 
elseif zx == x. p. left 

ap. left = y 
10 else x. p. right = y 


Oo ao nnn A Ww N 


ll y.left=z // put z on y’s left 
12 x. p = y 


图 13-3 给 出 了 一 个 LEFT-ROTATE 操作 修改 二 又 搜索 树 的 例子 。RIGHT-ROTATE 操作 的 


代码 是 对 称 的 。LEFT-ROTATE 和 RIGHT-ROTATE 都 在 O(1) 时 间 内 运行 完成 。 在 旋转 操作 中 
只 有 指针 改变 ， 其 他 所 有 属性 都 保持 不 变 。 





图 13-3 过程 LEFT-ROTATE(T，zx) 修 改 二 又 搜 索 树 的 例子 。 输 入 的 树 
和 修改 过 的 树 进行 中 序 遍 历 ， 产 生 相 同 的 关键 字 值 列表 


练习 

13.2-1 写 出 RIGHT-ROTATE 的 伪 代 码 。 

13.2-2 ER: 在 任何 一 棵 有 ?个 结 点 的 二 又 搜索 树 中 ， 恰 有 ”一 1 种 可 能 的 旋转 。 

13.2-3 WEE 13-2 左边 一 棵 树 中 ，a、5 和 < 分 别 为 子 树 a、B 和 7 中 的 任意 结 点 。 当 结 点 z 左 
WER» a, b 和 < 的 深度 会 如 何 变化 ? 

13. 2-4 证 明 : 任何 一 棵 含 ”个 结 点 的 二 又 搜索 树 可 以 通过 O(z) 次 旋转 ， 转 变 为 其 他 任何 一 棵 

含 ”个 结 点 的 二 又 搜索 树 。( 提 示 : 先 证 明 至 多 "一 1 次 右 旋 足以 将 树 转变 为 一 条 右 侧 伸 

展 的 链 。) 
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*13.2-5 如果 能 够 使 用 一 系列 的 RIGHT-ROTATE 调用 把 一 个 二 又 搜索 树 T 变 为 二 又 搜索 树 
T;， 则 称 T, 可 以 右 转 Cright-converted) 成 T;。 试 给 出 一 个 例子 表示 两 棵 树 元 FTL, H 


oT, 不 能 够 右 转 成 T;。 然 后 ， 证 明 ， MRT, 可 以 右 转 成 T,， 那 么 它 可 以 通过 OC ) 次 
ck RIGHT-ROTATE 调用 来 实现 右 转 。 
13.3 插入 


我 们 可 以 在 O(lgz) 时 间 内 完成 向 一 棵 含 n 个 结 点 的 红 黑 树 中 插入 一 个 新 结 点 。 为 了 做 到 这 
一 点 ， 利 用 TREE-INSERT 过 程 (参见 12. 3 节 ) 的 一 个 略 作 修改 的 版 本 来 将 结 点 z 插 入 树 工 内 ， 
就 好 像 工 是 一 棵 普通 的 二 又 搜索 树 一 样 ， 然 后 将 z BAA. (AY 13. 3-1 要 求解 释 为 什么 选择 
将 结 点 < 着 为 红色 ， 而 不 是 黑色 。) 为 保证 红 黑 性 质 能 继续 保持 ， 我 们 调用 一 个 辅助 程序 RB- 
INSERT-FIXUP 来 对 结 点 重新 着 色 并 旋转 。 调 用 RB-INSERT(T，z) 在 红 黑 树 TARAHA z， 
假设 z 的 key 属性 已 被 事先 赋值 。 


RB-INSERT(T, z) 
1 y= T.nil 
2 x = T.root 
3 while z + T. nil 
4 yHu 
5 if z. key < x. key 
6 x = zx. left 
7 else x = x. right 
8 zp=y 
9 ify == T. nil 
10 T. root = z 
11 elseif z. key < y. key 
12 y. left =z 
13 else y. right = z 
14 zleft = T.nil 
15 zright = T.nil 
16 2. color = RED 
17 RB-INSERT-FIXUP(CT, z) 


过 程 TREE-INSERT 和 RB-INSERT 之 间 有 4 处 不 同 。 第 一 ，TREE-INSERT' 内 的 所 有 NIL 
都 被 下 nil RE, SL, RB-INSERT 的 第 14~15 行 置 zx. left Mz. right 为 T.nil， 以 保持 合理 的 
树 结构 。 第 三 ， 在 第 16 行将 z 着 为 红色 。 第 四 ， 因 为 将 z 着 为 红色 可 能 违反 其 中 的 一 条 红 黑 性 
315) 质 ， 所 以 在 RB-INSERT 的 第 17 行 中 调用 RB-INSERT-FIXUP(T，z) 来 保持 红 黑 性 质 。 
RB-INSERT-FIXUP(CT, z) 


1 while z. p. color == RED 
2 if z. p == z. p. p. left 


3 y = z. p. p. right 

4 if y. color == RED 

5 z. p. color = BLACK // case 1 
6 y. color = BLACK // case 1 
7 z. p. p. color = RED // case 1 
8 z= z p.p // case 1 
9 


else if z == z. p. right 
10 z= z. p // case 2 


11 
12 
13 
14 
15 


16 
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LEFT-ROTATE(T, z) // case 2 
z. p. color = BLACK // case 3 
z. p. p. color = RED // case 3 
RIGHT-ROTATECT, z. p. p) // case 3 


i else(same as then clause 


with “right” and “left” exchanged) 


T. root. color = BLACK 


为 了 理解 RB-INSERT-FIXUP 过 程 如 何 工 作 ， 把 代码 分 为 三 个 主要 的 步 又。 首先 ， 要 确定 
当 结 点 z 被 插入 并 着 为 红色 后 ， 红 黑 性 质 中 有 哪些 不 能 继续 保持 。 其 次 ， 应 分 析 第 1 一 15 行 中 
while 循环 的 总 目标 。 最 后 ， 要 分 析 while 循环 体 中 的 三 种 情况 ， 看 看 它们 是 如 何 完 成 目标 的 。 
图 13-4 给 出 一 个 范例 ， 显 示 在 一 棵 红 黑 树 上 RB-INSERT-FIXUP 如 何 操作 。 


图 13-4 


Ca) 


(b) 


(c) 


(d) 





RB-INSERT-FIXUP 操作 。(a) 插 和 后 的 结 点 ze. HF z 和 它 的 父 结 点 z. p 都 是 红色 
的 ， 所 以 违反 了 性 质 4。 由 于 z 的 叔 结 点 》 是 红色 的 ， 可 以 应 用 程序 中 的 情况 1。 结 
点 被 重新 着 色 ， 并 且 指 针 z 沿 树 上 升 ， 所 得 的 树 如 (b) 所 示 。 再 一 次 z 及 其 父 结 点 又 
都 为 红色 ,但 z 的 叔 结 点 y 是 黑色 的 。 因 为 z 是 z. p 的 右 孩 子 ， 可 以 应 用 情况 2。 在 
执行 1 次 左旋 之 后 ， 所 得 结果 树 见 (c)。 现 在 ，z 是 其 父 结 点 的 左 孩子 ， 可 以 应 用 情 
况 3。 重 新 着 色 并 执行 一 次 右 旋 后 得 (d) 中 的 树 ， 它 是 一 棵 合法 的 红 黑 树 


O ”情况 2 可 以 转 为 情况 3， 于 是 这 两 种 情况 就 不 是 各 自 独立 的 了 。 
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在 调用 RB-INSERT-FIXUP 操作 时 ， 哪 些 红 黑 性 质 可 能 会 被 破坏 呢 ? 性 质 1 和 性 质 3 继续 成 
立 ， 因 为 新 插入 的 红 结 点 的 两 个 子 结 点 都 是 哨兵 T.nii。 性 质 5， 即 从 一 个 指定 结 点 开始 的 每 条 
简单 路 径 上 的 黑 结 点 的 个 数 都 是 相等 的 ， 也 会 成 立 ， 因 为 结 点 z 代替 了 (黑色 ) 哨 兵 ， 并 且 结 点 z 
本 身 是 有 哨兵 孩子 的 红 结 点 。 这 样 来 看 ， 仅 可 能 被 破坏 的 就 是 性 质 2 和 性 质 4， 即 根 结 点 需要 为 
黑色 以 及 一 个 红 结 点 不 能 有 红 孩 子 。 这 两 个 性 质 可 能 被 破坏 是 因为 z 被 着 为 红色 。 如 果 z 是 根 结 
点 ， 则 破坏 了 性 质 2; WR z 的 父 结 点 是 红 结 点 ， 则 破坏 了 性 质 4。 图 13-4(a) 显示 在 插 人 结 点 z 
之 后 性 质 4 被 破坏 的 情况 。 

第 1 一 15 行 中 的 while 循环 在 每 次 迭代 的 开头 保持 下 列 3 个 部 分 的 不 变 式 ， 

a. 结 点 z 是 红 结 点 。 

b. 如 果 z. p 是 根 结 点 ， 则 z. p 是 黑 结 点 。 

ce 如 果 有 任何 红 黑 性 质 被 破坏 ， 则 至 多 只 有 一 条 被 破坏 ， 或 是 性 质 2， 或 是 性 质 4。 如 果 性 
质 2 被 破坏 ， 其 原因 为 z 是 根 结 点 且 是 红 结 点 。 如 果 性 质 4 被 破坏 ， 其 原因 为 z Az. p PEA 
25 Fie 

c 部 分 处 理 红 黑 性 质 的 破坏 ， 相 比 a 部 分 和 b 部 分 来 说 ， 显 得 更 是 RB-INSERT-FIXUP 保持 
红 黑 性 质 的 中 心 内 容 ， 我 们 以 此 来 理解 代码 中 的 各 种 情形 。 由 于 将 注意 力 集中 在 结 点 z 以 及 树 中 
靠近 它 的 结 点 上 ， 所 以 有 助 于 从 a 部 分 得 知 z 为 红 结 点 。 当 在 第 2、3、7、8、13 和 14 行 中 引用 
z. p. pit, RIEM b 部 分 来 表明 它 的 存在 。 

需要 证 明 在 循环 的 第 一 次 迭代 之 前 循环 不 变 式 为 真 ， 每 次 迭代 都 保持 这 个 循环 不 变 式 成 立 ， 
并 且 在 循环 终止 时 ， 这 个 循环 不 变 式 会 给 出 一 个 有 用 的 性 质 。 

先 从 初始 化 和 终止 的 不 变 式 证 明 开 始 。 然 后 ， 依 据 细 致 地 考察 循环 体 如 何 工 作 ， 来 证 明 循 环 
在 每 次 迭代 中 都 保持 这 个 循环 不 变 式 。 同 时 ， 还 要 说 明 循 环 的 每 次 迭代 会 有 两 种 可 能 的 结果 : 或 
者 指针 z 沿 着 树 上 移 ， 或 者 执行 某 些 旋 转 后 循环 终止 。 

初始 化 : 在 循环 的 第 一 次 迭代 之 前 ， 从 一 棵 正常 的 红 黑 树 开始 ， 并 新 增 一 个 红 结 点 z。 

要 证 明 当 RB-INSERT-FIXUP 被 调用 时 ， 不 变 式 的 每 个 部 分 都 成 立 。 

a. 当 调 用 RB-INSERT-FIXUP 时 ，z 是 新 增 的 红 结 点 。 

b. 如 果 z. p 是 根 ， 那 么 z. 如 开始 是 黑色 的 ， 且 在 调用 RB-INSERT-FIXUP 之 前 保持 不 变 。 

c. 注意 到 在 调用 RB-INSERT-FIXUP 时 ， 性 质 1、 性 质 3 和 性 质 5 成 立 。 

如 果 违 反 了 性 质 2， 则 红色 根 结 点 一 定 是 新 增 结 点 z， 它 是 树 中 唯一 的 内 部 结 点 。 因 为 z 的 
父 结 点 和 两 个 子 结 点 都 是 黑色 的 哨兵 ， 没 有 违反 性 质 4。 这 样 ， 对 性 质 2 的 违反 是 整 棵 树 中 唯一 
违反 红 黑 性 质 的 地 方 。 

如 果 违 反 了 性 质 4， 则 由 于 z 的 子 结 点 是 黑色 哨兵 ， 且 该 树 在 z 加 入 之 前 没有 其 他 性 质 的 违 
反 ， 所 以 违反 必然 是 因为 z Ale. p 都 是 红色 的 。 而 且 ， 没 有 其 他 红 黑 性 质 被 违反 。 

ik: 循环 终止 是 因为 z. p ERER. OIR z BRA, BA z p 是 黑色 哨兵 T. nil。) 这 
样 ， 树 在 循环 终止 时 没有 违反 性 质 4。 根 据 循环 不 变 式 ， 唯 一 可 能 不 成 立 的 是 性 质 2。 第 16 行 恢 
复 这 个 性 质 ， 所 以 当 RB-INSERT-FIXUP 终止 时 ， 所 有 的 红 黑 性 质 都 成 立 。 

保持 : 实际 需要 考虑 while 循环 中 的 6 种 情况 ， 而 其 中 三 种 与 另外 三 种 是 对 称 的 。 这 取决 于 第 2 
行 中 zx 的 父 结 点 zp 是 z 的 祖父 结 点 z b p 的 左 孩 子 ， 还 是 右 孩 子 。 我 们 只 给 出 z p 是 左 孩 子 时 的 代 
码 。 根 据 循 环 不 变 式 的 bb 部分， 如 果 z p 是 根 结 点 ， 那 么 z p 是 黑色 的 ， 可 知 结 点 z p p FE. AW 
只 有 在 z p 是 红色 时 才 进 入 一 次 循环 迭代 ， 所 以 z p 不 可 能 是 根 结 点 。 因 此 ，z. p. p 存在 。 

情况 1 和 情况 2、 情 况 3 的 区 别 在 于 z 父亲 的 兄弟 结 点 (或 称 为 “ 叔 结 点 ”) 的 颜色 不 同 。 第 3 行 
使 y 指 向 z 的 叔 结 点 z p. p. right， 在 第 4 行 测 试 y 的 颜色 。 如 果 y 是 红色 的 ， 那么 执行 情况 1。 否 
则 ， 控 制 转 向 情况 2 和 情况 3 上 。 在 所 有 三 种 情况 中 ，z 的 祖父 结 点 z. p p 是 黑色 的 ， 因 为 它 的 


第 13 章 红 黑 # 。 181 


父 结 点 z. p 是 红色 的 ， 故 性 质 4 只 在 > 和 xz.p 之 间 被 破坏 了 。 

情况 1: z 的 叔 结 点 是 红色 的 

图 13-5 显示 了 情况 1( 第 5~8 行 ) 的 情形 ， 这 种 情况 在 z p 和 yy 都 是 红色 时 发 生 。 因 为 
z. p. p 是 黑色 的 ， 所 以 将 z p 和 都 着 为 黑色 ， 以 此 解决 z 和 xz. p 都 是 红色 的 问题 ,将 z p pÉ 
为 红色 以 保持 性 质 5。 然 后 ， 把 z. b. p 作为 新 结 点 z 来 重复 while 循环 。 指 针 z 在 树 中 上 移 两 层 。 





图 13-5 过 程 RB-INSERT-FIXUP 中 的 情况 1。 性 质 4 被 违反 ， 因 为 MERKEA z. p 
都 是 红色 的 。 无 论 z 是 一 个 右 孩 子 ( 图 (a)) 还 是 一 个 左 孩 子 ( 图 (b))， 都 同样 处 
理 。 每 一 棵 子 树 <、B、Y、6 和 e 都 有 一 个 黑色 根 结 点 ， 而 且 具 有 相同 的 黑 高 。 
情况 1 的 代码 改变 了 某 些 结 点 的 颜色 ， 但 保持 了 性 质 5， 从 一 个 结 点 向 下 到 一 个 
叶 结 点 的 所 有 简单 路 径 都 有 相同 数目 的 黑 结 点 。while 循环 将 结 点 z 的 祖父 
z. p. 记 作 为 新 的 z 以 继续 和 迭代。 现在 性 质 4 的 破坏 只 可 能 发 生 在 新 的 红色 结 点 z 
和 它 的 父 结 点 之 间 ， 条 件 是 如 果 父 结 点 也 为 红色 的 


现在 , 证 明 情况 1 在 下 一 次 循环 途 代 的 开头 会 保持 这 个 循环 不 变 式 。 用 = 表示 当前 迭代 中 的 
结 点 z， 用 二 z. p. p RREFERA 1 行 测试 时 的 结 点 z。 

a. 因为 这 次 迭代 把 z. p. p 着 为 红色 ， 结 点 x 在 下 次 兴 代 的 开始 是 红色 的 。 

b. 在 这 次 迄 代 中 结 点 z. p 是 z. p. p. p， 且 这 个 结 点 的 颜色 不 会 改变 。 如 果 它 是 根 结 点 ， 则 
在 此 次 迭代 之 前 它 是 黑色 的 ， 且 它 在 下 次 迭代 的 开头 仍然 是 黑色 的 。 

c. 我 们 已 经 证 明 情况 1 保持 性 质 5， 而 且 它 也 不 会 引起 性 质 1 或 性 质 3 的 破坏 。 

如 果 结 点 z 在 下 一 次 迭代 开始 时 是 根 结 点 ， 则 在 这 次 迭代 中 情况 1 修正 了 唯一 被 破坏 的 性 质 
4。 由 于 x 是 红色 的 而 且 是 根 结 点 ， 所 以 性 质 2 成 为 唯一 被 违反 的 性 质 ， 这 是 由 x 导致 的 。 

如 果 结 点 z 在 下 一 次 迭代 开始 时 不 是 根 结 点 ， 则 情况 1 不 会 导致 性 质 2 的 破坏 。 情 况 1 修正 
了 在 这 次 迭代 的 开始 唯一 违反 的 性 质 4。 然 后 它 把 AALEN. p RE. WMR z. p 是 黑色 的 ， 
则 没有 违反 性 质 4。 如 果 z. p 是 红色 的 ， 则 把 着 为 红色 会 在 zx 与. 尹 之 间 造 成 性 质 4 的 违反 。 

情况 2: z 的 叔 结 点 是 黑色 的 且 z 是 一 个 右 孩子 

情况 3: “的 叔 结 点 是 黑色 的 且 z 是 一 个 左 孩子 

在 情况 2 和 情况 3 中 ，z 的 叔 结 点 y 是 黑色 的 。 通 过 < 是 z. p 的 右 孩 子 还 是 左 孩 子 来 区 别 这 
两 种 情况 。 第 10~11 行 构成 了 情况 2， 它 和 情况 3 一 起 显示 在 图 13-6 中 。 在 情况 2 中 ， 结 点 = 
是 它 的 父 结 点 的 右 孩子 。 可 以 立即 使 用 一 个 左旋 来 将 此 情形 转变 为 情况 3( 第 12 ~14 行 )， 此 时 
结 点 z 为 左 孩 子 。 因 为 z 和 z.p 都 是 红色 的 ， 所 以 该 旋转 对 结 点 的 黑 高 和 性 质 5 都 无 影响 。 无 论 
是 直接 进入 情况 2， 还 是 通过 情况 3 进入 情况 2，z 的 叔 结 点 y 总 是 黑色 的 ， 因 为 否则 就 要 执行 情 
况 1。 此 外 ， 结 点 z. p p 存在 ， 因 为 已 经 推断 在 执行 第 2 行 和 第 3 行 时 该 结 点 存在 ， 且 在 第 10 
行将 z 往 上 移 一 层 ， 然 后 在 第 11 行将 z 往 下 移 一 层 之 后 ，z. p p 的 身份 保持 不 变 。 在 情况 3 中 ， 
改变 某 些 结 点 的 颜色 并 做 一 次 右 旋 ， 以 保持 性 质 5。 这 样 ， 由 于 在 一 行 中 不 再 有 两 个 红色 结 点 ， 
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所 有 的 处 理 到 此 完毕 。 因 为 此 时 z. p 是 黑色 的 ， 所 以 无 需 再 执行 一 次 while 循环 。 





情况 3 


图 13-6 过程 RB-INSERT-FIXUP 中 的 情况 2 和 情况 3。 如 同情 况 1， 由 于 z MERKEA z. p 
都 是 红色 的 ， 性 质 4 在 情况 2 或 情况 3 中 会 被 破坏 。 每 一 棵 子 树 a、B、y 和 6 都 有 一 个 
黑色 根 结 扣 (a、B 和 7 是 由 性 质 4 而 来 ,6 也 有 黑色 根 结 吕 ， 因 为 否则 将 导致 情况 1), 
而 且 具 有 相同 的 黑 高 。 通 过 左旋 将 情况 2 转变 为 情况 3， 以 保持 性 质 5: 从 一 个 结 点 向 
下 到 一 个 叶 结 点 的 所 有 简单 路 径 都 有 相同 数目 的 黑 结 点。 情况 3 引起 某 些 结 点 颜色 的 
改变 ， 以 及 一 个 同样 为 了 保持 性 质 5 的 右 旋 。 然 后 while 循环 终止 ， 因 为 性 质 4 已 经 得 
到 了 满足 一 行 中 不 再 有 两 个 红色 结 点 


现在 来 证 明 情 况 2 和 情况 3 保持 了 循环 不 变 式 。( 正 如 已 经 讨论 的 ，z. p 在 第 1 行 中 下 一 次 
测试 会 是 黑色 ， 循 环 体 不 会 再 次 执行 。) 

a. 情况 2 让 z 指 向 红色 的 z. pp。 在 情况 2 和 情况 3 中 Me 的 颜色 都 不 再 改变 。 

b. 情况 3 把 zx. p 着 成 黑色 ， 使 得 如 果 z p 在 下 一 次 迭代 开始 时 是 根 结 点 ， 则 它 是 黑色 的 。 

c 如 同情 况 1， 性 质 1、 性 质 3 和 性 质 5 在 情况 2 与 情况 3 中 得 以 保持 。 

由 于 结 点 z 在 情况 2 和 情况 3 中 都 不 是 根 结 点 ， 所 以 性 质 2 没有 被 破坏 。 情 况 2 和 情况 3 不 会 
引起 性 质 2 的 违反 ， 因 为 唯一 着 为 红色 的 结 点 在 情况 3 中 通过 旋转 成 为 一 个 黑色 结 点 的 子 结 点 。 

情况 2 和 情况 3 修正 了 对 性 质 4 的 违反 ， 也 不 会 引起 对 其 他 红 黑 性 质 的 违反 。 

证 明了 循环 的 每 一 次 迭代 都 会 保持 循环 不 变 式 之 后 ， 也 就 证 明了 RB-INSERT-FIXUP 能 够 

正确 地 保持 红 黑 性 质 。 

分 析 | 

RB-INSERT 的 运行 时 间 怎 样 呢 ?由 于 一 棵 有 7 个 结 点 的 红 黑 树 的 高 度 为 Ol(lgn)， 因 此 RB 
INSERT 的 第 1~16 行 要 花费 OClgn) 时 间 。 在 RB-INSERT-FIXUP 中 ， 仅 当 情 况 1 发 生 ， 然 后 指 
针 z 沿 着 树 上 升 2 JB, while 循环 才 会 重复 执行 。 所 以 while 循环 可 能 被 执行 的 总 次 数 为 OC(lgn)。 
因此 ，RB-INSERT 总 共 花 费 O(lgz) 时 间 。 此 外 ， 该 程序 所 做 的 旋转 从 不 超过 2 次 ， 因 为 只 要 执 
行 了 情况 2 或 情况 3, while 循环 就 结束 了 。 


练习 


13.3-1 在 RB-INSERT 的 第 16 行 ， 将 新 插入 的 结 点 z 着 为 红色 。 注 意 到 ， 如 果 将 = 着 为 黑色 ， 
则 红 黑 树 的 性 质 4 就 不 会 被 破坏 。 那 么 为 什么 不 选择 将 z 着 为 黑色 呢 ? 

13.3-2 将 关键 字 41、38、31、12、19、8 连续 地 插入 一 棵 初始 为 空 的 红 黑 树 之 后 ， 试 画 出 该 结 
果树 。 

13.3-3 ”假设 图 13-5 和 图 13-6 HFH a, P y SMe 的 黑 高 都 是 上 。 给 每 张 图 中 的 每 个 结 点 标 上 
黑 高 ， 以 验证 图 中 所 示 的 转换 能 保持 性 质 5。 

13.3-4 Teach 教授 担心 RB-INSERT-FIXUP 可 能 将 T. nil. color 设 为 RED， 这 时 ， 当 z ARN, 
第 1 行 的 测试 就 不 会 让 循环 终止 。 通 过 讨论 RB-INSERT-FIXUP 永远 不 会 将 T nil. color 
设置 为 RED， 来 说 明 这 位 教授 的 担心 是 没有 必要 的 。 

13.3-5 考虑 一 棵 用 RB-INSERT 插入 个 结 点 而 成 的 红 黑 树 。 证 明 :， 如 果 zx 之 1， 则 该 树 至 少 有 
一 个 红 结 点 。 
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13.3-6 说 明 如 果 红 黑 树 的 表示 中 不 提供 父 指针 ， 应 当 如 何 有 效 地 实现 RB-INSERT。 


13.4 删除 

与 2 个 结 点 的 红 黑 树 上 的 其 他 基本 操作 一 样 ， 删 除 一 个 结 点 要 花费 OC(lgn) 时 间 。 与 插入 操 
作 相 比 ， 删 除 操作 要 稍微 复杂 些 。 

从 一 棵 红 黑 树 中 删除 结 点 的 过 程 是 基于 TREE-DELETE 过 程 ( 见 12. 3 节 ) 而 来 的 。 首 先 ， 需 
要 特别 设计 一 个 供 TREE-DELETE 调用 的 子 过 程 TRANSPLANT， 并 将 其 应 用 到 红 黑 树 上 


RB-TRANSPLANT(T, u, v) 

l ifu. p == T. nil 

2 T.root =v 

3 elseif u == u. p. left 

4 up. left =v 

5 else u. p. right = v 

6 vuvp= up 

过 程 RB-TRANSPLANT 45 TRANSPLANT 有 两 点 不 同 。 首 先 ， 第 1 行 引 用 哨兵 T. nil 而 不 
是 NIL, KK, 第 6 行 对 v p 的 赋值 是 无 条 件 执行 ， 即使 v 指 向 哨兵 ， 也 要 对 v p 赋值 。 实 际 
上 ， 当 v= T. nil AY 也 能 给 Vv. p 赋值 。 

过 程 RB-DELETE 与 TREE-DELETE 类似， 只 是 多 了 几 行 伪 代 码 。 多 出 的 几 行 代码 记录 结 
My 的 踪迹 ，y 有 可 能 导致 红 黑 性 质 的 破坏 。 当 想 要 删除 结 点 z， 且 此 时 z 的 子 结 点 少 于 2 个 时 ， 
z 从 树 中 删除 ， 并 让 y 成 为 z。 当 xz 有 两 个 子 结 点 时 ，y 应 该 是 z 的 后 继 ， FA y 将 移 至 树 中 的 > 
位 置 。 在 结 点 被 移 除 或 者 在 树 中 移动 之 前 ， 必 须 记 住 y 的 颜色 ， 并 且 记 录 结 点 工 的 踪迹 ， 将 工 移 
至 树 中 y 的 原来 位 置 ， 因 为 结 点 x 也 可 能 引起 红 黑 性 质 的 破坏 。 删 除 结 点 z 之 后 ，RB-DELETE 
调用 一 个 辅助 过 程 RB-DELETE-FIXUP， 该 过 程 通过 改变 颜色 和 执行 旋转 来 恢复 红 黑 性 质 。 

RB-DELETE(T, z) 

l y = z 
2 yoriginal-color = y. color 
3 if z. left == T. nil 
4 = x= xz. right 
5 | RB-TRANSPLANT(T, z, z. right) 
6 elseif z. right == T. nil 
7 , I= 2.left 
8 ` RBTRANSPLANT(T, z, z. left) 
9 else y = TREE-MINIMUM(z. right) 
10 : y original-color = y. color 
11 z= y.right 
12 | if y. p == z 


13 rt. p= y 

14 - else RB-TRANSPLANT(T, y, y. right) 
15 | y. right = z. right 

16 y. right. p = y 


17 ,RB-TRANSPLANT(T, z, y) 
18 | y.left = z. left 

19 | yleft.p = y 

20 : y. color = z. color 

21 if y- original-color == BLACK 
22. RBDELETE-FIXUP(T, zx) 
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虽然 RB-DELETE 包含 的 伪 代 码 行 数 几 乎 是 TREE-DELETE 的 2 倍 ， 但 这 两 个 过 程 具 有 相 
同 的 基本 结构 。 在 RB-DELETE 中 能 够 找到 TREE-DELETE 的 每 一 行 语句 (其 中 NIL 被 替换 成 
J T. nil, MH TRANSPLANT 换 成 了 调用 RB-TRANSPLANT)， 其 执行 的 条 件 相 同 。 

下 面 是 两 个 过 程 之 间 的 其 他 区 别 : 


始终 维持 结 点 y 为 从 树 中 删除 的 结 点 或 者 移 至 树 内 的 结 点 。 当 z 的 子 结 点 少 于 2 个 时 ， 
第 1 行将 y 指 向 z， 并 因此 要 移 除 。 当 zx 有 两 个 子 结 点 时 ， 第 9 行将 y 指向 z 的 后 继 ， 这 
与 TREE-DELETE 相同 ，y 将 移 至 树 中 z 的 位 置 。 

由 于 结 点 y 的 颜色 可 能 改变 ， 变 量 yoriginal-color 存储 了 发 生 改 变 前 的 y 颜色 。 第 2 行 
和 第 10 行 在 给 y 赋值 之 后 ， 立 即 设置 该 变量 。 当 > 有 两 个 子 结 点 时 ， 则 yér 且 结 点 y 
移 至 红 黑 树 中 结 点 z 的 原始 位 置 ; 第 20 行 给 > 赋予 和 > 一 样 的 颜色 。 我 们 需要 保存 y 的 
原始 颜色 ， 以 在 RBDELETE 结束 时 测试 它 ; 如 果 它 是 黑色 的 ， 那 么 删除 或 移动 y 会 引 
起 红 黑 性 质 的 破坏 。 . 
正如 前 面 讨论 过 的 ， 我 们 保存 结 点 z 的 踪迹 ， 使 它 移 至 结 点 y 的 原始 位 置 上 。 第 4、7 和 
11 行 的 赋值 语句 令 z 或 指 回 y 的 唯一 子 结 点 或 指向 哨兵 TT. nil Ry RATAA). E 
忆 一 下 12.3 节 y 没 有 左 孩 子 的 情形 。) 

因为 结 点 z 移 动 到 结 点 y 的 原始 位 置 ， 属 性 zx. p 总 是 被 设置 指向 树 中 yy 父 结 点 的 原始 位 


E, RBS rc EKR T. nil 时 也 是 这 样 。 除 非 > 是 > 的 原始 父 结 点 (该 情况 只 在 z 有 两 个 


孩子 且 它 的 后 继 y 是 z 的 右 孩 子 时 发 生 )， 否 则 对 x. p 的 赋值 在 RB-TRANSPLANT 的 第 

6 行 。( 注 意 到 ， 在 第 5、8 或 14 行 调用 RB-TRANSPLANT 时 ， 传 递 的 第 2 个 参数 与 z 

相同 .) 然 而 ， 当 y 的 原 父 结 点 是 z 时， 我 们 并 不 想 让 zx. p 指向 y 的 原始 父 结 点 ， 因 为 要 

在 树 中 删除 该 结 点 。 由 于 结 点 y 将 在 树 中 向 上 移动 占据 z 的 位 置 ， 第 13 行将 zx. p 设置 为 

y， 使 得 x. p 指向 y 父 结 点 的 原始 位 置 ， 甚 至 当 c=T. nil 时 也 是 这 样 。 

最 后 ， 如 果 结 点 y 是 黑色 ， 就 有 可 能 已 经 引入 了 一 个 或 多 个 红 黑 性 质 被 破坏 的 情况 ， 所 

以 在 第 22 行 调用 RB-DELETE-FIXUP 来 恢复 红 黑 性 质 。 如 果 y 是 红色 ， 当 y 被 删除 或 

移动 时 ， 红 黑 性 质 仍 然 保持 ， 原 因 如 下 : 

1. 树 中 的 黑 高 没有 变化 。 

2. 不 存在 两 个 相 邻 的 红 结 点 。 因 为 y 在 树 中 占据 了 z 的 位 置 ， 再 考虑 到 z 的 颜色 ， 树 中 y 
的 新 位 置 不 可 能 有 两 个 相 邻 的 红 结 点 。 另 外 ， 如 果 y 不 是 z 的 右 孩 子 ， 则 y 的 原 右 孩子 
工 代替 y。 如 果 y 是 红色 ， 则 zx 一定 是 黑色 ， 因 此 用 替代 y 不 可 能 使 两 个 红 结 点 相 邻 。 

3. 如 果 y 是 红色 ， 就 不 可 能 是 根 结 点 ， 所 以 根 结 点 仍旧 是 黑色 。 


如 果 结 点 y 是 黑色 的 ， 则 会 产生 三 个 问题 ， 可 以 通过 调用 RB-DELETE-FIXUP 进行 补救 。 
第 一 ， 如 果 y 是 原来 的 根 结 点 ， 而 y 的 一 个 红色 的 孩子 成 为 新 的 根 结 点 ， 这 就 违反 了 性 质 2。 第 
Z, WE rM. p 是 红色 的 ， 则 违反 了 性 质 4。 第 三 ， 在 树 中 移动 y 将 导致 先前 包含 y 的 任何 简 
单 路 径 上 黑 结 点 个 数 少 1。 因 此，y 的 任何 祖先 都 不 满足 性 质 5。 改 正 这 一 问题 的 办 法 是 将 现在 
占有 y 原来 位 置 的 结 点 z 视 为 还 有 一 重 额外 的 黑色 。 也 就 是 说 ， 如 果 将 任意 包含 结 点 z 的 简单 路 
径 上 黑 结 点 个 数 加 1， 则 在 这 种 假设 下 ， 性 质 5 成 立 。 当 将 黑 结 点 > 删除 或 移动 时 ， 将 其 黑色 
“下 推 ”给 结 点 z。 现 在 问题 变 为 结 点 z 可 能 既 不 是 红色 ， 又 不 是 黑色 ， 从 而 违反 了 性 质 1。 现 在 
的 结 点 z 是 双重 黑色 或 者 红 黑 色 ， 这 就 分 别 给 包含 z 的 简单 路 径 上 黑 结 点 数 贡 献 了 2 或 1。z 的 
color 属性 仍然 是 RED( 如 果 工 是 红 黑 色 的 ) 或 者 BLACKIE r ENERE), KAEM, h 
点 额外 的 黑色 是 针对 工 结 点 的 ， 而 不 是 反映 在 它 的 color BEER. 

现在 我 们 来 看 看 过 程 RB-DELETE-FIXUP 是 如 何 恢复 搜索 树 的 红 黑 性 质 的 。 
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RB-DELETE-FIXUP(CT, x) 
1 while z =Æ T. root and zx. color == BLACK 


2 if 2 == x. p. left 

3 : w = x. p. right 

4 if w. color == RED 

5 w. color = BLACK // case 1 
6 x. p. color = RED // case 1 
7 LEFT-ROTATEC(T, z. p) // case 1 
8 w = x. p. right // case 1 
9 if w. left. color == BLACK and w. right. color == BLACK 
10 w. color = RED // case 2 
11 r= X. p // case 2 
12 else if w. right. color == BLACK 
13 w. left. color = BLACK // case 3 
14 | w. color = RED // case 3 
15 RIGHT-ROTATE(T, w) // case 3 
16 w = x. p. right // case 3 
17 | w. color = x. p. color // case 4 
18 | x. p. color = BLACK // case 4 
19 | w. right. color = BLACK // case 4 
20 LEFT-ROTATE(T, z. p) // case 4 
21 | x = T. root / case 4 
22 _ else (same as then clause with “right” and “left” exchanged) 


23 2. color = BLACK 


过 程 RB-DELETE-FIXUP 恢复 性 质 1、 性 质 2 和 性 质 4。 练 习 13. 4-1 和 13. 4-2 要 求 读者 说 
明 这 个 过 程 是 如 何 恢复 性 性 质 2 和 性 质 4 的 ， 因 此 ， 本 节 的 其 余部 分 将 专注 于 性 质 1。 第 1 一 22 
行 中 while 循环 的 目标 是 将 额外 的 黑色 沿 树 上 移 ， 直 到 ， 

1. 工 指向 红 黑 结 点 ， 此 时 在 第 23 行 中 ， 将 工 着 为 (单个 ) 黑 色 。 

2. 工 指 癌 根 结 点 ， 此 时 可 以 简单 地 “ 移 除 ”额外 的 黑色 。 

3. 执行 适当 的 旋转 和 重新 着 色 ， 退 出 循环 。 

在 while 循环 中 ，z 总 是 指向 一 个 具有 双重 黑色 的 非 根 结 点 。 在 第 2 PRA z 是 其 父 结 
Ar. p 的 左 孩 子 还 是 右 孩 子 。( 已 经 给 出 了 z 为 左 孩 子 时 的 代码 ; z 为 右 孩 子 的 第 22 行 的 代码 是 
对 称 的 。) 保 持 指针 ww 指向 xz 的 兄弟 。 由 于 结 点 工 是 双重 黑色 的 ， 故 也 不 可 能 是 工 .zzz， 因 为 否 
则 ， 从 z. 尹 至 ( 单 黑色 ) 叶 子 也 的 简单 路 径 上 的 黑 结 点 个 数 就 会 小 于 从 z. 丸 到 z 的 简单 路 径 上 的 
黑 结 点 数 。 

图 13-7 给 出 了 代码 中 的 4 种 情况 9 。 在 具体 研究 每 一 种 情况 之 前 ， 先 看 看 如 何 证 实 每 种 情况 
中 的 变换 保持 性 质 5。 关 键 思想 是 在 每 种 情况 中 ， 从 子 树 的 根 ( 包 括 根 ) 到 每 棵 子 树 a，B，…，& 
之 间 的 黑 结 点 个 数 ( 包 括 z 的 额外 黑色 ) 并 不 被 变换 改变 。 因 此 ， 如 果 性 质 5 在 变换 之 前 成 立 ， 那 
么 变换 之 后 也 仍然 成 立 。 举 例 说 明 ， 图 13-7(a) 说 明了 情况 1， 在 变换 前 后 ， 根 结 点 至 子 树 a 或 B 

之 间 的 黑 结 点 数 都 是 3。( 再 次 记 住 ， 结 点 并 增加 了 额外 一 重 黑色 。) 类 似 地 ， 在 变换 前 后 根 结 点 
至 子 树 6、e 和 中 的 任何 一 个 之 间 的 黑 结 点 数 都 是 2。 在 图 13-7(b) 中 ， 计 数 时 还 要 包括 所 示 
子 树 的 根 结 点 的 color BERB c, CRE RED 或 是 BLACK。 如 果 定 义 count(RED)=0 以 及 
count(BLACK) = 1， 那 么 变换 前 后 根 结 点 至 a 的 黑 结 点 数 都 为 2 十 count(c) 。 在 此 情况 下 ， 变 换 


9 参见 过 程 RB-INSERT-FIXUP，RB-DELETE-FIXUP 中 的 4 种 情况 并 不 是 完全 独立 的 。 
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之 后 新 结 点 工具 有 color 属性 值 <， 但 是 这 个 结 点 的 颜色 是 红 黑 (如 果 c= 二 RED) 或 者 双重 黑色 的 
(如 果 c= 二 BLACK)。 其 他 情况 可 以 类 似 地 加 以 验证 ( 见 练 习 13. 4-5)。 


(a) 


(b) 


(c) 


(d) 





new x=T.root 


图 13-7 过程 RB-DELETE-FIXUP 中 while 循环 的 各 种 情况 。 加 黑 的 结 点 color 属性 为 BLACK, RH 
影 的 结 点 color 属性 为 RED， 浅 阴影 的 结 点 color 属性 用 c 和 < 表示， 它 既 可 为 RED 也 可 为 
BLACK, #fa, B, -, 《代表 任意 的 子 树 。 在 每 种 情况 中 ， 通 过 改变 某 些 结 点 的 颜色 及 /或 
进行 一 次 旋转 ， 可 以 将 左边 的 结构 转化 为 右边 的 结构 。z 指向 的 任何 结 点 都 具有 额外 的 一 重 
黑色 而 成 为 双重 黑色 或 红 黑 色 。 只 有 情况 2 引起 循环 重复 。(a) 通 过 交换 结 点 BAD 的 颜色 
以 及 执行 一 次 左旋 ， 可 将 情况 1 转化 为 情况 2、3 或 4。(b) 在 情况 2 中 ， 在 将 结 点 D 着 为 红 
色 ， 并 将 z 设 为 指向 结 点 如 后， 由 指针 z 所 表示 的 额外 黑色 沿 树 上 升 。 如 果 通 过 情况 1 进入 
情况 2， 则 while 循环 结束 ， 因 为 新 的 结 点 zx 是 红 黑 的 ， 因 此 其 color 属性 c 是 RED。(c) 通 过 
交换 结 点 C 和 的 颜色 并 执行 一 次 右 旋 ， 可 以 将 情况 3 转换 成 情况 4。(d) 在 情况 4 中 ， 通 过 
改变 某 些 结 点 的 颜色 并 执行 一 次 左旋 (不 违反 红 黑 性 质 )， 可 以 将 由 z 表示 的 额外 黑色 去 掉 ， 
然后 循环 终止 


情况 1: x 的 兄弟 结 点 w 是 红色 的 

情况 1( 见 RB-DELETE-FIXUP 的 第 5 一 8 行 和 图 13-7(a)) 发 生 在 结 点 x 的 兄弟 结 点 ww WE 
色 时 。 因 为 ww 必须 有 黑色 子 结 点 ， 所 以 可 以 改变 ww 和 x. 的 颜色 ， 然 后 对 x. p 做 一 次 左旋 而 不 
违反 红 黑 树 的 任何 性 质 。 现 在 ，z 的 新 兄弟 结 点 是 旋转 之 前 w 的 某 个 子 结 点 ， 其 颜色 为 黑色 。 这 
样 ， 就 将 情况 1 转换 为 情况 2、3 或 4 处 理 。 

当 结 点 也 为 黑色 时 ， 属 于 情况 2、3 和 4; 这 些 情况 是 由 w 的 子 结 点 的 颜色 来 区 分 的 。 
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情况 2: x 的 兄弟 结 点 w 是 黑色 的 ， 而 且 w 的 两 个 子 结 点 都 是 黑色 的 

在 情况 2( 见 RB-DELETE-FIXUP 的 第 10~11 行 和 图 13-7(b)) 中 ，w 的 两 个 子 结 点 都 是 黑色 
的 。 因 为 ww 也 是 黑色 的 ， 所 以 从 z 和 w EERE, Er 只 有 一 重 黑 色 而 ww 为 红色 。 为 
了 补偿 从 x 和 ww 中 去 掉 的 一 重 黑色 ， 在 原来 是 红色 或 黑色 的 x. p 上 新 增 一 重 额外 的 黑色 。 通 过 
将 xz. p 作为 新 结 点 xz RBS while 循环 。 注 意 到 ， 如 果 通 过 情况 1 进入 到 情况 2， 则 新 结 点 xz 是 
红 黑 色 的 ， 因 为 原来 的 x. p 是 红色 的 。 因 此 ， 新 结 点 xH color 属性 值 c AH RED, 并且 在 测试 循 
环 条 件 后 循环 终止 。 然 后 ， 在 第 23 行 中 将 新 结 点 z 着 为 (单一 ) 黑 色 。 

情况 3: x 的 兄弟 结 点 w 是 黑色 的 ，w 的 左 孩 子 是 红色 的 ，w 的 右 孩 子 是 黑色 的 

情况 3( 见 第 13 一 16 行 和 图 13-7(c)) 发 生 在 % 为 黑色 且 其 左 孩 子 为 红色 、 右 孩子 为 黑色 时 。 
可 以 交换 w 和 其 左 孩 子 w. left 的 颜色 ， 然 后 对 w 进行 右 旋 而 不 违反 红 黑 树 的 任何 性 质 。 现 在 x 
的 新 兄弟 结 点 w 是 一 个 有 红色 右 孩 子 的 黑色 结 点 ， 这 样 我 们 就 将 情况 3 转换 成 了 情况 4。 

情况 4: x 的 兄弟 结 点 w 是 黑色 的 ， 且 w 的 右 孩子 是 红色 的 

情况 4( 见 第 17 一 21 行 和 图 13-7(d)) 发 生 在 结 点 z 的 兄弟 结 点 也 为 黑色 且 ww 的 右 孩 子 为 红色 时 。 
通过 进行 某 些 颜色 修改 并 对 x. p 做 一 次 左旋 ， 可 以 去 掉 z 的 额外 黑色 ， 从 而 使 它 变 为 单 重 黑色 ， 而 且 
不 破坏 红 黑 树 的 任何 性 质 。 将 xz 设 置 为 根 后 ， 当 while 循环 测试 其 循环 条 件 时 ， 循 环 终止 。 

分 析 

RB-DELETE 的 运行 时 间 怎 样 呢 ? 因为 含 个 结 点 的 红 黑 树 的 高 度 为 Ol(lgn)， 不 调用 RB 
DELETE-FIXUP 时 该 过 程 的 总 时 间 代 价 为 Ogn). Æ RB-DELETE-FIXUP 中 ,情况 1、3 和 4 
在 各 执行 常数 次 数 的 颜色 改变 和 至 多 3 次 旋转 后 便 终止 。 情 况 2 是 while 循环 可 以 重复 执行 的 唯 
一 情况 ， 然 后 指针 z 沿 树 上 升 至 多 O(lgn) 次 ， 且 不 执行 任何 旋转 。 所 以 ， 过 程 RB-DELETE- 
FIXUP 要 花费 Ol(lgn) 时 间 ， 做 至 多 3 次 旋转 ， 因 此 RB-DELETE 运行 的 总 时 间 为 O(lgn)。 


练习 


13.4-1 在 执行 RB-DELETE-FIXUP 之 后 , 证明; 树 根 一 定 是 黑色 的 。 

13. 4-2 在 RBDELETE 中 ， 如 果 x 和 zx.p 都 是 红色 的 ,证明 ， 可 以 通过 调用 RB-DELETE- 
FIXUP(T，z) 来 恢复 性 质 4。 

13. 4-3 在 练习 13. 3-2 中 ， 将 关键 字 41、38、31、12、19、8 连续 插入 一 棵 初始 的 空 树 中 ， 从 而 
得 到 一 棵 红 黑 树 。 请 给 出 从 该 树 中 连续 删除 关键 字 8、12、19、31、38、41 后 的 红 
黑 树 。 

13.4-4 ”在 RB-DELETE-FIXUP 代码 的 哪些 行 中 ， 可 能 会 检查 或 修改 哨兵 T. nil? 

13. 4-5 在 图 13-7 的 每 种 情况 中 ， 给 出 所 示 子 树 的 根 结 点 至 每 棵 子 树 a Bo, 之 间 的 黑 结 点 
个 数 ， 并 验证 它们 在 转换 之 后 保持 不 变 。 当 一 个 结 点 的 color 属性 为 c 或 c 时 ， 在 计数 
中 用 记号 count(c) 或 count(c ) 来 表示 。 

13.46 Skelton 和 Baron 教授 担心 在 RB-DELETE-FIXUP 的 情况 1 开始 时 ， 结 点 x. p 可 能 不 是 
黑色 的 。 如 果 这 两 位 教授 是 对 的 ， 则 第 5 一 6 行 就 是 错 的 。 证 明 : x. 在 情况 1 开始 时 
必 是 黑色 的 ， 从 而 说 明 这 两 位 教授 没有 担心 的 必要 。 | 

13. 4-7 假设 用 RB-INSERT 将 一 个 结 点 插入 一 棵 红 黑 树 ， 紧 接着 又 用 RB-DELETE 将 它 从 树 
中 删除 。 结 果 的 红 黑 树 与 初始 的 红 黑 树 是 否 一 样 ? 证 明 你 的 管 案 。 


思考 题 
13-1 (持久 动态 集合 ) 有 时 在 算法 的 执行 过 程 中 ， 我 们 会 发 现在 更 新 一 个 动态 集合 时 ， 需 要 维 
护 其 过 去 的 版 本 。 我 们 称 这 样 的 集合 为 持久 的 (persistent) 。 实 现 持久 集合 的 一 种 方法 是 每 
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当 该 集合 被 修改 时 ， 就 将 其 完整 地 复制 下 来 ， 但 是 这 种 方法 会 降低 一 个 程序 的 执行 速度 ， 
而 且 占 用 过 多 的 空间 。 有 有 时候， 我 们 可 以 做 得 更 好 些 。 

考虑 一 个 有 INSERT, DELETE 和 SEARCH 操作 的 持久 集合 S， 我 们 使 用 如 图 13-8(a) 
所 示 的 二 叉 搜索 树 来 实现 。 对 集合 的 每 一 个 版 本 都 维护 一 个 不 同 的 根 。 为 了 将 关键 字 5 插入 
到 集合 中 ， 创 建 一 个 具有 关键 字 5 的 新 结 点 。 该 结 点 成 为 具有 关键 字 7 的 新 结 点 的 左 孩子 ， 
因为 我 们 不 能 更 改 具有 关键 字 7 的 已 存在 结 点 。 类 似 地 ， 具 有 关键 字 7 的 新 结 点 成 为 具有 关 
键 字 8 的 新 结 点 的 左 孩 子 ， 后 者 的 右 孩 子 为 具有 关键 字 10 的 已 存在 结 点 。 关 键 字 为 8 的 新 
结 点 又 成 为 关键 字 为 4 的 新 根 结 点 ~ 的 右 孩 子 ， 而 ” 的 左 孩 子 是 关键 字 为 3 的 已 存在 结 
点 。 这 样 ， 我 们 只 





图 13-8 (a) 包 含 关键 字 2、3、4、7、8、10 的 一 棵 二 又 搜索 树 。(b) 插 入 关键 字 5 后 得 
到 的 持久 二 又 搜索 树 。 该 集合 的 最 新 版 本 包括 由 根 x 出 发 可 到 达 的 结 点 ， 而 前 
一 个 版 本 包括 由 根 r 可 到 达 的 结 点 。 深 阴影 的 结 点 是 插入 关键 字 5 时 增加 的 


假设 树 中 每 个 结 点 都 有 属性 key, left 和 right， 但 没有 属性 parent, (E NRJ 

13. 3-6.) 

a. 对 于 一 棵 一 般 的 持久 二 又 搜索 树 ， 为 插 人 一 个 关键 字 & 或 删除 一 个 结 点 >y， 需 要 改变 哪 
HOES EX o 

b. 请 写 出 一 个 过 程 PERSISTENT-TREE-INSERT， 使 得 在 给 定 一 棵 持久 树 工 和 一 个 要 择 
人 的 关键 字 k 时 ， 它 返回 将 插入 工 后 得 到 的 新 的 持久 树 T. 

ec 如 果 持 久 二 又 搜索 树 工 的 高 度 为 h， 实 现 PERSISTENT-TREE-INSERT 过 程 的 时 间 和 
空间 需求 分 别 是 多 少 ? (空间 需求 与 新 分 配 的 结 点 数 成 正比 。) 

d. 假设 在 每 个 结 点 中 增加 一 个 父 结 点 属性 。 这 种 情况 下 ，PERSISTENT-TREE-INSERT 
需要 做 一 些 额外 的 复制 工作 。 证 明 : PERSISTENT-TREE-INSERT 的 时 间 和 需求 和 空间 
需求 为 O(n), Rn 为 树 中 的 结 点 个 数 。 

e 说 明 如 何 利用 红 黑 树 来 保证 每 次 插入 或 删除 的 最 坏 情 况 运行 时 间 和 空间 为 OU gn) 。 

( 红 黑 树 上 的 连接 操作 ) 连接 (join) 操 作 取 两 个 动态 集合 Ss 、S。 和 一 个 元 素 zx， 使 得 对 任 

何 MES, 和 Zz; ES, 有 Tı. key<x. key Sz. key. 该 操作 返回 一 个 集合 S=S, U{z}U So 。 

在 这 个 问题 中 ， 讨 论 如 何在 红 黑 树 上 实现 连接 操作 。 

a. 给 定 一 棵 红 黑 树 工 ， 其 黑 高 被 存放 在 新 属性 T. bh H. WHR: 在 不 需要 树 中 结 点 的 额外 
存储 空间 和 不 增加 渐 近 运行 时 间 的 前 提 下 ，RB-INSERT 和 RB-DELETE 可 以 维护 这 个 
属性 。 并 证 明 : 当 沿 工 下 降 时 ， 可 以 对 每 个 被 访问 的 结 点 在 OC(1) 时 间 内 确定 其 黑 高 。 

要 求实 现 操作 RB-JOIN(T:, xz, T), EHR T, A T: 并 返回 一 棵 红 黑 树 T=T, U 

{x} UT, o 设 n 为 T: 和 T: 中 的 结 点 总 数 。 
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b. 假设 Ty. bh 宇 Ti. bh。 试 描述 一 个 Ol(gn) 时 间 的 算法 ， 使 之 能 从 黑 高 为 Tr. bh 的 结 点 中 
选 出 具有 最 大 关键 字 的 中 的 黑 结 点 y。 

c. RT, 是 以 y 为 根 结 点 的 子 树 。 试 说 明 如 何在 不 破坏 二 又 搜索 树 性 质 的 前 提 下 ， 在 OC) 
时 间 内 用 T, {2} UT, BR T,. 

d. 要 保持 红 黑 性 质 1、3 和 5， 应 将 z 着 成 什么 颜色 ? 试 说 明 如 何在 Ol(lgn) 时 间 内 维护 性 
质 2 和 性 质 4。 

e 论证 使 用 (b) 部 分 的 假设 是 不 失 一 般 性 的 ， 并 描述 当 工 . OAT, bh 时 所 出 现 的 对 称 情况 。 

f. 证 明 ，RB-JOIN 的 运行 时 间 是 Ogn). 

(AVL #t) AVL 树 是 一 种 高 度 平衡 的 (height balanced) 二 又 搜索 树 : 对 每 一 个 结 点 zx，z 的 

左 子 树 与 右 子 树 的 高 度 差 至 多 为 1。 要 实现 一 棵 AVL 树 ， 需 要 在 每 个 结 点 内 维护 一 个 额外 

的 属性 ，z.h 为 结 点 z 的 高 度 。 与 任何 其 他 的 二 叉 搜索 树 一样， 假设 T. root 指向 根 结 点 。 

a. 证 明 : 一 棵 及 个 结 点 的 AVL 树 高 度 为 Ol(lgn)。( 提 示 ; 证 明 高 度 为 h 的 AVL 树 至 少 
A F, 个 结 点 ， 其 中 F, 是 斐 波 那 契 数列 的 第 h TR.) 

b. 要 在 一 棵 AVL 树 中 插入 一 个 结 点 ， 首 先 以 二 又 搜 索 树 的 顺序 把 该 结 点 放 在 适当 的 位 置 
上 。 此 时 ， 这 棵 树 可 能 就 不 再 是 高 度 平衡 的 。 具 体 来 说 ， 某 些 结 点 的 左 子 树 与 右 子 树 的 
高 度 差 可 能 会 到 2。 请 描述 一 个 过 程 BALANCE(z), 输入 一 棵 以 zz 为 根 的 子 树 ， 其 左 子 
树 与 右 子 树 都 是 高 度 平衡 的 ， 而 且 它 们 的 高 度 差 至 多 是 2， 即 x. right. h 一 xz. left.h|<2, 
并 将 这 棵 以 xz 为 根 的 子 树 转 变 为 高 度 平衡 的 。( 提 示 : 使 用 旋转 。) 

c. 利用 (b) 来 描述 一 个 递归 过 程 AVL-INSERT(z，z)， 该 操作 输入 一 个 AVL 树 中 的 结 点 
工 以 及 一 个 新 创建 的 结 点 (其 关键 字 已 经 填 人 )， 然 后 将 z 添加 到 以 zz 为 根 的 子 树 中 ， 
并 保持 zx 是 一 棵 AVL 树 的 根 结 点 。 和 12. 3 节 中 的 TREE-INSERT 一 样 ， 假 设 z. key B 
BARWA, Hz left 二 NIL，z. right 二 NIL; 再 假设 z.h 二 0。 因 此 要 把 结 点 z 插入 到 
AVL 醋 中 ， 需 要 调用 AVL-INSERTCT. root, z). 

d. WEAR: 在 一 棵 ”个 结 点 的 AVL 树 上 AVL-INSERT 操作 需 花费 O(lgn) 时 间 ， 且 执行 
O(1) 次 旋转 。 

(treap 树 ) ”如果 将 一 个 含 ”个 元 素 的 集合 择 和 人 到 一 棵 二 又 搜索 树 中 ， 所 得 到 的 树 可 能 会 

相当 不 平衡 ， 从 而 导致 查找 时 间 很 长 。 然 而 从 12.4 节 可 知 ， 随 机 构造 二 又 搜索 树 是 趋向 

于 平衡 的 。 因 此 ， 一 般 来 说 ， 要 为 一 组 固定 的 元 素 建立 一 棵 平衡 树 ， H 种 策略 

就 是 先 随机 排列 这 些 元 素 ， 然 后 按照 排列 的 顺序 将 ET 

它们 插入 到 树 中 。 

如 果 没 法 同时 得 到 所 有 的 元 素 ， 应 该 怎样 处 理 Bi 

呢 ? 如 果 一 次 收 到 一 个 元 素 ， 是 否 仍然 能 用 它们 来 ok | 

随机 建立 一 棵 二 又 搜索 树 ? 

我 们 将 通过 考察 一 个 数据 结构 来 正面 回答 这 个 
问题 。 一 棵 treap 树 是 一 棵 更 改 了 结 点 排序 方式 的 二 





图 13-9 一 棵 treap 树 。 每 个 结 点 x 


又 搜索 树 。 图 13-9 显示 了 一 个 例子 。 通 常 ， 树 内 的 都 用 x. key: r. priority 来 
每 个 结 点 x 都 有 一 个 关键 字 值 x. eey。 另 外 ， 还 要 为 标记 。 例 如 ， 根 结 点 的 关 
每 个 结 点 指定 x. priority， 它 是 一 个 独立 选取 的 随机 键 字 是 G， 优 先 级 为 4 


数 。 假设 所 有 的 优先 级 都 是 不 同 的 ， 而 且 所 有 的 关键 字 也 是 不 同 的 。treap 树 的 结 点 被 排 
列 成 让 关键 字 遵 循 二 又 搜索 树 的 性 质 ， 且 优先 级 遵循 最 小 堆 顺 序 性 质 : 

。 WR vu 的 左 孩子 ， 则 v. key<u. key. 

。 如 果 w 是 的 右 孩 子 ， 则 v. key>u key. 
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。 WR vu 的 孩子 ， 则 vw priority>u. priority, 
(这 两 个 性 质 的 结合 就 是 这 种 树 被 称 为 “treap” 树 的 原因 : 它 同时 具有 二 又 搜 索 树 和 堆 的 
特征 。) 
用 以 下 方式 考虑 treap 树 是 会 有 帮助 的 。 假 设 将 已 有 相应 关键 字 的 结 点 zi ，zz ，…， 
Xn 插入 到 一 棵 treap 树 内 。 得 到 的 treap 树 是 通过 将 这 些 结 点 以 它们 的 优先 级 (随机 选取 
的 ) 顺 序 插入 一 棵 正常 的 二 叉 搜 索 树 形成 的 ， 即 x. priority<2;. priority HAR x; Æx; 之 前 
被 插入 。 
a 证 明 ; 给 定 一 个 已 有 相应 关键 字 和 优先 级 ( 互 异 ) 的 结 点 xz1，zxs;，…，zx 组 成 的 集合 ， 
存在 唯一 的 一 棵 treap 树 与 这 些 结 点 相关 联 。 
b. WEAR: treap 树 的 期 望 高 度 是 @(lgn)， 因 此 在 treap 内 查找 一 个 值 所 花 的 时 间 为 @(lgn)。 
让 我 们 看 看 如 何 将 一 个 新 的 结 点 插入 到 一 个 已 存在 的 treap 树 中 。 要 做 的 第 一 件 事 就 是 
> 将 一 个 随机 的 优先 级 赋予 这 个 新 结 点 。 然 后 调用 称 为 TREAT-INSERT 的 插入 算法 ， 其 
seks 操作 如 图 13-10 所 示 
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图 13-10 TREAP-INSERT 操作 。(a) 在 插 人 之 前 的 原 treap 树 。(b) 插 入 一 个 关键 字 为 C、 优 先 级 为 25 的 
结 点 之 后 的 treap 树 。(c) 一 (d) 揪 和 人 一 个 关键 字 为 D, HIRAI 的 结 点 时 的 中 间 阶 段 。(e) 在 
335 (c 和 (d) 的 插入 完成 后 的 treap 树 。(D 在 插入 一 个 关键 字 为 下、 优先 级 为 2 的 结 点 后 的 treap 树 


c. 解释 TREAP-INSERT 是 如 何 工作 的 。 说 明 其 思想 并 给 出 伪 代 码 。( 提 示 : 执行 通常 的 
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二 又 搜索 树 插 和 过程， 然后 做 旋转 来 恢复 最 小 堆 硕 序 的 性 质 。) 
d. 证 明 : TREAP-INSERT 的 期 望 运 行 时 间 是 @(lgn)。 
TREAP-INSERT 先 执行 一 个 查找 ， 然 后 做 一 系列 旋转 。 虽 然 这 两 种 操作 的 期 望 运行 
时 间 相 同 ， 但 它们 的 实际 代价 不 同 。 查 找 操作 从 treap 树 中 读 取 信息 而 不 做 修改 。 相 反 ， 
旋转 操作 会 改变 treap 树 内 的 父 结 点 和 子 结 点 的 指针 。 在 大 部 分 的 计算 机 上 ， 读 取 操 作 要 
比 写 和 操作 快 很 多 。 所 以 我 们 希望 TREAP-INSERT 执行 少量 的 旋转 。 后 面 将 说 明 所 执行 
旋转 的 期 望 次 数 有 一 个 常数 界 。 

为 此 ， 需 要 做 一 些 定义 ， 如 图 13-11 所 示 。 一 棵 二 叉 搜索 树 T MABE Cleft spine) Æ 
从 根 结 点 到 有 最 小 关键 字 的 结 点 的 简单 路 径 。 换 名 话说 ， 左 肴 柱 是 从 根 结 点 开始 只 包含 左 
边缘 的 简单 路 径 。 对 称 地 ， 工 的 右 背 柱 (right spine) 是 从 根 结 点 开始 只 包含 右边 缘 的 简单 
路 径 。 一 条 疹 柱 的 长 度 是 它 包含 的 结 点 数目 。 


ay 








图 13-11 —RONWRMHOE. ZAC PARR, HEREDO wR 
e. 考虑 利用 TREAP-INSERT HAL x GH) treap T。 设 C 为 z 左 子 树 的 右 兰 柱 的 长 度 ，D 


为 z 右 子 树 的 左 峭 柱 的 长 度 。 证 明 : 在 插入 xz 期间 所 执行 的 旋转 的 总 次 数 等 于 C+D, 
现在 来 计算 CAD 的 期 望 值 。 不 失 一 般 性 ,假设 关键 字 为 1，2，…，n， 因 为 只 是 将 它 
们 两 两 比较 。 
对 treap 工 中 的 结 点 z My, HH yAr, Mhz. key 以 及 i 二 y. Rey。 定 义 指示 器 随机 
变量 
| Xi 二 I{y 在 xz 的 左 子 树 的 右 养 柱 中 )} 
f. 证明， X,=14H(°%4 y. priority>x. priority, y. key<z. key 成 立 ， 且 对 于 每 个 满足 
y. Rey<z. heya. key Wz, #4 y. priority<z. priority, 


£- MEB: 

| ee ae 1 

| Aa Geet aa 
h. 证 明 : 


E kl 1 下 二 本 ii: 
ELC] = 2 FD =} k 
i 利用 对 称 性 证 明 . 
: 加 1 
| ELD] = 1-744 
j 得 出 如 下 结论 ， 当 在 一 棵 treap 树 中 插入 一 个 结 点 时 ， 执 行 旋转 的 期 望 次 数 小 于 2。 
本 章 注 记 


使 搜索 树 平衡 的 想法 源 自 Adel’son-Vel’skif 和 Landis[2]， 他 们 在 1962 年 提出 了 一 类 称 为 
“AVL 树 ”的 平衡 搜索 树 ， 如 思考 题 13-3 所 述 。 另 外 一 类 称 为 “2-3 树 ” 的 搜索 树 是 由 
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J. E. Hopcroft 在 1970 年 提出 的 (未 发 表 )。2-3 树 是 通过 操纵 结 点 的 度数 来 维持 平衡 的 。Bayer 和 
MecCreightL35] 提 出 了 一 种 2-3 树 的 推广 ， 称 为 B 树 ， 有 关内 容 将 在 第 18 章 中 介绍 。 
红 黑 树 是 由 BayerL34j] 以 “对 称 的 二 又 B 树 ”的 名 字 发 明 的 。Guibas 和 SedgewickL155 仔细 研 
究 了 它们 的 性 质 ， 并 引入 了 红 / 黑 着 色 的 有 关 约 定 。Andersson[15] 提 出 了 一 种 代码 更 简单 些 的 红 
337) ” 黑 树 变种 。Weiss[351] 把 这 种 变种 称 为 AA 树 。AA 树 和 红 黑 树 类 似 ， 只 是 左边 的 孩子 永远 不 能 
为 红色 。 | 
思考 题 13-4 中 的 treap 树 是 由 Seidel 和 Aragon[L309] 提 出 的 。 它 们 是 LEDAL253j] 内 字典 的 默 
认 实 现 ，LEDA 是 一 组 精心 实现 的 数据 结构 和 算法 。 
平衡 二 叉 树 还 有 很 多 其 他 的 变种 ， 包 括 带 权 平 衡 树 L264]、k 近邻 树 L245]， 以 及 蔡 罪 羊 树 
[127]。 或 许 其 中 最 有 趣 的 要 数 Sleator A Tarjan 320j] 提 出 的 “伸展 树 ”， 它 可 以 “自我 调整 "。( 参 
见 TarjanL330]， 该 文 给 出 了 有 关 伸 展 树 的 详细 描述 。) 伸 展 树 不 需要 明确 的 平衡 条 件 ( 如 颜色 ) 来 
维持 平衡 。 替 代 的 是 ， 每 次 存 取 时 “伸展 操作 ”( 涉 及 旋转 ) 在 树 内 执行 。 在 一 棵 有 7 个 结 点 的 树 上 
每 个 操作 的 挫 还 代价 是 O(lgn) (参见 第 17 章 )。 
跳 表 [286] 是 另 一 种 平衡 的 二 又 树 。 跳 表 是 扩充 了 一 些 额 外 指针 的 链表 。 在 一 个 包含 ”个 元 
素 的 跳 表 上 ， 每 一 种 字典 操作 都 在 OC(lgn) 期 望 时 间 内 执行 。 
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数据 结构 的 扩张 


一 些 工 程 应 用 需要 的 只 是 一 些 “ 教 科 书 ” 中 的 标准 数据 结构 ， 比 如 双 链 表 、 散 列表 或 二 又 搜索 
树 等 ， 然 而 也 有 许多 其 他 的 应 用 需要 对 现 有 数据 结构 进行 少许 地 创新 和 改造 ， 但 是 只 在 很 少 情 
况 下 需要 创造 出 一 类 全 新 类 型 的 数据 结构 。 更 经 常 的 是 ， 通 过 存储 额外 信息 的 方法 来 扩张 一 种 
标准 的 数据 结构 ， 然 后 对 这 种 数据 结构 ， 编 写 新 的 操作 来 支持 所 需要 的 应 用 。 然 而 对 数据 结构 的 
扩张 并 不 总 是 简单 直接 的 ， 因 为 添加 的 信息 必须 要 能 被 该 数据 结构 上 的 常规 操作 更 新 和 维护 。 
本 章 讨论 通过 扩张 红 黑 树 构造 出 的 两 种 数据 结构 。14. 1 节 介绍 一 种 支持 一 般 动态 集合 上 上 顺 
序 统 计 操作 的 数据 结构 。 通 过 这 种 数据 结构 ， 我 们 可 以 快速 地 找到 一 个 集合 中 的 第 i 小 的 数 ， 或 
给 出 一 个 指定 元 素 在 集合 的 全 序 中 的 位 置 。14. 2 节 抽 象 出 数据 结构 的 扩张 过 程 ， 并 给 出 一 个 简 
化 红 黑 树 扩 张 的 定理 。14. 3 节 使 用 这 个 定理 来 设计 一 种 用 于 维护 由 区 间 ( 如 时 间 区 间 ) 构 成 的 动 
态 集合 的 数据 结构 。 给 定 一 个 要 查询 的 区 间 ， 我 们 能 快速 地 找到 集合 中 一 个 能 与 其 重要 的 区 间 。 


14. 1 动态 顺序 统计 


第 9 章 中 介绍 了 顺序 统计 的 概念 。n 个 元 素 集合 中 的 第 :GE {1，2，…，n)) 个 顺序 统计 量 就 
是 简单 地 规定 为 该 集合 中 的 具有 第 i 小 关键 字 的 元 素 。 对 于 一 个 无 序 的 集合 ， 我 们 知道 能 够 在 OCn) 
的 时 间 内 确定 任何 的 顺序 统计 量 。 本 市 将 介绍 如 何 修改 红 黑 树 ， 使 得 可 以 在 Cllgn) 时 间 内 确定 任何 的 
顺序 统计 量 。 我 们 还 将 看 到 如 何在 OClgn?) 时 间 内 计算 一 个 元 素 的 秩 ， 即 它 在 集合 线性 序 中 的 位 置 。 

图 14-1 显示 了 一 种 支持 快速 顺序 统计 操作 的 数据 结构 。 顺 序 统计 树 (order-statistic tree) T R 
是 简单 地 在 每 个 结 点 上 存储 附加 信息 的 一 棵 红 黑 树 。 在 红 黑 树 的 结 点 z 中 ， 除 了 通常 属性 
x. key, x.color, x. p, x. left 和 x.right 之 外 ， 还 包括 另 一 个 属性 zx. size。 这 个 属性 包含 了 以 工 
为 根 的 子 树 ( 包 括 zx 本 身 ) 的 (内 ) 结 点 数 ， 即 这 棵 子 树 的 大 小 。 如 果 定 义 哨兵 的 大 小 为 0， 也 就 是 
RE T. nil. size 为 0， 则 有 等 式 : 


x. size = x. left. size + x. right. size + 1 











图 14-1 一 棵 顺序 统计 树 ， 它 是 一 棵 扩张 的 红 黑 树 。 浅 阴影 结 点 为 红色 ， 深 阴影 结 点 为 黑 
色 。 除 了 通常 的 红 黑 树 所 具有 的 属性 外 ， 每 个 结 点 工 还 具有 属性 z. size, BIW xA 
根 的 子 树 ( 除 哨兵 外 ) 的 结 点 个 数 


在 一 棵 顺序 统计 树 中 ， 我 们 并 不 要 求 关键 字 各 不 相同 。( 例 如 ， 图 14-1 中 的 树 就 包含 了 两 个 什 
为 14 的 关键 字 和 两 个 值 为 21 的 关键 字 。) 在 有 相等 关键 字 的 情况 下 ， 前 面 秩 的 定义 便 不 再 适合 。 为 
此 ， 我 们 通过 定义 一 个 元 素 的 秩 为 在 中 序 遍 历 树 时 输出 的 位 置 ， 来 消除 原 顺序 统计 树 定义 的 不 确定 
性 。 如 图 14-1 所 示 ， 存 储 在 黑色 结 点 的 关键 字 14 的 秩 为 5， 存储 在 红色 结 点 的 关键 字 14 的 秩 为 6。 

查找 具有 给 定 秩 的 元 素 

在 说 明 插入 和 删除 过 程 中 如 何 维护 size 信息 之 前 ， 我 们 先 来 讨论 利用 这 个 附加 信息 来 实现 
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的 两 个 顺序 统计 查询 。 首 先 一 个 操作 是 对 具有 给 定 秩 的 元 素 的 检索 。 过 程 OS-SELECT(zx, i)ik 
回 一 个 指针 ， 其 指 癌 以 z 为 根 的 子 树 中 包含 第 ; 小 关键 字 的 结 点 。 为 找 出 顺序 统计 树 工 中 的 第 i 
340) “小 关键 字 ， 我 们 调用 过 程 OS-SELECTCT. root, i), 
OS-SELECT (z, i) 
l r= z. left. size +1 
2 ifi ==r 
3 return z 
4 elseifi< r 
5 return OS-SELECT (z. left,i) 
6 else return OS-SSELECT (z. right,i—r) 


OS-SELECT WR 1 THRA r ARP Pa 2 Rr. x. left. size 的 值 是 对 以 z 为 根 的 子 
树 进行 中 序 遍 历 后 排 在 zx CRT. At, x. left. size 十 1 就 是 以 z 为 根 的 子 树 中 结 点 W 
秩 。 如 果 渤 ”， 那 么 结 氮 工 就 是 第 ;小 元 素 ， 这 样 第 3 行 返回 xz。 如果 <， 那么 第 i 小 元 素 在 zz 的 
左 子 树 中 ， 因 此 在 第 5 行 中 对 xz. left 进行 递归 调用 。 如 果 之， 那么 第 ;小 元 素 在 工 的 右 子 树 中 。 因 
为 在 对 以 z 为 根 的 子 树 进行 中 序 遍 历时 ， 共 有 个 元 素 排 在 的 右 子 树 之 前 ， 故 在 以 zz 为 根 的 子 树 中 
第 ; 小 元 素 就 是 以 工 right 为 根 的 子 树 中 第 (; 一 站 小 元 素 。 第 6 行 通过 递归 调用 来 确定 这 个 元 素 。 

为 明日 OS-SELECT 是 如 何 操作 的 ， 考 察 在 图 14-1 所 示 的 顺序 统计 树 上 查找 第 17 小 元 素 的 查 
找 过 程 。 以 z 为 根 开始 ， 其 关键 字 为 26，;i 一 17。 因 为 26 的 左 子 树 的 大 小 为 12， 故 它 的 秩 为 13. 
因此 ， 秩 为 17 的 结 点 是 26 的 右 子 树 中 第 17 一 13 三 4 小 的 元 素 。 递 归 调 用 后 ，z 为 关键 字 41 的 结 
Ao 7=4, AN 41 的 左 子 树 大 小 为 5， 故 它 的 秩 为 6。 这 样 ， 可 以 知道 秩 为 4 的 结 点 是 41 的 左 子 
树 中 第 4 小 元 素 。 再 次 递归 调用 后 ，z AREF 30 的 结 点 ， 在 其 子 树 中 它 的 秩 为 2。 如 此 ， 再 进行 
一 次 递归 调用 ， 就 能 找到 以 关键 字 38 的 结 点 为 根 的 子 树 中 第 4 一 2 三 2 小 的 元 素 。 它 的 左 子 树 大 小 
为 1， 这 意味 着 它 就 是 第 2 小 元 素 。 最 终 ， 该 过 程 返回 一 个 指向 关键 字 为 38 的 结 点 的 指针 。 

因为 每 次 递归 调用 都 在 顺序 统计 树 中 下 降 一 层 ，OS-SELECT 的 总 时 间 最 差 与 树 的 高 度 成 正 
比 。 又 因为 该 树 是 一 棵 红 黑 树 ， 其 高 度 为 Ol(lgn)， 其 中 为 数 的 结 点 数 。 所 以 ， 对 于 nn 个 元 素 的 
动态 集合 ，OS-SELECT 的 运行 时 间 为 Ogn). 

确定 一 个 元 素 的 秩 

给 定 指 向 顺序 统计 树 工 中 结 点 工 的 指针 ， 过 程 OS-RANK 返回 对 工 中 序 遍 历 对 应 的 线性 序 

P r 的 位 置 。 

OS-RANK(T, x) 

1 r= zx. left. sizet1 

2 y= 

3 while y Æ T. root 

4 if y == y. p. right 

5 r= r + y. p. left. sizet1 

6 y= yp 

7 retumr 


这 个 过 程 工作 如 下 。 我 们 可 以 认为 z 的 秩 是 中 序 遍 历次 序 排 在 z 之 前 的 结 点 数 再 加 上 1( 代 
表 工 自身 ) OSRANK 保持 了 以 下 的 循环 不 变 式 : 

第 3 一 6 FF while 循环 的 每 次 迭代 开始 ，r 为 以 结 点 y 为 根 的 子 树 中 z. key HK. 

下 面 使 用 这 个 循环 不 变 式 来 说 明 OS-RANK 能 正确 地 工作 。 

初始 化 ， 第 一 次 迭代 之 前 ， 第 1 行 置 > 为 以 z 为 根 的 子 树 中 zz. key 的 秩 。 第 2 行 置 y 一 z， 使 
得 首次 执行 第 3 行 中 的 测试 时 ， 循 环 不 变 式 为 真 。 
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保持 : 在 每 一 次 while 循环 迭代 的 最 后 ， 都 要 置 y= 二 y. p。 这 样 ， 我 们 必须 要 证 明 ， 如 果 > 是 
在 循环 体 开 始 处 以 y 为 根 的 子 树 中 z. key 的 秩 ， 那 么 > 是 在 循环 体 结尾 处 以 y. zp 为 根 的 子 树 中 
x. key 的 秩 。 在 while 循环 的 每 次 迭代 中 ， 考 虑 以 y. p 为 根 的 子 树 。 我 们 对 以 结 点 y 为 根 的 子 树 
已 经 计数 了 i 以 中 序 遍 历次 序 先 于 xz 的 结 点 个 数 ， 故 要 加 上 以 y 的 兄弟 结 点 为 根 的 子 树 以 中 序 遍 历 
次 序 先 于 z 的 结 点 数 ， 如 果 y p 也 先 于 x， 则 该 计数 还 要 加 1。 如 果 y 是 左 孩 子 ，y.p 和 y.p 的 
右 子 树 中 的 所 有 结 点 都 不 会 先 于 x，r 保 持 不 变 ; 否则 ，y 是 右 孩 子 ， 并且 y. pp 和 y.p 左 子 树 中 
的 所 有 结 点 都 先 于 x， 于 是 在 第 5 行 中 ， 将 当前 的 > 值 再 加 上 y. p. left. size 十 1。 

ik: 4y=T. root 时， 循环 终止 ， 此 时 以 > 为 根 的 子 树 是 一 棵 完整 树 。 因 此 ，r 的 值 就 是 
这 棵 完整 树 中 x. key WR. 

作为 一 个 例子 ， 当 我 们 在 图 14-1 的 顺序 统计 树 上 运行 OS-RANK， 以 确定 关键 字 为 38 的 结 
点 的 秩 时 ， 在 while 循环 的 开始 处 ，y key Mr 的 一 系列 值 如 下 : 


we 代 y. Rey 
| 38 
30 
4] 
26 17 


Ae U N e 
> A NISN 


该 过 程 返回 的 秩 为 17。 

因为 while 循环 的 每 次 迭代 耗费 O(1) 时 间 ， 且 y 在 每 次 迭代 中 沿 树 上 升 一 层 ， 所 以 最 坏 情况 
下 OS-RANK 的 运行 时 间 与 树 的 高 度 成 正比 : 在 2 个 结 点 的 顺序 统计 树 上 为 O(lgz)。 

对 子 树 规模 的 维护 

给 定 每 个 结 点 的 sive 属性 后 ，OS-SELECT 和 OS-RANK 能 迅速 计算 出 所 需 的 顺序 统计 信息 。 
然而 除非 能 用 红 黑 树 上 经 过 修改 的 基本 操作 对 size 属性 加 以 有 效 的 维护 ， 否 则 ， 我 们 的 工作 将 变 
得 没 意 义 。 下 面 就 来 说 明 在 不 影响 插入 和 删除 操作 的 渐 近 运行 时 间 的 前 提 下 ， 如 何 维护 子 树 规模 。 

由 13. 3 节 可 知 ， 红 黑 树 上 的 插入 操作 包括 两 个 阶段 。 第 一 阶段 从 根 开 始 沿 树 下 降 ， 将 新 结 点 
插入 作为 某 个 已 有 结 点 的 孩子 。 第 二 阶段 沿 树 上 升 ， ns eee ae 

在 第 一 阶段 中 为 了 维护 子 树 的 规模 ， 对 由 根 至 叶子 的 路 径 上 遍历 的 每 一 个 结 点 z， 都 增加 
x. size 属性 。 新 增加 结 点 的 size 为 1。 由 于 一 条 遍历 的 路 径 上 共有 a. 故 维护 size 属 
性 的 额外 代价 为 Olgn)。 

在 第 二 阶段 ， 对 红 黑 树 结 构 上 的 改变 仅仅 是 由 旋转 所 致 ， 旋 转 次 数 至 多 为 2。 此外， 旋转 是 
一 种 局 部 操作 : 它 仅 会 使 两 个 结 点 的 size 属性 失效 ， 而 围绕 旋转 操作 的 链 就 是 与 这 两 个 结 点 关 
联 。 参 照 13. 2 节 的 LEFT-ROTATE(T，x) 代 码 ， 增 加 下 面 两 行 


13 y. size = x. size 


14 x size = z. left. sizet+ x. right. size+1 


图 14-2 说 明了 size 属性 是 如 何 被 更 新 的 。 对 RIGHT-ROTATE 做 相应 的 改动 。 





， 图 14-2 在 旋转 过 程 中 修改 子 树 的 大 小 。 与 围绕 旋转 的 链 相 关联 的 两 个 结 
| 点 ， 它 们 的 size 属性 要 更 新 。 这 些 更 新 是 局 部 的 ， 仅 需要 存储 在 z 
Al y 中 的 size 信息 ， 以 及 图 中 三 角形 子 树 的 根 中 的 size 信息 
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因为 在 红 黑 树 的 插 人 过 程 中 至 多 进行 两 次 旋转 ， 所 以 在 第 二 阶段 更 新 size 属性 只 和 需要 OC) 
的 额外 时 间 。 因 此 ， 对 一 棵 有 2 个 结 点 的 顺序 统计 树 插 和 人 元 素 所 需要 的 总 时 间 为 O(lgz) ， 从 渐 
近 意 义 上 看 ， 这 与 一 般 的 红 黑 树 是 一 样 的 。 

红 黑 树 上 的 删除 操作 也 包括 两 个 阶段 ， 第 一 阶段 对 搜索 树 进行 操作 ， 第 二 阶段 做 至 多 三 次 
旋转 ， 其 他 对 结构 没有 任何 影响 ( 见 13. 4 节 )。 第 一 阶段 中 ， 要 么 将 结 点 y 从 树 中 删除 ， 要 么 将 
它 在 树 中 上 移 。 为 了 更 新 子 树 的 规模 ， 我 们 只 需要 遍历 一 条 由 结 点 y( 从 它 在 树 中 的 原始 位 置 开 
始 ) 至 根 的 简单 路 径 ， 并 减少 路 径 上 每 个 结 点 的 size 属性 的 值 。 因 为 在 nn 个 结 点 的 红 黑 树 中 ， 这 
样 一 条 路 径 的 长 度 为 Ol(lgn)， 所 以 第 一 阶段 维护 size 属性 所 耗费 的 额外 时 间 为 Ol(lgn)。 第 二 阶 
段 采 用 与 插 人 相同 的 方式 来 处 理 删 除 操作 中 的 O(1) 次 旋转 。 所 以 对 有 个 结 点 的 顺序 统计 树 进 
行 插 人 与 删除 操作 ， 包 括 维护 size 属性 ， 都 只 需要 O(lgz) 的 时 间 。 


练习 


14. 1-1 对 于 图 14-1 中 的 红 黑 树 AAT OS-SELECT(T. root，10) 的 过 程 。 

14. 1-2 对 于 图 14-1 FHARR T AREF r. key 为 35 的 结 点 zx， 说 明 执 行 OSRANK(T, zx) 
的 过 程 。 

14.1-3 Sit} OSSELECT 的 非 递归 版 本 。 

14. 1-4 写 出 一 个 递归 过 程 OS-KEY-RANK(T, &)， 以 一 棵 顺序 统计 树 工 和 一 个 关键 字 作为 
输入 ， 要 求 返 回 在 由 工 表 示 的 动态 集合 中 的 秩 。 假 设 本 的 所 有 关键 字 都 不 相同 。 

14.1-5 Be nn 个 元 素 的 顺序 统计 树 中 的 一 个 元 素 x 和 一 个 自然 数 1， 如 何在 Ol(lgn) 的 时 间 内 确 
E z 在 该 树 线性 序 中 的 第 ; 个 后 继 ? 

14. 1-6 ”在 OSSELECT 5% OS-RANK 中 ， 注 意 到 无 论 什 么 时 候 引 用 结 点 的 size 属性 都 是 为 了 计 
算 一 个 秩 。 相 应 地 ， 假 设 每 个 结 点 都 存储 它 在 以 自己 为 根 的 子 树 中 的 秩 。 斌 说明 在 插入 
和 删除 时 ， 如 何 维护 这 个 信息 。( 注 意 ， 这 两 种 操作 都 可 能 引起 旋转 。) 

14. 1-7 说 明 如 何在 O(nlgn) 时 间 内 ， 利 用 顺序 统计 树 对 大 小 为 n 的 数组 中 的 道 序 对 ( 见 思考 题 
2-4) 进 行 计数 。 


*14.1-8 ” 现 有 一 个 贺 上 的 条 弦 ， 每 条 弦 都 由 其 端点 来 定义 。 请 给 出 一 个 能 在 O(nlgn) 时 间 内 确 


定 圆 内 相交 弦 对 数 的 算法 。( 例 如 ， 如 果 条 弦 都 为 直径 ， 它 们 相交 于 圆心 ， 则 正确 的 
答案 为 (”)。) 假 设 任意 两 条 弦 都 不 会 共享 端点 。 


14.2 如何 扩张 数据 结构 


对 基本 的 数据 结构 进行 扩张 以 支持 一 些 附 加 功能 ， 在 算法 设计 过 程 中 是 相当 常见 的 。 在 下 
一 节 中 ， 我 们 将 再 次 通过 对 数据 结构 进行 扩张 ， 来 设计 一 种 支持 区 间 操 作 的 数据 结构 。 本 节 先 来 
介绍 这 种 扩张 过 程 的 步骤 ， 同 时 证 明 一 个 定理 ， 在 许多 情况 下 ， 该 定理 使 得 我 们 可 以 很 容易 地 扩 
张 红 黑 树 。 

扩张 一 种 数据 结构 可 以 分 为 4 个 步 又: 

1. 选择 一 种 基础 数据 结构 。 

2. 确定 基础 数据 结构 中 要 维护 的 附加 信息 。 

3. 检验 基础 数据 结构 上 的 基本 修改 操作 能 否 维护 附加 信息 。 

4. 设计 一 些 新 操作 。 

以 上 仅 作 为 一 个 一 般 模式 ， 读 者 不 应 盲目 地 按照 上 面 给 定 的 次 序 来 执行 这 些 步骤 。 大 多 数 
的 设计 工作 都 包含 试探 和 纠 错 的 成 分 ， 过 程 中 的 所 有 步骤 通常 都 可 以 并 行进 行 。 例 如 ， 如 果 我 们 
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不 能 有 效 地 维护 附加 信息 ， 那 么 确定 附加 信息 以 及 设计 新 的 操作 (步骤 2 和 步 双 4) 就 没有 任何 意 
义 。 然 而 ， 这 个 4 步 法 可 以 使 读者 在 扩张 数据 结构 时 ， 目 标明 确 且 有 条 不 率 。 

在 14. 1 节 设 计 顺 序 统 计 树 时 ， 我 们 就 依照 了 这 4 个 步骤 。 对 于 步骤 1， 选 择 红 黑 树 作 为 基 
础 数据 结构 。 红 黑 树 是 一 种 合适 的 选择 ， 这 源 于 它 能 有 效 地 支持 一 些 基于 全 序 的 动态 集合 操作 ， 
如 MINIMUM, MAXIMUM, SUCCESSOR 和 PREDECESSOR, 

对 于 步骤 2， 添 加 了 size 属性 ， 在 每 个 结 点 z 中 的 size RERET Ar 为 根 的 子 树 的 大 小 。 
一 般 地 ， 附 加 信息 可 使 得 各 种 操作 更 加 有 效 。 例 如 ， 我 们 本 可 以 仅 用 树 中 存储 的 关键 字 来 实现 
OS-SELECT 和 OS-RANK， 但 它们 却 不 能 在 O(lgn) 运 行 时 间 内 完成 。 有 时 候 ， 附 加 信息 是 指针 
类 信息 ， 而 不 是 具体 的 数据 ， 如 练习 14. 2-1。 

对 于 步骤 3， 我 们 保证 了 插入 和 删除 操作 仍 能 在 OC(lgn) 时 间 内 维护 size 属性 。 比 较 理想 的 
是 ， 只 需要 更 新 该 数据 结构 中 的 几 个 元 素 就 可 以 维护 附加 人 信息。 例如， 如果 把 每 个 结 点 的 秩 存 储 
在 树 中 ， 那 么 OS-SELECT 和 OS-RANK 能 够 较 快运 行 ， 但 是 当 插入 一 个 新 的 最 小 元 素 时 ， 会 导 
致 树 中 每 个 结 点 的 秩 发 生变 化 。 如 果 我 们 存储 的 是 子 树 的 大 小 ， 则 插入 一 个 新 的 元 素 时 仅 会 使 
Ollgn) 个 结 点 的 信息 发 生 改 变 。 

对 于 步骤 4， 我 们 设计 了 新 操作 OS-SELECT 和 OS-RANK。 归 根 结 底 ， 一 开始 考虑 去 扩张 
一 个 数据 结构 的 原因 就 是 为 了 满足 新 操作 的 需要 。 然 而 有 时 并 不 是 为 了 设计 一 些 新 操作 ， 而 是 
利用 附加 信息 来 加 速 已 有 的 操作 ， 如 练习 14. 2-1。 

对 红 黑 树 的 扩张 

当红 黑 树 作为 基础 数据 结构 时 ， 可 以 证 明 ， 某 些 类 型 的 附加 信息 总 是 可 以 用 插入 和 删除 操 
作 来 进行 有 效 的 维护 ， 从 而 使 步骤 3 非常 容易 做 到 。 下 面 定 理 的 证 明 与 14. 1 节 用 顺序 统计 树 来 
维护 size 属性 的 论证 类 似 。 

定理 14. 1( 红 黑 树 的 扩张 ) 设 f 是 nn 个 结 点 的 红 黑 树 丁 扩张 的 属性 ， 且 假设 对 任 一 结 点 oz, 
的 值 仅 依赖 于 结 点 x、x. left fox. right 的 信息 ， 还 可 能 包括 x. left. f fox. right. f. RZ, R 
MIT VA LAG A Fo M RER at TE Rf 值 进行 维护 ， 并 且 不 影响 这 两 个 操作 的 
Ollgn) 渐 近 时 间 性 能 。 

证 明 证 明 的 主要 思想 是 ， 对 树 中 某 结 点 xz 的 f 属性 的 变动 只 会 影响 到 zx 的 祖先 。 也 就 是 
说 ， 修 改 zx. f 只 需要 更 新 x. p fo WE xz. p. 了 的 值 只 需要 更 新 xz. p p f， 如 此 沿 树 向 上 。 一旦 
更 新 到 T. root. f/， 就 不 再 有 其 他 任何 结 点 依赖 于 新 值 ， 于 是 过 程 结 束 。 因 为 红 黑 树 的 高 度 为 
Ol(lgn)， 所 以 改变 某 结 点 的 属性 要 耗费 Ol(lgn) 时 间 ， 来 更 新 被 该 修改 所 影响 的 所 有 结 点 。 

一 个 结 点 工 插 人 到 树 工 由 两 个 阶段 构成 ( 见 13. 3 节 )。 第 一 阶段 是 将 z 作为 一 个 已 有 结 点 x p 
的 孩子 被 插入 。z. f 的 值 可 以 在 OC(1) 时 间 内 计算 出 。 因 为 根据 假设 ，zx. f 仅 依赖 于 xz 本 身 的 其 他 
属性 信息 和 并 的 子 结 点 中 的 信息 ， 而 此 时 z 的 子 结 点 都 是 哨兵 T. nil 4 x 了 被 计算 出 时 ， 这 个 变 
化 就 沿 树 向 上 传播 。 这 样 ， 插 入 第 一 阶段 的 全 部 时 间 为 Ol(lgn)。 在 第 二 阶段 期 间 ， 树 结构 的 仅 有 
变动 来 源 于 旋转 操作 。 由 于 在 一 次 旋转 过 程 中 仅 有 两 个 结 点 发 生变 化 ， 所 以 每 次 旋转 更 新 了 属性 
的 全 部 时 间 为 Ol(gn)。 又 因为 插入 操作 中 的 旋转 次 数 至 多 为 2， 所 以 插入 的 总 时 间 为 O(gn)。 

与 插入 操作 类 似 ， 删 除 操作 也 由 两 个 阶段 构成 ( 见 13.4 节 )。 在 第 一 阶段 中 ， 当 被 删除 的 结 
点 从 树 中 移 除 时 ， 树 发 生变 化 。 如 果 被 删除 的 结 点 当时 有 两 个 孩子 ， 那 么 它 的 后 继 移 人 被 删除 结 
点 的 位 置 。 这 些 变化 引起 f 的 更 新 传播 的 代价 至 多 为 O(lgn)， 因 为 这 些 变 化 对 树 的 修改 是 局 部 
的 。 第 二 阶段 对 红 黑 树 的 修复 至 多 需要 三 次 旋转 ， 且 每 次 旋转 至 多 需要 OClgn) 的 时 间 就 可 完成 Sf 
的 更 新 传播 。 因 此 ， 和 插入 一 样 ， 删 除 的 总 时 间 也 是 Ogn. E 

在 很 多 情况 下 ， 比 如 维护 顺序 统计 树 的 size 属性 ， 一 次 旋转 后 更 新 的 代价 为 O(1) ， 而 并 不 
是 定理 14. 1 中 所 给 出 的 O(lgz) 。 练 习 14. 2-3 就 给 出 这 样 的 一 个 例子 。 
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14. 2-1 通过 为 结 点 增加 指针 的 方式 ， 试 说明 如 何在 扩张 的 顺序 统计 树 上 ， 支 持 每 一 动态 集合 查 
询 操 作 MINIMUM, MAXIMUM, SUCCESSOR 和 PREDECESSOR 在 最 坏 时 间 OC) A 
完成 。 顺 序 统计 树 上 的 其 他 操作 的 渐 近 性 能 不 应 受 影响 。 

14.2-2 能 和 否 在 不 影响 红 黑 树 任何 操作 的 渐 近 性 能 的 前 提 下 ， 将 结 点 的 黑 高 作为 树 中 结 点 的 一 个 
属性 来 维护 ? 说 明 如 何 做 ， 如 果 不 能 ， 请 说 明理 由 。 如 何 维护 结 点 的 深度 ? 

*14. 2-3” 设 6 为 一 个 满足 结合 律 的 二 元 运算 符 ，a 为 红 黑 树 中 每 个 结 点 上 的 一 个 要 维护 的 属性 。 假 
设 在 每 个 结 点 x 上 增加 一 个 属性 fo E x. f=. aHa. aKO a, HP t’ ts e, 
Ln 是 以 工 为 根 的 子 树 中 按 中 序 次 序 排列 的 所 有 结 点 。 说 明 在 一 次 旋转 后 ， 如 何在 OC(1) 时 
间 内 更 新 了 属性 。 对 你 的 扩张 稍 做 修改 ， 使 得 它 能 够 应 用 到 顺序 统计 树 的 size 属性 中 。 

x14.2-4 希望 设计 一 个 操作 RB-ENUMERATE(zx，a，5b)， 来 对 红 黑 树 进行 扩张 。 该 操作 输出 所 
有 的 关键 字 《， 使 得 在 以 zz 为 根 的 红 黑 树 中 有 a 三 £5。 描述 如 何在 BCm 十 lgn) 时 间 内 实 
现 RBENUMERATE， 其 中 m 为 输出 的 关键 字数 目 ，z 为 树 中 的 内 部 结 点 数 。( 提 示 : 
不 需要 向 红 黑 树 中 增加 新 的 属性 。) 


14.3 Kap 


在 这 一 节 里 ， 我 们 将 扩张 红 黑 树 来 支持 由 区 间 构 成 的 动态 集合 上 的 一 些 操作 。 闭 区 间 
(closed interval) 2#—*} SRW APR La, 2], HP iSt. KAL, 表示 了 集合 (iER: t< 
Xt }。 开 《open) 区 间 和 半 开 (half-open) 区 间 分 别 略 去 了 集合 的 两 个 或 一 个 端点 。 在 本 证 中， 我 
们 假设 区 间 都 是 闭 的 ， 将 结果 推广 至 开 和 半 开 区 间 上 是 自然 和 直接 的 。 

区 间 便 于 表示 占用 一 连续 时 间 段 的 一 些 事 件 。 例 如 ， 查 询 一 个 由 时 间 区 间 数 据 构成 的 数据 
库 ， 去 找 出 给 定时 间 区 间 内 发 生 了 什么 事件 。 本 节 中 介绍 的 数据 结构 可 用 来 有 效 地 维护 这 样 一 
个 区 间 数 据 库 。 

RATT AAFE— PS Kal Lo, 2 | M—-PhMR i， 其 中 属性 i low=t 为 低 端点 (low 
endpoint), ， 属 性 i. high=t, 为 高 端点 (high endpoint), RIJEKE i M i BBCoverlap), mR 
iN AD, BWR i. low<i’. high Hi’. low<i. high, MA 14-3 所 示 ， 任 何 两 个 区 间 i 满足 
K (8) = 4) (interval trichotomy) ， 即 下 面 三 条 性 质 之 一 成 立 : 

ai 和 i BS, 

b. i Æi 的 左边 (也 就 是 i. high<i’. low). 

ci Ei 的 右边 (也 就 是 i .high<i. low). 





| I | | I | l | | I | 
Ca) 





(b) (c) 


图 14-3 MAAKE iM 的 区 间 三 分 律 。(a) 如 果 ; MBE, LOA PRN, 每 种 情况 都 有 i loai. 
high H č. lowi. high, (b KIA BEA i. high<’. low. (OKARA EZH 7’. high<i. low 


区 间 树 (interval tree) 是 一 种 对 动态 集合 进行 维护 的 红 黑 树 ， 其 中 每 个 元 素 xz 都 包含 一 个 区 
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[A] x. int。 区 间 树 支持 下 列 操 作 : 

INTERVAL-INSERT(T, <x): 将 包含 区 间 属 性 int WICK x 插 人 到 区 间 树 工 中 。 

INTERVAL-DELETE(T, x): MKE T PAREZ x. 

INTERVAL-SEARCH(T, i): 返回 一 个 指向 区 间 树 开 中 元 素 z 的 指针 ,使 xz. in 与 i BB; 
车 此 元 素 不 存在 ， 则 返回 T. nil. 

图 14-4 说 明了 区 间 树 是 如 何 表达 一 个 区 间 集 合 的 。 我 们 将 按照 14. 2 节 中 的 4 步 法 ， 来 分 析 
区 间 树 以 及 区 间 树 上 各 种 操作 的 设计 。 


26 1126 


(a) 


(b) 





图 14-4 ”一 棵 区 间 树 。(a)10 个 区 间 的 集合 ， 它 们 按 左 端点 自 底 向 上 顺序 示 出 。(b) 表 示 它 们 的 区 间 树 。 
每 个 结 点 z+ 包含 一 个 区 间 ， 显 示 在 虚线 的 上 方 ; 一 个 以 z 为 根 的 子 树 中 所 包含 的 区 间 端 点 的 最 
大 值 ， 显 示 在 虚线 的 下 方 。 这 棵 树 的 中 序 遍 历 列 出 按 左 端点 顺序 排列 的 各 个 结 点 


步骤 1: 基础 数据 结构 

我 们 选择 这 样 一 棵 红 黑 树 ， 其 每 个 结 点 x 包含 一 个 区 间 属 性 xz. in, H z 的 关键 字 为 区 间 的 
低 端点 x. int. low。 因 此 ， 该 数据 结构 按 中 序 遍 历 列 出 的 就 是 按 低 端 点 的 次 序 排列 的 各 区 间 。 

步骤 2: 附加 信息 

每 个 结 点 z 中 除了 自身 区 间 信 息 之 外 ， 还 包含 一 个 值 x. maz, CRW z 为 根 的 子 树 中 所 有 
区 间 的 端点 的 最 大 值 。 

步骤 3: 对 信息 的 维护 

我 们 必须 验证 个 结 点 的 区 间 树 上 的 插入 和 删除 操作 能 否 在 OC(lgn) 时 间 内 完成 。 通 过 给 定 
区 间 x. int 和 结 点 xz 的 子 结 点 的 maz 值 ， 可 以 确定 x. max fA: 

x. max = max(z. int. high, x. left. max, x. right. max) 

这 样 ， 根 据 和 定理 14. 1 可知， 插入 和 删除 操作 的 运行 时 间 为 O(lgn)。 事 实 上 ,在 一 次 旋转 
后 ， 更 新 maz 属性 只 知 O(1) 的 时 间 ， 如 练习 14. 2-3 和 练习 14. 3-1 所 示 。 

步骤 4:| 设计 新 的 操作 

这 里 我 们 仅 需 要 唯一 的 一 个 新 操作 INTERVAL-SEARCH(T, i)， 它 是 用 来 找 出 树 TPS i 
区 间 i 重合 的 那个 结 点 。 寿 树 中 与 i 重合 的 结 点 不 存在 ， 则 下 面 过 程 返 回 指 向 哨兵 T. nil 的 
指针 。 | 
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INTERVAL-SEARCH(T, ，,z) 
1 z= T. root 

2 while xT. nil and i does not overlap zx. int 
3 if x. leftAT. nil and =z. left. maxZi. low 
4 x = zx. left 

5 else z = x. right 

6 


return z 


ERS BSH Ks 的 过 程 从 以 z ARH, EF TRR. SRIA—TER KH 
WA rp T. nil 时 过 程 结束 。 由 于 基本 循环 的 每 次 迭代 耗费 OCE, NAA n DAW 
红 黑 树 的 高 度 为 OUgn)， 所 以 INTERVAL-SEARCH 过 程 耗费 Olgn) 的 时 间 。 

在 说 明 INTERVAL-SEARCH 的 正确 性 之 前 ， 先 来 看 一 下 这 个 过 程 在 图 14-4 所 示 的 区 间 树 
上 是 如 何 查找 的 。 假 设 要 找 一 个 与 区 间 ;一 [22，25j 重 和 到 的 区 间 。 开 始 时 z 为 根 结 点 ， 它 包含 区 
faJL16, 21], Fi RRB. AF x. left. max=23 KF i. 1orw 一 22， 所 以 这 时 以 这 棵 树 根 的 左 孩 子 
作为 z 继续 循环 。 现在 结 点 c 包含 区 间 [8，9j, HAR: BS. WH, zx. left.max=10 小 于 
i. Lo 一 22， 因 此 以 z 的 右 孩 子 作 为 新 的 z 继续 循环 。 现在， 由 于 结 点 x 所 包含 的 区 间 [L15，23j 
与 i 重合， 过 程 结 束 并 返回 这 个 结 点 。 

现在 来 看 一 个 查找 不 成 功 的 例子 。 假 设 要 在 图 14-4 所 示 的 区 间 树 中 找 出 与 =[11，14] 重 又 的 
区 间 。 再 一 次 ， 开 始 时 cA. AARASHKIALIG, 221A 5°. B, A zx. left.max=23 大 于 
i. /or 一 11， 则 转向 左边 包含 区 间 L8，9j 的 结 点 。 区 间 [8，9J 仍 不 与 重 玲 ， 且 x. left.max=10 小 
于 i Low 二 11， 因 此 我 们 转向 右 子 树 。( 注 意 ， 其 左 子 树 中 没有 一 个 区 间 与 i 重生。) 这 时 区 间 [L15， 
23] 仍 不 与 1 重 肆 ， 且 它 的 左 孩子 为 T nil, WA, TAMAR. E T. nil. 

要 明白 INTERVAL-SEARCH 的 正确 性 ， 我 们 必须 理解 为 什么 该 过 程 只 需 检查 一 条 由 根 开 
始 的 简单 路 径 即 可 。 该 过 程 的 基本 思想 是 在 任意 结 点 工 上 上， 如果 x. int 不 与 i 重要， 则 查找 总 是 
沿 着 一 个 安全 的 方向 进行 ， 如 果树 中 包含 一 个 与 i BRAKE, WAKA eS RRB. FER 
定理 更 精确 地 叙述 了 这 个 性 质 。 

定理 14.2 INTERVAL-SEARCH(T, 2 的 任意 一 次 执行 ， 或 者 返回 一 个 其 区 间 与 i 重合 的 
结 点 ， 或 者 返回 T.nil， 此 时 树 工 中 没有 任何 结 点 的 区 间 与 i EA, 

证 明 4 r5T. nil Mi Sz. int BBN, FS 2~5 ÍTR while 循 环 终止 。 后 一 种 情况 ， 过 程 返 
回 zx， 显 然 是 正确 的 。 因 此 ， 主 要 考虑 前 一 种 情况 ， 也 就 是 当 r= T. nil 时 while 循环 终止 的 

对 第 2 一 5 行 的 while 循环 使 用 如 下 的 循环 不 变 式 : 

如 果树 荆 包 含 与 i 重 赤 的 区 间 ， 那 么 以 xz 为 根 的 子 树 必 包 含 此 区 间 。 

循环 不 变 式 使 用 如 下 : 

初始 化 : 在 第 一 次 迭代 之 前 ， 第 1 行 置 z 为 工 的 根 ， 循 环 不 变 式 成 立 。 

保持 : 在 while 循 环 的 每 次 迭代 中 ， 第 4 行 或 第 5 行 被 执行 。 下 面 将 证 明 循 环 不 变 式 在 这 两 
种 情况 下 都 能 成 立 。 

如 果 执 行 第 5 行 ， 则 由 于 第 3 行 的 分 支 条 件 ， 有 x. left=T. nil Kx. left.max<i. low, WR 
x. left=T. nil, WU x. left 为 根 的 子 树 显然 不 包含 与 i ERKKA, MAE rH ax. right 以 保持 
这 个 不 变 式 。 因 此 ,假设 x. left 关 T. nil Az. left. max<i. low。 如 图 14-5(a) 所 示 ， 对 之 左 子 树 
的 任 一 区 间 i， 都 有 

i’. high < x. left. max <i. low | 
根据 区 间 三 分 律 ，i 和 i RBS. Alt, 的 左 子 树 不 包含 与 i 重要 的 任何 区 间 ， 置 xX ax. right 
使 循环 不 变 式 保持 成 立 。 
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另外 ， 如 果 是 第 4 行 被 执行 ， 我 们 将 证 明 循 环 不 变 式 的 对 等 情况 。 也 就 是 说 ， 如 果 在 以 
x. left 为 根 的 子 树 中 没有 与 i 重 羡 的 区 间 ， 则 树 的 其 他 部 分 也 不 会 包含 与 i EKKE. HAR 
4 行 被 执行 ， 是 由 于 第 3 行 的 分 支 条 件 导 臻 的， 所 以 有 zx. left. maz 之 i. low。 根 据 mar 属性 的 定 
X, 在 工 的 左 子 树 中 必定 存在 某 区 间 i， 满足: 

i. high = x. left. max >i. low 
(图 14-5 BATRA AN i Mi RRR, MAW i. high<i. low 不 成 立 ， 所 以 根据 区 间 
三 分 律 有 i.high<<i. low。 区 间 树 是 以 区 间 的 低 端 点 为 关键 字 的 ， 所 以 搜索 树 性 质 隐 含 了 对 A 
Fe PALER Ki”, A 
i. high<i’. low<Xi”. low 


ot 
jn |" 
! | 
i ! E 
{m Ea 
{8 





(a) (b) 


图 14-5 在 定理 14. 2 的 证 明 中 用 到 的 各 个 区 间 。 在 每 种 情况 下 ，x. left. max 的 值 用 虚线 表示 。 
(a) 向 右 查找 。 在 z 的 左 子 树 中 没有 与 之 重生 的 区 间 i。(b) 向 左 查找 。z 的 左 子 树 中 包 

” 合 与 i 重 番 的 区 间 ( 此 状态 未 显示 ), 或 者 z 左 子 树 中 有 一 个 区 间 i， 满足 i. high= 

”XZ. left. maz。 既 然 i 与 i RES, WH zx 右 子 树 任意 区 间 ORAS, AA i. low< 


‘ H 
i . low 


根据 区 间 三 分 律 ，i 和 ?; RER., RISEREU, NAR z 的 左 子 树 中 是 否 存 在 与 i 
FAHRE, E x 为 x. Left 保持 循环 不 变 式 成 立 。 

ik: 如 果 循 环 在 z= 二 T. nil 时 终止 ， 则 表明 在 以 z 为 根 的 子 树 中 ， 没 有 与 i 重 秋 的 区 间 。 
循环 不 变 式 的 对 等 情况 说 明了 T PRAES RAKKE, KORE x 二 T. nil 是 正确 的 。 aa 

因此 ， 过 程 INTERVAL-SEARCH 是 正确 的 。 


练习 


14.3-1 写 出 作用 于 区 间 树 的 结 点 且 在 O(1) 时 间 内 更 新 mar 属性 的 过 程 LEFT-ROTATE 的 伪 代 码 。 

14.3-2 改写 INTERVAL-SEARCH 的 代码 ， 使 得 当 所 有 区 间 都 是 开 区 间 时 ， 它 也 能 正确 地 
工作 。 

14.3-3 ”请 给 出 一 个 有 效 的 算法 ， 对 一 个 给 定 的 区 间 i 返回 一 个 与 i 重 羡 有 旦 具有 最 小 低 端 点 的 
区 间 ; 或 者 当 这 样 的 区 间 不 存在 时 返回 T. nil 

14. 3-4 ”给 定 一 棵 区 间 树 工 和 一 个 区 间 ;， 请 描述 如 何在 Omina, klgn)) 时 间 内 列 出 工 中 所 有 
与 i 重 秋 的 区 间 ， 其 中 & 为 输出 的 区 间 数 。( 提 示 : 一 种 简单 的 方法 是 做 若干 次 查询 ， 并 
且 在 这 些 查询 操作 中 修改 树 ， 另 一 种 略微 复杂 点 的 方法 是 不 对 树 进 行 修改 。) 

14.3-5 对 区 间 树 工 和 一 个 区 间 ;， 请 修改 有 关 区 间 树 的 过 程 来 支持 新 的 操作 INTERVAL- 
SEARCH-EXACTLY(T，i)， 它 返回 一 个 指向 开 中 结 点 过 的 指针 ， 使 得 x. int. low= 
i. low H. x. int. high=i.high; 或者， 如果 工 不 包含 这 样 的 区 间 时 返回 工 .zzz。 所 有 的 操 
作 ( 包 括 INTERVAL-SEARCH-EXACTLY) 对 于 包含 ”个 结 点 的 区 间 树 的 运行 时 间 都 应 
为 Ol(lgn)。 

14.3-6 说明 如 何 来 维护 一 个 支持 操作 MIN-GAP 的 一 些 数 的 动态 集 Q， 使 得 该 操作 能 给 出 Q 中 
两 个 最 接近 的 数 之 间 的 差 值 。 例 如 ，Q= (1，5，9，15，18，22}， 则 MIN-GAP 返回 
18—15=3, AAI 和 18 是 Q 中 两 个 最 接近 的 数 。 要 使 得 操作 INSERT, DELETE, 
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SEARCH 和 MIN-GAP 尽 可 能 高 效 ， 并 分 析 它 们 的 运行 时 间 。 

*14.3-7 ”VLSI 数据 库 通常 将 一 块 集成 电路 表示 成 一 组 矩形 ， 假 设 每 个 矩形 的 边 都 平行 于 x 轴 或 
者 y 轴 ， 这 样 可 以 用 和 矩形 的 最 小 和 最 大 的 z 轴 与 y 轴 坐 标 来 表示 一 个 矩形 。 请 给 出 一 个 
Onlgn) 时 间 的 算法 ， 来 确定 个 这 种 表示 的 矩形 集合 中 是 否 存在 两 个 重合 的 矩形 。 你 
的 算法 不 一 定 要 输出 所 有 重 番 的 矩形 ， 但 对 于 一 个 矩形 完全 覆盖 另 一 个 (即使 边界 线 不 
相交 )， 一定 能 给 出 正确 的 判断 。( 提 示 : 移动 一 条 “扫描 ” 线 ， 穿 过 所 有 的 和 矩形.) 


思考 题 
14-1 (RAGES) 假设 我 们 希望 记录 一 个 区 间 集 合 的 最 大 重要 点 (a point of maximum 
overlap) ， 即 被 最 多 数目 区 间 所 覆盖 的 那个 点 。 
354 a. WEH: 最 大 重 委 点 一 定 是 其 中 一 个 区 间 的 端点 。 
b. 设计 一 个 数据 结构 ， 使 得 它 能 够 有 效 地 支持 INTERVAL-INSERT、INTERVAL- 
DELETE， 以 及 返回 最 大 重 警 点 的 FIND-POM 操作 。 (提示 : 使 红 黑 树 记 录 所 有 的 端 
点 。 左 端点 关联 十 1 值 ， 右 端点 关联 一 1 值 ， 并 且 给 树 中 的 每 个 结 点 扩张 一 个 额外 信息 
KAP RABE A.) 
14-2 (Josephus 排列 ) 定义 Josephus 问题 如 下 : 假设 ”个 人 围 成 一 个 圆圈 ， 给 定 一 个 正 整数 m 
且 m 委 2。 从 某 个 指定 的 人 开始 ， 沿 环 将 遇 到 的 每 第 mm 个 人 移出 队伍 。 每 个 人 移出 之 后 ， 
继续 沿 环 数 剩 下 来 的 人 。 这 个 过 程 直到 所 有 的 个 人 都 被 移出 后 结束 。 每 个 人 移出 的 次 序 
定义 了 一 个 来 自 整 数 1]，2，…， n(n, m)-Josephus 排列 。 例如 ， (7, 3)-Josephus 排列 
Woe 63-25 1s: Se Ts A 
a. 假设 m 是 常数 ， 描述 一 个 O(n) BY [Al AE, 使 得 对 于 给 定 的 Ns 能 够 输出 (>， m)- 
Josephus 排列 。 
b. 假设 x 不 是 常数 ， 描 述 一 个 Olnlgn) 时 间 的 算法 ， 使 得 对 于 给 定 的 n， 能 够 输出 (n，m)- 
Josephus 排列 。 


本 章 注 记 
在 Preparata 和 Shamos | 282] 的 书 中 ， 描 述 了 出 现在 H. Edelsbrunner (1980) 和 


E. M. McCreight(1981) 所 引用 文献 内 的 一 些 区 间 树 。 该 书 详细 介绍 了 一 种 区 间 树 ， 给 定 包 含 ”个 
区 间 的 静态 数据 库 ， 它 能 够 在 OC(& 十 lgn) 时 间 内 ， 列 出 所 有 与 指定 查询 区 间 重 鱼 的 & 个 区 间 。 
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这 一 部 分 介绍 了 设计 和 分 析 高 效 算 法 的 三 种 重要 技术 : 动态 规划 (第 15 
章 ) 、 贪 心算 法 (第 16 章 ) 和 挫 还 分 析 ( 第 17 章 )。 本 书 前 三 部 分 介绍 了 其 他 
一 些 广泛 使 用 的 技术 ， 例 如 ， 分 治 策略 、 随 机 化 方法 和 递归 技术 。 这 一 部 
分 中 介绍 的 技术 在 某 种 程度 上 更 为 复杂 ， 但 可 以 帮助 我 们 解决 很 多 计算 问 
题 。 这 一 部 分 所 介绍 的 主题 在 本 书 随后 的 部 分 中 还 会 用 到 。 

”动态 规划 通常 用 来 解决 最 优化 问题 ， 在 这 类 问题 中 ， 我 们 通过 做 出 一 
组 选择 来 达到 最 优 解 。 在 做 出 每 个 选择 的 同时 ， 通 常会 生成 与 原 问 题 形式 
相同 的 子 问题 。 当 多 于 一 个 选择 子 集 都 生成 相同 的 子 问题 时 ， 动态 规划 技 
术 通 常 就 会 很 有 效 ， 其 关键 技术 就 是 对 每 个 这 样 的 子 问题 都 保存 其 解 ， 当 
其 重复 出 现时 即 可 避免 重复 求解 。 第 15 章 展示 这 种 简单 的 思想 有 时 可 以 
将 指数 时 间 的 算法 转换 为 多 项 式 时 间 的 算法 。 

与 动态 规划 算法 类 似 ， 贪 心算 法 通常 用 于 最 优化 问题 ， 我 们 做 出 一 组 
选择 来 达到 最 优 解 。 贪 心算 法 的 思想 是 每 步 选择 都 追求 局 部 最 优 。 一 个 简 
单 的 例子 是 找 零 问 题 : 为 了 最 小 化 找 零 的 硬币 数量 ， 我 们 反复 选择 不 大 于 
剩余 金额 的 最 大 面额 的 硬币 。 贪 心 方法 对 很 多 问题 都 能 求 得 最 优 解 ， 而 且 
速度 比 动态 规划 方法 快 得 多 。 但 是 ， 我 们 并 不 总 能 简单 地 判断 出 贪心 算法 
:是否 有 效 。 第 16 章 介绍 拟 阵 理论 ， 它 提供 了 相应 的 数学 基础 ， 可 以 帮助 
我 们 证 明 一 个 贪心 算法 生成 最 优 解 。 

我 们 使 用 摊 还 分 析 方法 分 析 一 类 特定 的 算法 ， 这 类 算法 执行 一 组 相似 的 
操作 组 成 的 序列 。 摊 还 分 析 并 不 是 通过 分 别 分 析 每 个 操作 的 实际 代价 的 界 来 
分 析 操 作 序列 的 代价 的 界 ， 而 是 直接 分 析 序 列 整体 的 实际 代价 的 界 。 这 种 方 
法 的 一 个 好 处 是 ， 虽 然 某 些 操作 的 代价 可 能 很 高 ， 但 其 他 很 多 操作 的 代价 可 
能 很 低 。 换 名 话说 ， 很 多 操作 的 运行 时 间 都 会 在 最 坏 情况 时 间 之 内 。 捧 还 分 析 
并 不 仅仅 是 一 种 分 析 工 具 ， 它 还 是 一 种 思考 算法 设计 的 方式 ， 因 为 算法 设计 和 
算法 运行 时 间 的 分 析 常 常 是 交织 在 一 起 的 。 第 17 章 将 介绍 三 种 推 还 分 析 方 法 。 
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动态 规划 


动态 规划 (dynamic programming) 与 分 治 方法 相似 ， 都 是 通过 组 合子 问题 的 解 来 求解 原 问 题 ( 在 
这 里 ,“programming” 指 的 是 一 种 表格 法 ， 并 非 编写 计算 机 程序 ) 。 如 第 2 章 和 第 4 章 所 述 ， 分 治 方 
法 将 问题 划分 为 互 不 相交 的 子 问题 ， 递 归 地 求解 子 问题 ， 再 将 它们 的 解 组 合 起 来 ， 求 出 原 问 题 的 
解 。 与 之 相反 ， 动 态 规划 应 用 于 子 问题 重 到 的 情况 ， 即 不 同 的 子 问 题 具 有 公共 的 子 子 问题 ( 子 问题 
的 求解 是 递归 进行 的 ， 将 其 划分 为 更 小 的 子 子 问题 ) 。 在 这 种 情况 下 ， 分 治 算法 会 做 许多 不 必要 的 
工作 ， 它 会 反复 地 求解 那些 公共 子 子 问 题 。 而 动态 规划 算法 对 每 个 子 子 问题 只 求解 一 次 ， 将 其 解 保存 
在 一 个 表格 中 ， 从 而 无 需 每 次 求解 一 个 子 子 问题 时 都 重新 计算 ， 避 免 了 这 种 不 必要 的 计算 工作 。 

动态 规划 方法 通常 用 来 求解 最 优化 问题 (optimization problem) 。 这 类 问题 可 以 有 很 多 可 行 
解 ， 每 个 解 都 有 一 个 值 ， 我 们 希望 寻找 具有 最 优 值 ( 最 小 值 或 最 大 值 ) 的 解 。 我 们 称 这 样 的 解 为 问 
题 的 一 个 最 优 解 (an optimal solution) ， 而 不 是 最 优 解 (the optimal solution) ， 因 为 可 能 有 多 个 解 
都 达到 最 优 值 。 

我 们 通常 按 如 下 4 个 步骤 来 设计 一 个 动态 规划 算法 : 

1. 刻画 一 个 最 优 解 的 结构 特征 。 

2. 递归 地 定义 最 优 解 的 值 。 

3. 计算 最 优 解 的 值 ， 通 常 采 用 自 底 向 上 的 方法 。 

4. 利用 计算 出 的 信息 构造 一 个 最 优 解 。 

步骤 1 一 3 是 动态 规划 算法 求解 问题 的 基础 。 如 果 我 们 仅仅 需要 一 个 最 优 解 的 值 ， 而 非 解 本 
身 ， 可 以 忽略 步骤 4。 如 果 确 实 要 做 步骤 4， 有 时 就 需要 在 执行 步骤 3 的 过 程 中 维护 一 些 额外 信 
息 ， 以 便 用 来 构造 一 个 最 优 解 。 | 

下 面 我 们 将 展示 如 何 用 动态 规划 方法 来 求解 一 些 最 优化 问题 。15. 1 节 研 究 如 何 将 长 钢 条 切 
割 成 短 钢 条 ， 使 得 总 价值 最 高 。15. 2 节 解 决 如 何 用 最 少 的 标量 乘法 操作 完成 一 个 矩阵 链 相 乘 的 
运算 。 基 于 这 些 动态 规划 求解 问题 的 例子 ，15. 3 节 讨 论 适 合用 动态 规划 方法 求解 的 问题 应 该 具 
备 的 两 个 关键 特征 。 接 下 来 ，15. 4 节 展 示 如 何 用 动态 规划 方法 找到 两 个 序列 的 最 长 公共 子 序列 。 
最 后 ，15. 5 节 用 动态 规划 方法 解决 在 已 知 关键 字 分 布 的 前 提 下 ， 如 何 构造 最 优 二 又 搜索 树 。 


15.1 钢 条 切割 
我 们 第 一 个 应 用 动态 规划 的 例子 是 求解 一 个 如 何 切割 钢 条 的 简单 问题 。Serling 公司 购买 长 钢 
条 ， 将 其 切割 为 短 钢 条 出 售 。 切 割 工序 本 身 没有 成 本 支出 。 公 司 管理 层 希 望 知 道 最 佳 的 切 制 方案 。 
假定 我 们 知道 Serling 公司 出 售 一 段 长 度 为 i 英寸 的 钢 条 的 价格 为 p;(i 二 1，2,，…， 单 位 为 美 
元 )。 钢 条 的 长 度 均 为 整 英寸 。 图 15-1 给 出 了 一 个 价格 表 的 样 例 。 


| 长度 | 1 2 3 4 5 6 7 8 9 10 
价格 p， 1 5 8 9 10 17 17 20 24 30 


图 15-1 钢 条 价格 表 样 例 。 每 段 长 度 为 i 英寸 的 钢 条 为 公司 带 来 pi 美元 的 收益 


钢 条 切割 问题 是 这 样 的 : 给 定 一 段 长度 为 nn 英寸 的 钢 条 和 一 个 价格 表 p;(i 二 1，2，…，n)， 
求 切 割 钢 条 方案 ， 使 得 销售 收益 ”~ 最大。 注意 ， 如 果 长 度 为 n 英寸 的 钢 条 的 价格 p, 足够 大 ， 最 
优 解 可 能 就 是 完全 不 需要 切割 。 

考虑 n 二 4 的 情况 。 图 15-2 给 出 了 4 英寸 钢 条 所 有 可 能 的 切割 方案 ， 包 括 根本 不 切割 的 方案 。 
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我 们 发 现 ， 将 一 段 长 度 为 4 英寸 的 钢 条 切割 为 两 段 各 长 2 英寸 的 钢 条 ， 将 产生 ps 十 ps 二 5 十 5 二 10 
的 收益 ， 为 最 优 解 。 





图 15-2 4 英寸 钢 条 的 8 种 切割 方案 。 根据 图 15-1 中 的 价格 表 ， 在 每 段 钢 条 之 上 标记 了 它 的 价 
” 格 。 最 优 策 略为 方案 (c) 一 一 将 钢 条 切割 为 两 段 长 度 均 为 2 英寸 的 钢 条 一 一 总 价值 为 10 


长 度 为 ”英寸 的 钢 条 共有 2 种 不 同 的 切割 方案 ， 因 为 在 距离 钢 条 左 端 i(i 二 1，2，…*，7n 一 1) 英 
二 处， 我 们 总 是 可 以 选择 切割 或 不 切割 ?。 我 们 用 普通 的 加 法 符号 表示 切割 方案 ， 因 此 
7 一 2 十 2 十 3 表示 将 长 度 为 7 英寸 的 钢 条 切割 为 三 段 一 一 两 段 长 度 为 2 英寸 、 一 段 长 度 为 3 英寸 。 
ate ree 为 k 段 (对 某 个 1<k<n), WARRE 

n = i ti, Hee i 
HATA NK BEST AL i tis ino ts h ADNE, BRA 
r, = p, +p, Te + DP, 360 

对 于 上 述 价格 表 样 例 ， 我 们 可 以 观察 所 有 最 优 收益 值 *(i 一 1，2，…，10) 及 对 应 的 最 优 切 
TR: 

ni 二 1， 切 割 方案 1==1( 无 切割 ) 

7 二 5， 切 割 方案 2==2( 无 切割 ) 

rs 二 8， 切 割 方案 3 一 3( 无 切割 ) 

rs 二 10， 切 割 方案 4 二 2 十 2 

rs 二 13， 切 割 方案 5 二 2 十 3 
mm 一 17， 切 割 方案 6 一 6( 无 切割) 
方 一 18， 切割 方案 7=1+6 或 7 一 2 十 2 十 3 
r3=22, 切割 方案 8=2+6 
re=25, 切割 方案 9 二 3 十 6 
10 =30, 切割 方案 10 王 10( 无 切割 ) 
a 对 于 xr,(n 宇 1)， 我 们 可 以 用 更 短 的 钢 条 的 最 优 切割 收益 来 描述 它 : 
= max(paiyni 二 rir 二 ro rei 十 71) (15. 1) 

第 一 个 参数 Pr 对 应 不 切割 ， 直接 出 售 长 度 为 英寸 的 钢 条 的 方案 。 其 他 ”一 1 个 参数 对 应 另 
外 nn 一 1 种 方案 ,对 每 个 二 1，2，…，? 一 1， 首 先 将 钢 条 切割 为 长 度 为 ?和 ?一 ; 的 两 段 ， 接 着 求 
解 这 两 段 的 最 优 切 割 收益 r 和 x,_;( 每 种 方案 的 最 优 收益 为 两 段 的 最 优 收益 之 和 ) 。 由 于 无 法 预知 
哪 种 方案 会 获得 最 优 收 益 ， 我 们 必须 考察 所 有 可 能 的 i， 选取 其 中 收益 最 大 者 。 如 果 直 接 出 售 原 
钢 条 会 获得 最 大 收益 ， 我 们 当然 可 以 选择 不 做 任何 切割 。 

注意 到 ， 为 了 求解 规模 为 2 的 原 问 题 ， 我 们 先 求解 形式 完全 一 样 ， 但 规模 更 小 的 子 问 题 。 即 
当 完成 首次 切割 后 ， 我 们 将 两 段 钢 条 看 成 两 个 独立 的 钢 条 切割 问题 实例 。 我 们 通过 组 合 两 个 相 


© a E 可 能 的 切割 方案 会 少 得 多 。 例 如 ， 对 n= 二 4， 我 们 只 需 考 虚 5 
种 切割 方案 : 图 15-2 中 的 (a) 、(b) 、(c) 、(e) 和 (h)。 切 割 方案 的 数量 可 由 划分 函数 (partition function) 给 出 ， 


此 函数 近似 等 于 er/2nl3 /4nY3。 此 值 小 于 2"!1， 但 仍 远 远 大 于 任何 n 的 多 项 式 。 我们 将 不 再 探究 此 问题 。 
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关子 问题 的 最 优 解 ， 并 在 所 有 可 能 的 两 段 切 割 方案 中 选取 组 合 收益 最 大 者 ， 构 成 原 问 题 的 最 优 
解 。 我 们 称 钢 条 切割 问题 满足 最 优 子 结构 (optimal substructure) 性 质 ， 问题 的 最 优 解 由 相关 子 问 
题 的 最 优 解 组 合 而 成 ， 而 这 些 子 问题 可 以 独立 求解 。 

除了 上 述 求解 方法 外 ， 钢 条 切割 问题 还 存在 一 种 相似 的 但 更 为 简单 的 递归 求解 方法 : 我 们 将 
钢 条 从 左边 切割 下 长 度 为 ;的 一 段 ， 只 对 右边 剩 下 的 长 度 为 n 一 i 的 一 段 继续 进行 切割 (递归 求解 )， 
对 左边 的 一 段 则 不 再 进行 切割 。 即 问题 分 解 的 方式 为 : 将 长 度 为 n 的 钢 条 分 解 为 左边 开始 一 段 ， 
以 及 剩余 部 分 继续 分 解 的 结果 。 这 样 ， 不 做 任何 切割 的 方案 就 可 以 描述 为 : 第 一 段 的 长 度 为 x"， 收 
AN 访 ， 剩 余部 分 长 度 为 0， 对 应 的 收益 为 n= 二 0。 于 是 我 们 可 以 得 到 公式 (15. 1) 的 简化 版 本 : 

p= max( p; Tred (15. 2) 

在 此 公式 中 ， 原 问题 的 最 优 解 只 包含 一 个 相关 子 问题 ( 右 端 剩余 部 分 ?的 解 ， 而 不 是 两 个 。 

自 顶 向 下 递归 实现 

下 面 的 过 程 实现 了 公式 (15. 2) 的 计算 ， 它 采用 的 是 一 种 直接 的 自 顶 向 下 的 递归 方法 。 

CUT-ROD(p,n) 

1 ifn == 0 

2 return 0 

3 9 一 一 co 

4 fori = lton 

5 q=max(q, pli ]+CUT-ROD(p,n—i)) 


6 return gq 


过 程 CUT-ROD 以 价格 数组 pL1. .nj 和 整数 为 输入 ， 返 回 长 度 为 n 的 钢 条 的 最 大 收益 。 若 
?一 0， 不 可 能 有 任何 收益 ， 所 以 CUT-ROD 的 第 2 行 返回 0。 第 3 行将 最 大 收益 g 初始 化 为 一 cc， 
以 便 第 4 一 5 行 的 for 循环 能 正确 计算 q=max(p; +CUT-ROD(p, n—i)), 第 6 行 返回 计算 结果 。 
利用 简单 的 归纳 法 ， 可 以 证 明 此 结果 与 公式 (15. 2) 计 算出 的 最 大 收益 ” 是 相等 的 。 

如 果 你 用 熟悉 的 编程 语言 实现 CUT-ROD， 并 在 你 的 计算 机 上 运行 它 ， 你 会 发 现 ， 一旦 输入 
规模 稍微 变 大 ， 程 序 运 行 时 间 会 变 得 相当 长 。 例 如 ， 对 n= 二 40， 程 序 至 少 运 行 好 几 分 钟 ， 很 可 能 
超过 一 小 时 。 实 际 上 ， 你 会 发 现 ， 每 当 将 n 增 大 1， 程 序 运 行 时 间 差 不 多 就 会 增加 1 倍 。 

为 什么 CUT-ROD 的 效率 这 么 差 ? 原因 在 于 ，CUT-ROD 反复 地 用 相同 的 参数 值 对 自身 进行 
递归 调用 ， 即 它 反 复 求解 相同 的 子 问 题 。 图 15-3 显示 了 n=4 时 的 调用 过 程 : CUT-ROD(p，n) 


对 ;一 1,2，…， nW CUT-ROD(p, n—i), MFX j=0, 1, =, n—1 调用 CUT-ROD(z， 
力 。 当 这 个 过 程 递 归 展 开 时 ， 它 所 做 的 工作 量 (用 的 函数 的 形式 描述 ) 会 爆炸 性 地 增长 。 
8 | 





图 15-3 ”这 棵 递归 调用 树 显 示 了 n= 二 4 时 ，CUT-ROD(p，nn) 的 递归 调用 过 程 。 每 个 结 点 的 标号 为 对 应 
子 问题 的 规模 n， 因 此 ， 从 父 结 点 s 到 子 结 点 上 的 边 表示 从 钢 条 左 端 切 下 长 度 为 一 i 的 一 段 ， 
然后 继续 递归 求解 剩余 的 规模 为 t 的 子 问 题 。 从 根 结 点 到 叶 结 点 的 一 条 路 径 对 应 长 度 为 的 
钢 条 的 2 一 :种 切割 方案 之 一 。 一 般 来 说 ， 这 棵 递归 调用 树 共 有 2" 个 结 点 ， 其 中 有 2 一 :个 
叶 结 点 
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为 了 分 析 CUR-ROD 的 运行 时 间 ， 令 T(n) 表 示 第 二 个 参数 值 为 n 时 CUT-ROD 的 调用 次 数 。 
此 值 等 于 递归 调用 树 中 根 为 n 的 子 树 中 的 结 点 总 数 ， 注 意 ， 此 值 包 含 了 根 结 点 对 应 的 最 初 的 一 次 
调用 。 因此 T(0)=1, H 


T(n) =14 570) (15. 3) 


第 一 项 “1 "表示 函数 的 第 _ _ 次 调用 (递归 调用 树 的 根 结 点 )， TOG) HMH CUT-RODCp, n—i) frr 
生 的 所 有 调用 (包括 递归 调用 ) 的 次 数 ， 此 处 j=n— is BY 15. 1-1 要 求证 明 
T(n) = 2’ (15. 4) 
BI CUT-ROD 的 运行 时 间 为 BUFR RK 
回 过 头 看 ，CUT-ROD 的 指数 运行 时 间 并 不 令 人 惊讶 。 对 于 长 度 为 的 钢 条 ，CUT-ROD 显 
然 考察 了 所 有 2 一 :种 可 能 的 切割 方案 。 递 归 调 用 树 中 共有 2 一 :个 叶 结 点 ， 每 个 叶 结 点 对 应 一 种 可 
能 的 钢 条 切割 方案 。 对 每 条 从 根 到 叶 的 路 径 ， 路 径 上 的 标号 给 出 了 每 次 切割 前 右边 剩余 部 分 的 
长 度 ( 子 问题 的 规模 ) 。 也 就 是 说 ， 标 号 给 出 了 对 应 的 切割 点 (从 钢 条 右 端 测量 ) 。 
使 用 动态 规划 方法 求解 最 优 钢 条 切割 问题 
我 们 现在 展示 如 何 将 CUT-ROD 转换 为 一 个 更 高 效 的 动态 规划 算法 。 
动态 规划 方法 的 思想 如 下 所 述 。 我 们 已 经 看 到 ， 朴 素 递 归 算 法 之 所 以 效率 很 低 ， 是 因为 它 反 
复 求解 相同 的 子 问题 。 因 此 ， 动 态 规划 方法 仔细 安排 求解 顺序 ， 对 每 个 子 问题 只 求解 一 次 ， 并 将 
结果 保存 下 来 。 如 果 随 后 再 次 需要 此 子 问 题 的 解 ， 只 需 查找 保存 的 结果 ， 而 不 必 重 新 计算 。 因 
此 ， 动 态 规 划 方 法 是 付出 额外 的 内 存 空间 来 节省 计算 时 间 ， 是 典型 的 时 空 权 衡 (time-memory 
trade-off) 的 例子 。 而 时 间 上 的 节省 可 能 是 非常 巨大 的 ; 可 能 将 一 个 指数 时 间 的 解 转 化 为 一 个 多 
项 式 时 间 的 解 。 如 果子 问题 的 数量 是 输入 规模 的 多 项 式 函 数 ， 而 我 们 可 以 在 多 项 式 时 间 内 求解 
出 每 个 子 问 题 ， 那 么 动态 规划 方法 的 总 运行 时 间 就 是 多 项 式 阶 的 。 
动态 规划 有 两 种 等 价 的 实现 方法 ， 下 面 以 钢 条 切割 问题 为 例 展示 这 两 种 方法 。 
第 一 种 方法 称 为 带 备 忘 的 自 顶 向 下 法 (top-down with memoization) 。 此 方法 仍 按 自然 的 递 
归 形 式 编 写 过 程 ， 但 过 程 会 保存 每 个 子 问题 的 解 ( 通 常 保存 在 一 个 数组 或 散 列 表 中 )。 当 需要 一 个 
子 问题 的 解 时 ， 过 程 首先 检查 是 否 已 经 保存 过 此 解 。 如 果 是 ， 则 直接 返回 保存 的 值 ， 从 而 节省 了 
计算 时 间 ; 否则 ， 按 通常 方式 计算 这 个 子 问题 。 我 们 称 这 个 递归 过 程 是 带 备 忘 的 (memoized)， 
因为 它 “ 记 住 ” 了 之 前 已 经 计算 出 的 结果 。 
法 称 为 自 底 向 上 法 (bottom-up method) 。 这 种 方法 一 般 需 要 恰当 定义 子 问 题 “ 规 模 ” 
， 使 得 任何 子 问题 的 求解 都 只 依赖 于 “更 小 的 ” 子 问题 的 求解 。 因 而 我 们 可 以 将 子 问题 按 规 
eae 按 由 小 至 大 的 顺序 进 4 了 求解 。 当 求解 某 个 子 问题 时 ， 它 所 依赖 的 那些 更 小 的 子 问题 都 已 
求解 完毕 ， 结 果 已 经 保存 。 每 个 子 问题 只 需求 解 一 次 ， 当 我 们 求解 它 ( 也 是 第 一 次 遇 到 它 ) 时 ， 它 
的 所 有 前 提 子 问题 都 已 求解 完成 。 
两 种 方法 得 到 的 算法 具有 相同 的 渐 近 运行 时 间 ， 仅 有 的 差异 是 在 某 些 特殊 情况 下 ， 自 顶 向 
下 方法 并 未 真正 递归 地 考察 所 有 可 能 的 子 问 题 。 由 于 没有 频繁 的 递归 函数 调用 的 开销 ， 自 底 向 
上 方法 的 时 间 复 杂 性 函数 通常 具有 更 小 的 系数 。 
下 面 给 出 的 是 自 顶 向 下 CUT-ROD 过 程 的 伪 代 码 ， 加 入 了 备 忘 机 制 : 
MEMOIZED-CUT-ROD(p,n) 


1 let rL0. . n]be a new array 
2 for i = 0 ton 





O 此 处 并 不 是 拼写 错误 ， 确实 是 memoization， 而 非 memorization, memoization 源 自 memo， 为 备 忘 之 意 ， 因 为 这 
种 方法 记录 子 问题 的 解 ， 以 备 随后 查找 。 
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3 rLi]=—oo 
4 return MEMOIZED-CUT-ROD-AUX(,n,7r) 


MEMOIZED-CUT-ROD-AUX(p,n,r) 
if r[n ]>0 
return r[_7 | 
ifn == 0 


q=% 


1 
2 
3 
4 
5 else g=—co 
6 for: = 1 ton 
7 q=max(q, p[z_]+ MEMOIZED-CUT-ROD-AUX(p,n—i,r)) 
8 rlnj=q 
9 return q 
这 里 ， 主 过 程 MEMOIZED-CUT-ROD 将 辅助 数组 rL0. .nj 的 元 素 均 初始 化 为 一 上 oO， 这 是 一 
种 常见 的 表示 “未 知 值 ” 的 方法 (已 知 的 收益 总 是 非 负 值 );。 然 后 它 会 调用 辅助 过 程 MEMOIZED- 
CUT-ROD-AUX, 
过 程 MEMOIZED-CUT-ROD-AUX 是 最 初 的 CUT-ROD 引入 备 愁 机制 的 版 本 。 它 首先 检查 
所 需 值 是 否 已 知 ( 第 1 行 )， 如 果 是 ， 则 第 2 行 直 接 返 回 保存 的 值 ; 否则 ， 第 3 一 7 行 用 通常 方法 
计算 所 需 值 a, 第 8 行将 g 存 人 rLnj],， 第 9 行将 其 返回 。 
自 底 向 上 版 本 更 为 简单 
BOTTOM-UP-CUT-ROD(p,n) 
let rL0..]be a new array 
r[0]=0 


for ; = 1 ton 


1 
2 

3 

4 q 一 一 co 
5 for: = 1 to; 

6 q=max(q, pLi]+rlj—i]) 

7 ri l=a 

8 return r[7 | 

自 底 向 上 版 本 BOTTOM-UP-CUT-ROD 采用 子 问 题 的 自然 顺序 : Bi<j, WMA i 的 子 
问题 比 规模 为 7 的 子 问题 “更 小 ”。 因 此 ， 过 程 依次 求解 规模 为 7 二 0，1，…， 的 子 问题 。 

过 程 BOTTOM-UP-CUT-ROD 的 第 1 行 创 建 一 个 新 数组 rL0. . zj] 来 保存 子 问题 的 解 ， 第 2 行 
将 r[0] 初 始 化 为 0， 因 为 长 度 为 0 的 钢 条 没有 收益 。 第 3 一 6 行 对 7j 王 1，2，…，? 按 升序 求解 每 
个 规模 为 7 的 子 问 题 。 求 解 规模 为 7 的 子 问题 的 方法 与 CUT-ROD 所 采用 的 方法 相同 ， 只 是 现在 
直接 访问 数组 元 素 rLj 一 来 获得 规模 为 ;一 i 的 子 问题 的 解 ( 第 6 行 )， 而 不 必 进 行 递归 调用 。 第 
7 行将 规模 为 7 的 子 问题 的 解 存 人 zL7 门 。 最 后 ， 第 8 行 返回 rLn]， 即 最 优 解 r,- 

自 底 向 上 算法 和 自 顶 向 下 算法 具有 相同 的 渐 近 运行 时 间 。 过 程 BOTTOM-UP-CUT-ROD 的 
主体 是 嵌 套 的 双重 循环 ， 内 层 for 循环 (第 5~6 行 ) 的 迭代 次 数 构成 一 个 等 差 数列 ， 不 难 分 析 过 
程 的 运行 时 间 为 O(n’). A Tite) FAY) MEMOIZED-CUT-ROD 的 运行 时 间 也 是 O), HAAN 
难 一 些 ， 当 求解 一 个 之 前 已 计算 出 结果 的 子 问 题 时 ， 递 归 调 用 会 立即 返回 ， 即 MEMOIZED- 
CUT-ROD 对 每 个 子 问题 只 求解 一 次 ， 而 它 求 解 了 规模 为 0，1，…，n 的 子 问 题 ， 为 求解 规模 为 
n 的 子 问题 ， 第 6 一 7 行 的 循环 会 迭代 nn 次 ; 因此 ，MEMOIZED-CUT-ROD 进行 的 所 有 递归 调用 
执行 此 for 循环 的 迭代 次 数 也 是 一 个 等 差 数 列 ， 其 和 也 是 B(* )， 与 BOTTOM-UP-CUT-ROD 内 
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层 for 循环 的 迭代 总 次 数 一 样 (我 们 在 这 里 实际 上 用 到 了 某 种 形式 的 聚合 分 析 (aggregate 
analysis) ， 聚 合 分 析 方法 的 细节 将 在 17. 1 节 介绍 ) 。 

子 问题 图 

当 思考 一 个 动态 规划 问题 时 ， 我 们 应 该 弄 清 所 涉及 的 子 问题 及 子 问题 之 间 的 依赖 关系 。 

问题 的 子 问题 图 准确 地 表达 了 这 些 信息 。 图 15-4 显示 了 "一 4 时 钢 条 切割 问题 的 子 问题 图 。 [B7 
它 是 一 个 有 向 图 ， 每 个 顶点 唯一 地 对 应 一 一 个 子 问题 ， È 
若 求 子 问题 x 的 最 优 解 时 需要 直接 用 到 子 问题 y 的 最 
优 解 ， 那 么 在 子 问题 图 中 就 会 有 一 条 从 子 问题 x 的 顶 
点 到 子 问题 y 的 顶点 的 有 向 边 。 例 如 ， 如 果 自 顶 向 下 
过 程 在 求解 = 时 需要 直接 递归 调用 自身 来 求解 y， 那 
么 子 问题 图 就 包含 从 二 到 y 的 一 条 有 向 边 。 我 们 可 以 
将 子 问 题 图 看 做 自 顶 向 下 递归 调用 树 的 “简化 版 ?或 
“收缩 版 >，, 因为 树 中 所 有 对 应 相同 子 问题 的 结 点 合并 
为 图 中 的 单一 顶点 ， 相 关 的 所 有 边 都 从 父 结 点 指向 子 图 15-4 "一 4 时 ， 钢 条 切割 问题 的 子 问题 





结 点 。 图 。 顶点 的 标号 给 出 了 了 问题 的 规 
自 底 向 上 的 动态 规划 方法 处 理子 问题 图 中 顶点 的 ese se a 
顺序 为 : 对 于 一 个 给 定 的 子 问题 z， 在 求解 它 之 前 求 实际 上 是 图 15-3 中 递归 调用 树 的 
解 邻接 至 它 的 子 问题 y( 回 忆 B. 4 市 ， 邻接 关系 不 一 定 简化 版 一 一 树 中 标号 相同 的 结 点 收 
是 对 称 的 )。 用 第 22 章 中 的 术语 说 ， 自 底 向 上 动态 规 缩 为 图 中 的 单一 顶点 ， 所 有 边 均 从 
划算 法 是 按 “ 北 拓 扑 序 ”(reverse topological sort) BY“ Fz SCE KAA TPF a 


序 的 拓扑 序 ”(topological sort of the transpose) (参见 22.4 节 ) 来 处 理子 问题 图 中 的 顶点 。 换 名 话 
说 ， 对 于 任何 子 问 题 ， 直至 它 依赖 的 所 有 子 问 题 均 已 求解 完成 ， 才 会 求解 它 。 类 似 地 ， 我 们 可 以 
用 第 22 章 中 的 术语 “深度 优先 搜索 ”(depth-first search) 来 描述 ( 带 备 筷 机 制 的 ) 自 顶 回 下 动态 规划 
算法 处 理子 问题 图 的 顺序 (参见 22. 3 节 )。 

子 问题 图 G 二 (V，E) 的 规模 可 以 帮助 我 们 确定 动态 规划 算法 的 运行 时 间 。 由 于 每 个 子 问 题 
只 求解 一 次 ， 因 此 算法 运行 时 间 等 于 每 个 子 问题 求解 时 间 之 和 。 通 常 ， 一 个 子 问 题 的 求解 时 间 与 
子 问题 图 中 对 应 顶点 的 度 ( 出 射 边 的 数目 ) 成 正比 ， 而 子 问题 的 数目 等 于 子 问题 图 的 顶点 数 。 因 
此 ， 通 常 情况 下 ， 动态 规划 算法 的 运行 时 间 与 顶点 和 边 的 数量 呈 线 性 关系 。 

重 构 解 

前 文 给 出 的 钢 条 切割 问题 的 动态 规划 算法 返回 最 优 解 的 收益 值 ， 但 并 未 返回 解 本 身 ( 一 个 长 
度 列表 ， 给 出 切割 后 每 段 钢 条 的 长 度 ) 。 我 们 可 以 扩展 动态 规划 算法 ， 使 之 对 每 个 子 问题 不 仅 保 
存 最 优 收益 值 ， 还 保存 对 应 的 切割 方案 。 利 用 这 些 信息 ， 我 们 就 能 输出 最 优 解 。 

下 面 给 出 的 是 BOTTOM-UP-CUT-ROD 的 扩展 版 本 ， 它 对 长 度 为 7 的 钢 条 不 仅 计算 最 大 收 
益 值 r;， 还 保存 最 优 解 对 应 的 第 一 段 钢 条 的 切割 长 度 s: 368 


EXTENDED-BOTTOM-UP-CUT-ROD(p,n) 


1 let r{0..nJand s[0..n|be new arrays 
2 r[o]=0 

3 tor j=1ton 

4 a 

5 for i = 1 toj 

6 ifg<pli]t+j—-a 

7 q=pli]+rLi—i] 

8 sL; ]=i 








370 
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9 rlil=q 
10 return r and s 
此 过 程 与 BOTTOM-UP-CUT-ROD 很 相似 ， 差 别 只 是 在 第 1 行 创 建 了 数组 *， 并 在 求解 规模 为 7 
的 子 问题 时 将 第 一 段 钢 条 的 最 优 切割 长 度 ; 保存 在 sLjj] 中 (第 8 行 )。 
下 面 的 过 程 接受 两 个 参数 : 价格 表 p 和 钢 条 长 度 n， 然 后 调用 EXTENDED-BOTTOM-UP- 
CUT-ROD 来 计算 切割 下 来 的 每 段 钢 条 的 长 度 sL1..n]， 最 后 输出 长 度 为 n 的 钢 条 的 完整 的 最 优 
切割 方案 : 


PRINT-CUT-ROD-SOLUTION( p,n) 

1 (r,s) =EXTENDED-BOTTOM-UP-CUT-ROD(p,7) 
2 while ”之 0 

3 print s[n] 
4 


n=n— sln] 


对 于 前 文 给 出 的 钢 条 切割 的 实例 ，EXTENDED-BOTTOM-UP-CUT-ROD(p，10) 会 返回 下 面 的 
数组 : 





对 此 例 调用 PRINT-CUT-ROD-SOLUTION(, 10) 只 会 输出 10, 但 对 n= 二 7， 会 输出 最 优 方案 
切割 出 的 两 段 钢 条 的 长 度 1 和 6。 


练习 


15.1-1 由 公式 (15. 3) 和 初始 条 件 TWO) =1, 证明 公 式 (15. 4) 成 立 。 

15.1-2 举 反例 证 明 下 面 的 “贪心 ”策略 不 能 保证 总 是 得 到 最 优 切 割 方案 。 定 义 长 度 为 i 的 钢 条 的 
密度 为 p;/i， 即 每 英寸 的 价值 。 贪 心 策略 将 长 度 为 n 的 钢 条 切割 下 长 度 为 i (1 委 i 委 站 的 
一 段 ， 其 密度 最 高 。 接 下 来 继续 使 用 相同 的 策略 切割 长 度 为 n 一 i 的 剩余 部 分 。 

15. 1-3 ”我 们 对 钢 条 切割 问题 进行 一 点 修改 ， 除 了 切割 下 的 钢 条 段 具有 不 同 价格 p; 外 ， 每 次 切 
割 还 要 付出 固定 的 成 本 c。 这 样 ， 切 割 方案 的 收益 就 等 于 钢 条 段 的 价格 之 和 减 去 切割 的 
成 本 。 设 计 一 个 动态 规划 算法 解决 修改 后 的 钢 条 切割 问题 。 

15.1-4 修改 MEMOIZED-CUT-ROD， 使 之 不 仅 返回 最 优 收 益 值 ， 还 返回 切割 方案 。 

15.1-5 ” 斐 波 那 契 数列 可 以 用 递归 式 (3. 22) 定 义 。 设 计 一 个 O(n) 时 间 的 动态 规划 算法 计算 第 
个 斐 波 那 契 数 。 画 出 子 问题 图 。 图 中 有 多 少 顶 点 和 边 ? 


15.2 和 矩阵 链 乘 法 

下 一 个 例子 是 求解 矩阵 链 相 乘 问 题 的 动态 规划 算法 。 给 定 一 个 对 个 矩阵 的 序列 (矩阵 链 ) 
(Aj > Az» DS Án? 3 我 们 希望 计算 它们 的 乘积 

AiA,…A, (15. 5) 

为 了 计算 表达 式 (15. 5) ， 我 们 可 以 先 用 括号 明确 计算 次 序 ， 然 后 利用 标准 的 矩阵 相 乘 算法 进 
行 计 算 。 由 于 矩阵 乘法 满足 结合 律 ， 因 此 任何 加 括号 的 方法 都 会 得 到 相同 的 计算 结果 。 我 们 称 有 
如 下 性 质 的 矩阵 乘积 链 为 完全 括号 化 的 (fully parenthesized): 它 是 单一 和 矩阵， 或 者 是 两 个 完全 括 
号 化 的 矩阵 乘积 链 的 积 ， 且 已 外 加 括号 。 例 如 ， 如 果 抢 阵 链 为 (A，A: ，A:，A.)， 则 共有 5 种 
完全 括号 化 的 矩阵 乘积 链 : 
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(A, (A; (A3A,))) 
(A, ((A, A; ) Ay )) 
((A, A, ) (A3A,)) 
(C(A, (A, A; )) Ay) 
(((A, A, )A3) Ay) 

对 和 矩阵 链 加 括号 的 方式 会 对 乘积 运算 的 代价 产生 巨大 影响 。 我 们 对 来 分 析 两 个 和 矩阵 相 乘 的 
代价 。 下面 的 伪 代 码 给 出 了 两 个 矩阵 相 乘 的 标准 算法 ， 它 是 4.2 节 SQUARE MATRIX- 
MULTIPLY 过 程 的 推广 。 属 性 rows 和 columns 是 矩阵 的 行 数 和 列 数 。 

MATRIX-MULTIPLY(A, B) 

1 if A. columns#B. rows 

2 error “incompatible dimensions” 

3 else let C be a new A. rows X B. columns matrix 
4 for i = 1 to A. rows 

5 for j = 1 to B. columns 

6 cf 一 0 

7 for k = 1 to A. columns 

8 Cy=cy tan * by 

9 


return C 


两 个 矩阵 A 和 B RAR (compatible), BI A 的 列 数 等 于 B 的 行 数 时 ， 才 能 相 乘 。 如 果 A 
是 pXg 的 矩阵 ，B 是 a Xr 的 矩阵 ， 那 么 乘积 C 是 p Xr 的 矩阵。 计算 C 所 需 时 间 由 第 8 行 的 标 
量 乘法 的 次 数 决 定 ， 即 pgr。 下 文中 我 们 将 用 标量 乘法 的 次 数 来 表示 计算 代价 。 

我 们 以 矩阵 链 (A; ，As。，A, ) 相 乘 为 例 ， 来 说 明 不 同 的 加 括号 方式 会 导致 不 同 的 计算 代价 。 
假设 三 个 答 阵 的 规模 分 别 为 10X100、100X5 和 5X50。 如 果 按 ((AiA:)A,) 的 顺序 计算 ， 为 计算 
A, A; (规模 10X5) ’ 需要 做 10。100。5 王 5 000 次 标量 乘法 ， 再 与 A; 相 乘 又 需要 做 10*5*50= 
2 500 次 标量 乘法 ， 共 需 7 500 Ripe FAK. WRIA (4A:A:)) 的 顺序 ， 计 算 A,A; (规模 100 X 
50), 9100+ 5 e 50=25 000 次 标量 乘法 ，A, BSI ME 10 - 100 ° 50=50 000 次 标量 乘法 ， 
共 需 75 000 次 标量 乘法 。 因 此 ， 按 第 一 种 顺序 计算 矩阵 链 乘积 要 比 第 二 种 顺序 快 10 售 。 

和 矩阵 链 乘 法 问题 (matrix-chain multiplication problem) 可 描述 如 下 : 给 定 nME EREE CA, 
Az» TES An?» 矩阵 A; 的 规模 为 Pi-1 X p, 1Si<n), 求 完 全 括号 化 方案 ， 使 得 计算 乘积 AiA4:…A4， 
所 需 标量 乘法 次 数 最 少 。 

注意 ， 求 解 矩阵 链 乘法 问题 并 不 是 要 真正 进行 矩阵 相 乘 运算 ， 我 们 的 目标 只 是 确定 代价 最 
低 的 计算 顺序 。 确 定 最 优 计算 顺序 所 花费 的 时 间 通 常 要 比 随后 真正 进行 矩阵 相 乘 所 节省 的 时 间 
(例如 仅 进行 7 500 次 标量 乘法 而 不 是 75 000 次 ) 要 少 。 

计算 插 号 化 方案 的 数量 

在 用 动态 规划 方法 求解 矩阵 链 乘 法 问题 之 前 ， 我 们 先 来 说 服 自己 一 一 穷 举 所 有 可 能 的 括号 
化 方案 不 会 产生 一 个 高 效 的 算法 。 对 一 个 n EERE, S P(n) 表 示 可 供 选择 的 括号 化 方案 的 
数量 。 当 nn 二 1 时， 由 于 只 有 一 个 矩阵 ， 因 此 只 有 一 种 完全 括号 化 方案 。 当 n 宇 2 时 ， 完 全 括号 化 
的 矩阵 乘积 可 描述 为 两 个 完全 括号 化 的 部 分 积 相 乘 的 形式 ， 而 两 个 部 分 积 的 划分 点 在 第 & 个 矩阵 
和 第 & 十 1 个 矩阵 之 间 ，& 为 1，2，…，7?2 一 1 中 的 任意 一 个 值 。 因 此 ， 我 们 可 以 得 到 如 下 递归 
公式 : ! 


| 1 yRn= 1 
" P(n) = n-l (15. 6) 
>) P}R)Pn—k) 如 果 n 宇 2 
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思考 题 12-4 要 求证 明 一 个 相似 的 递归 公式 产生 的 序列 为 卡 塔 兰 数 (Catalan numbers)， 这 个 
序列 的 增长 速度 为 QC4"/m”)。 练 习 15. 2-3 要 求证 明 递 归公 式 (15. 6) 的 结果 为 Q(2") 。 因 此 ， 括 
号 化 方案 的 数量 与 ” 呈 指 数 关系 ， 通 过 暴力 搜索 穷尽 所 有 可 能 的 括号 化 方案 来 寻找 最 优 方案 ， 是 
一 个 糟糕 的 策略 。 

应 用 动态 规划 方法 

下 面 用 动态 规划 方法 来 求解 矩阵 链 的 最 优 括号 化 方案 ， 我 们 还 是 按照 本 章 开头 提出 的 4 个 步 
又 进行 : 

1. 刻画 一 个 最 优 解 的 结构 特征 。 

2. 递归 地 定义 最 优 解 的 值 。 

3. 计算 最 优 解 的 值 ， 通 常 采用 目 底 向 上 的 方法 。 

4. 利用 计算 出 的 信息 构造 一 个 最 优 解 。 

我 们 按 顺 序 进行 这 几 个 步 又， 清楚 地 展示 针对 本 问题 每 个 步骤 应 如 何 做 。 

步骤 1: 最 优 括号 化 方案 的 结构 特征 

动态 规划 方法 的 第 一 步 是 寻找 最 优 子 结构 ， 然 后 就 可 以 利用 这 种 子 结构 从 子 问 题 的 最 优 解 
构造 出 原 问 题 的 最 优 解 。 在 矩阵 链 乘法 问题 中 ， 此 步骤 的 做 法 如 下 所 述 。 为 方便 起 见 ， 我 们 用 符 
BA, Gp) RAR AAR A, 乘积 的 结果 矩阵。 可 以 看 出 ， 如 果 问 题 是 非 平凡 的 ， 即 <j， 那么 
为 了 对 A;Ai+1…A; 进行 括号 化 ， 我 们 就 必须 在 某 个 A 和 As: 之 间 将 矩阵 链 划分 开 ( ISR 
间 的 整数 )。 也 就 是 说 ， 对 某 个 整数 &， 我 们 首先 计算 矩阵 A; .和 Aiti.;， 然 后 再 计算 它们 的 乘积 
得 到 最 终结 果 A;.;。 此 方案 的 计算 代价 等 于 矩阵 A;.; 的 计算 代价 ， 加 上 和 矩阵 Aw WHR, 
再 加 上 两 者 相 乘 的 计算 代价 。 

下 面 我 们 给 出 本 问题 的 最 优 子 结构 。 假 设 AA…Ai 的 最 优 括 号 化 方案 的 分 割 点 在 A 和 
Am ZE A, ARI AR TE AA A 进行 括号 化 时 ， 我 们 应 该 直接 采用 独立 求解 它 
时 所 得 的 最 优 方案 。 这 样 做 的 原因 是 什么 呢 ? 如 果 不 采 用 独立 求解 AAA A 所 得 的 最 优 方案 
来 对 它 进 行 括号 化 ,那么 可 以 将 此 最 优 解 代入 AAm A; 的 最 优 解 中 ,代替 原 来 对 子 链 
A; AH，…A: 进 行 括 号 化 的 方案 ( 比 A;A i Ay 最 优 解 的 代价 更 高 ) ， 显 然 ， 这样 得 到 的 解 比 
A; Air…Aj 原 来 的 “最 优 解 ” 代 价 更 低 : 产生 矛盾 。 对 子 链 Ait1Ai4+a…A;， 我 们 有 相似 的 结论 : 
在 原 问 题 AAA; 的 最 优 括号 化 方案 中 ， 对 子 链 AA A 进行 括号 化 的 方法 ， 就 是 它 自 
身 的 最 优 插 号 化 方案 。 

现在 我 们 展示 如 何 利用 最 优 子 结构 性 质 从 子 问 题 的 最 优 解 构造 原 问题 的 最 优 解 。 我 们 已 经 
看 到 ， 一 个 非 平凡 的 矩阵 链 乘 法 问题 实例 的 任何 解 都 需要 划分 链 ， 而 任何 最 优 解 都 是 由 子 问题 
实例 的 最 优 解构 成 的 。 因 此 ， 为 了 构造 一 个 矩阵 链 乘法 问题 实例 的 最 优 解 ， 我 们 可 以 将 问题 划分 
AAT FB CAA A, MAAA 的 最 优 括号 化 问题 )， 求 出 子 问题 实例 的 最 优 解 ， 然 
后 将 子 问题 的 最 优 解 组 合 起 来 。 我 们 必须 保证 在 确定 分 割 点 时 ， 已 经 考察 了 所 有 可 能 的 划分 点 ， 
这 样 就 可 以 保证 不 会 遗漏 最 优 解 。 

步骤 2: 一 个 递归 求解 方案 

下 面 用 子 问题 的 最 优 解 来 递归 地 定义 原 问 题 最 优 解 的 代价 。 对 矩阵 链 乘 法 问题 ， 我 们 可 以 
将 对 所 有 LIS j <n AEA Ai A; 的 最 小 代价 括号 化 方案 作为 子 问题 。 令 mLi，jj 表 示 计 算 
和 矩阵 A;.; 所 需 标 量 乘法 次 数 的 最 小 值 ， 那 么 ， 原 问题 的 最 优 解 一 一 计算 Ai.., 所 需 的 最 低 代 价 就 
是 m[1, n]. 

我 们 可 以 递归 定义 mLi，j;j 如 下 。 对 于 i==; 时 的 平凡 问题 ,矩阵 链 只 包含 唯一 的 矩阵 A;.; 二 
A;， 因 此 不 需要 做 任何 标量 乘法 运算 。 所 以 ， 对 所 有 ;一 1，2，…，7， mli, iJ=0. Ai<j, R 
们 利用 步 又 1 中 得 到 的 最 优 子 结构 来 计算 mi, jle RIRE AA ;+1…A; 的 最 优 括 号 化 方案 的 分 
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割 点 在 矩阵 A MAL Zi, HP iK MA, mis IREF A;.; 和 Airi.; 的 代价 加 上 
两 者 相 乘 的 代价 的 最 小 值 。 由 于 矩阵 A; 的 大 小 为 p;_1 X pio DA A .4 与 Aitr1..; 相 梯 的 代价 为 pi;_1 
pip; 次 标量 乘法 运算 。 因 此 ， 我 们 得 到 

m[i,7] = mli,k]t+mLk+1,j]+ pi pep; 

此 递归 公式 假定 最 优 分 割 点 是 已 知 的 ， 但 实际 上 我 们 是 不 知道 的 。 不 过 ,只 有 j 一 i 种 可 
能 的 取 值 ， 即 =i，i 十 1，…，j 一 1。 由 于 最 优 分 割 点 必 在 其 中 ， 我 们 只 需 检查 所 有 可 能 情况 ， 
RARA. BE, AAt A 最 小 代价 括号 化 方案 的 递归 求解 公式 变 为 : 

.~ J0 MR i= j 

al mintmlik]tmle+1j]t+peipid;) wRI<; 

mLi，jj 的 值 给 出 了 子 问题 最 优 解 的 代价 ， 但 它 并 未 提供 足够 的 信息 来 构造 最 优 解 。 为 此 ， 

我 们 用 sli, J RF A Ain A; ROLES ROTH AMER, 即使 得 mli, j]=mLi, k]+ 
mLk+1, j]+ pipip; RLH k E. 

步骤 3: 计算 最 优 代价 

现在 ， 我 们 可 以 很 容易 地 基于 递归 公式 (15. 7) 写 出 一 个 递归 算法 ， 来 计算 A,A:…A, 相 乘 的 
最 小 代价 mL1，nj。 像 我 们 在 钢 条 切割 问题 一 节 中 所 看 到 的 ， 以 及 即将 在 15. 3 节 中 看 到 的 那样 ， 
此 递归 算法 是 指数 时 间 的 ， 并 不 比 检 查 所 有 括号 化 方案 的 暴力 搜索 方法 更 好 。 

注意 到 ， 我 们 需要 求解 的 不 同 子 问题 的 数目 是 相对 较 少 的 : 每 对 满足 ISSS A iR j 


对 应 一 个 唯一 的 于 问题， 共有 |(”) 十 "二 B(xY) 个 。 递 归 算法 会 在 递归 调用 树 的 不 同 分 支 中 多 次 


遇 到 同一 个 子 问题 。 这 种 子 问题 重 番 的 性 质 是 应 用 动态 规划 的 另 一 个 标识 (第 一 个 标识 是 最 优 
子 结构 ) 。 
我 们 采用 自 底 向 上 表格 法 代替 基于 公式 (15. 7) 的 递归 算法 来 计算 最 优 代价 (我 们 将 在 15. 3 节 
中 给 出 对 应 的 带 备 起 的 自 顶 向 下 方法 )。 下 面 给 出 的 过 程 MATRIX-CHAIN-ORDER 实现 了 自 底 
向 上 表格 法 。 此 过 程 假定 矩阵 A 的 规模 为 pi X pi;(i 王 1，2，…，n)。 它 的 输入 是 一 个 序列 
p 二 《po，，*…，p,)， 其 长 度 为 p. length 二 n 十 1。 过 程 用 一 个 辅助 表 m[1..n，1. .nj 来 保存 代 
价 mLi，;j]， 用 另 一 个 辅助 表 sL1.. n 一 1，2. .nj 记录 最 优 值 mLi，j;j] 对 应 的 分 割 点 *。 我 们 就 可 以 
利用 表 s 构造 最 优 解 。 
为 了 实现 目 底 向 上 方法 ， 我 们 必须 确定 计算 mL;， 放 时 需要 访问 哪些 其 他 表 项 。 公 式 (15. 7) 
显示 ,J 一 i 十 1 个 矩阵 链 相 乘 的 最 优 计算 代价 mL:， 放 只 依赖 于 那些 少 于 j 一 i 十 1 个 矩阵 链 相 乘 的 
最 优 计算 代价 。 也 就 是 说 ， 对 ==i，i 十 1，…，j 一 1， 和 矩阵 Ai.; 是 一 i 十 1=j 一 i 十 1 个 矩阵 的 
AA, ERF Air1..; 是 7 一 kj 一 i 十 1 个 矩阵 的 积 。 因 此 ， 算 法 应 该 按 长 度 递 增 的 顺序 求解 矩阵 链 括 
号 化 问题 ， 并 按 对 应 的 顺序 填写 表 m。 对 和 矩阵 链 AA m A 最 优 括号 化 的 子 问题 ， 我 们 认为 其 
规模 为 链 的 长 度 j 一 i 十 1。 
MATRIX-CHAIN-ORDER(Z) 
n=p. length—1 
let mL1..n,1..n]and sl1..n—1,2..n]|be new tables 
for: = 1 ton 
_ mli,i]=0 

for 1 = 2 ton // Lis the chain length 
| for i = 1 ton—/+1 
' j=iti-1 


mLi,j ]=co 


(15. 7) 


o ON DON fF | DH + 


fork = itoj—1 
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10 qg=m[i,k] 二 Tm[g 二 1,7]+p; ipip; 
11 if q < mij] 

12 m[i,jj=q 

13 sli, j ]=k 


l4 return m and s 


算法 首先 在 第 3 一 4 行 对 所 有 i=1, 2, =, nn 计算 mli, J=O REX 1 的 链 的 最 小 计算 代 
价 ) 。 接 着 在 第 5 一 13 FF for 循环 的 第 一 个 循环 步 中 ， 利 用 递归 公式 (15.7) 对 所 有 i 二 1，2，…， 
A mLi,，i 十 1j( 长 度 /=2 的 链 的 最 小 计算 代价 )。 在 第 二 个 循环 步 中 ， 算 法 对 所 有 ;一 1， 
2，…，7 一 2 计算 mLi，i 十 2j]( 长 度 l= 3 的 链 的 最 小 计算 代价 ) ， 依 此 类 推 。 在 每 个 循环 步 中 ， 第 
10~13 行 计算 代价 mi, FIRMS EAH HRM mi, k] m+, j]. 

图 15-5 展示 了 对 一 个 长 度 为 6 的 矩阵 链 执行 此 算法 的 过 程 。 由 于 我 们 定义 m[i， j AE i<j 
时 有 意义 ， 因 此 表 m 只 使 用 主 对 角 线 之 上 的 部 分 。 图 中 的 表 是 经 过 旋转 的 ， 主 对 角 线 已 经 旋转 
到 了 水 平方 向 。 和 矩阵 链 的 规模 列 在 了 图 的 下 方 。 在 这 种 布局 中 ， 我 们 可 以 看 到 子 和 矩阵 链 A,A… 
A; 相 乘 的 代价 m[， 放 恰好 位 于 始 于 A, 的 东北 至 西南 方向 的 直线 与 始 于 A; 的 西北 至 东南 方向 的 
直线 的 交点 上 。 表 中 同一 行 中 的 表 项 都 对 应 长 度 相同 的 矩阵 链 。MATRIX-CHAIN-ORDER 按 自 
下 而 上 、 自 左 至 右 的 顺序 计算 所 有 行 。 当 计算 表 项 mli, jt, SAARE p;_1 psp;(& 二 i，i 十 
1，…，J7 一 1)， 以 及 Li， 让 西南 方向 和 东南 方向 上 的 所 有 表 项 。 





图 15-5 34 n=6 和 矩阵 规模 如 下 表 时 ，MATRIX-CHAIN-ORDER i} ER m As 表 。 


E| | 
规模 30X35 35X15 15X5 5X10 10X20 20X25 


我 们 将 两 个 表 进 行 了 旋转 ， 使 得 主 对 角 线 方向 变 为 水 平方 向 。 表 m 只 使 用 主 对 角 线 和 
上 三 角 部 分 ， 表 s 只 使 用 上 三 角 部 分 。6 个 矩阵 相 乘 所 需 的 最 少 标量 乘法 运算 次 数 为 
m[1, 6]=15 125。 表 中 有 些 表 项 被 标记 了 深 色 阴影 ， 相 同 的 阴影 表示 过 程 在 第 10 行 
中 计算 mL2，5j] 时 同时 访问 了 这 些 表 项 : 
m[2,2] 十 m[3,5] 十 pipzps 一 0 十 2500 十 35。15。20 = 13 000 
m[2,5]= vin] ELSIE pe = 2 625 + 1 000 +35 • 5 e 20 = 7 125 
m[2,4]+m[5,5] + pı paps 一 4375 十 0 十 35。10。20 = 11375 
= 7 125 


简单 分 析 MATRIX-CHAIN-ORDER WRET HA., TUAIR ARITHA O(n )。 
循环 时 套 的 深度 为 三 层 ， 每 层 的 循环 变量 (/、; 和 A&) 最 多 取 ”一 1 个 值 。 练 习 15. 2-5 要 求证 明 此 
算法 的 运行 时 间 实 际 上 是 Q(z)。 算 法 还 需要 OC ) 的 内 存 空 间 来 保存 表 m 和 s。 因 此 ， 
MATRIX-CHAIN-ORDER 比 起 穷 举 所 有 可 能 的 括号 化 方案 来 寻找 最 优 解 的 指数 阶 算法 要 高 效 
得 多 。 
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步骤 4; 构造 最 优 解 

虽然 MATRIX-CHAIN-ORDER 求 出 了 计算 和 矩阵 链 乘 积 所 需 的 最 少 标量 乘法 运算 次 数 ， 但 它 
并 未 直接 指出 如 何 进行 这 种 最 优 代 价 的 矩阵 链 乘法 计算 。 表 sL1..n 一 1]，2. .nj 记录 了 构造 最 优 解 
所 需 的 信息 。 每 个 表 项 sLi，jj 记 录 了 一 个 值 ， 指 出 AAW A 的 最 优 括 号 化 方案 的 分 割 点 应 
在 A 和 Au 之 间 。 因 此 ， 我 们 知道 Al., 的 最 优 计算 方案 中 最 后 一 次 矩阵 乘法 运算 应 该 是 
Ai.zgArwati.a。 我 们 可 以 用 相同 的 方法 递归 地 求 出 更 早 的 矩阵 乘法 的 具体 计算 过 程 ， 因 为 
s[1，s[1，nj 指 出 了 计算 A. ra 时 应 进行 的 最 后 一 次 矩阵 乘法 运算 ; sLsL1，nj 十 1，nj 指 出 了 
计算 Ag an .时 应 进行 的 最 后 一 次 矩阵 乘法 运算 。 下 面 给 出 的 递归 过 程 可 以 输出 (A,，A ，…， 
Ai 的 最 优 括号 化 方案 ， 其 输入 为 MATRIX-CHAIN-ORDER 得 到 的 表 及 下 标 ; 和 7 。 调 用 
PRINT-OPTIMAL-PARENS(s，1，n) 即 可 输出 (A ，A: ，…，A4,) 的 最 优 括号 化 方案 。 


PRINT-OPTIMAL-PARENS(s, i, j) 

1 ifi==j 

2 print “A”, 

3 else print “(” 

4 ~ PRINT-OPTIMAL-PARENS(s, i, s[i,j]) 

5 PRINT-OPTIMAL-PARENS(s, s[i, j]+1, j) 
6 


print “)” 


对 图 15-5 中 的 例子 ， 调 用 PRINT-OPTIMAL-PARENS(s，1，6) 输 出 括号 化 方案 376 
(CA; (ApAy)) Ai Ag) Ag) 377 


练习 

15.2-1 ”对 和 矩阵 规模 序列 (5，10，3，12，5，50，6)， 求 和 矩阵 链 最 优 括号 化 方案 。 

15.2-2 设计 递归 算法 MATRIX-CHAIN-MULTIPLY(A，s，i，/)， 实 现 和 矩阵 链 最 优 代价 乘法 
计算 的 真正 计算 过 程 ， 其 输入 参数 为 矩阵 序列 (Al，A。,，…，A,);，MATRIX-CHAIN- 
ORDER 得 到 的 表 ;s， 以 及 下 标 i 和;。( 初 始 调 用 应 为 MATRIX-CHAIN-MULTIPLY 
(A, s, 1, n)a) 

15.2-3 用 代入 法 证 明 递 归公 式 (15. 6) 的 结果 为 Q(2") 。 

15.2-4 ”对 输入 链 长 度 为 n 的 矩阵 链 乘法 问题 ， 描 述 其 子 问 题 图 : 它 包含 多 少 个 顶点 ?包含 多 少 
条 边 ? 这 些 边 分 别 连接 哪些 顶点 ? 

15.2-5 $ RG, 让 表示 在 一 次 调用 MATRIX-CHAIN-ORDER 过 程 中 ， 计 算 其 他 表 项 时 访问 表 
项 mLi，jj 的 次 数 。 证 明 : 





RGA) = 2 
i=] joi 


(提示 : 证 明 中 可 用 到 公式 (A. 3) 2) 
15.2-6 证明: 对 ?个 元 素 的 表达 式 进 行 完 全 括号 化 ， 恰 好 需要 n 一 1 对 括号 。 


15.3 动态 规划 原理 


虽然 我 们 已 经 用 动态 规划 方法 解决 了 两 个 问题 ， 但 你 可 能 还 是 弄 不 清 应 该 在 何 时 使 用 动态 
规划 。 从 工程 角度 看 ， 在 什么 情况 下 应 该 寻求 用 动态 规划 方法 求解 问题 呢 ? 在 本 节 中 ， 我 们 关注 B78 
适合 应 用 动态 规划 方法 求解 的 最 优化 间 题 应 该 具备 的 两 个 要 素 : RS SANT AaB. R 
们 还 会 再 次 讨论 备 起 方法 ， BURA RIT E E UB FAA P aE BB Fos DL il HE FE OP AA) FA FP 
题 重 要 特性 。 
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最 优 子 结构 

用 动态 规划 方法 求解 最 优化 问题 的 第 一 步 就 是 刻画 最 优 解 的 结构 。 如 前 文 所 述 ， 如 果 一 个 
问题 的 最 优 解 包含 其 子 问题 的 最 优 解 ， 我 们 就 称 此 问题 具有 最 优 子 结构 性 质 。 因 此 ， 某 个 问题 
是 否 适 合 应 用 动态 规划 算法 ， 它 是 否 具 有 最 优 子 结构 性 质 是 一 个 好 线索 (当然 ， 具 有 最 优 子 结 
构 性 质 也 可 能 意味 着 适合 应 用 贪心 策略 ， 参 见 第 16 章 )。 使 用 动态 规划 方法 时 ， 我 们 用 子 问题 
的 最 优 解 来 构造 原 问 题 的 最 优 解 。 因 此 ， 我们 必须 小 心 确保 考察 了 最 优 解 中 用 到 的 所 有 子 
问题 。 

本 章 到 目前 为 止 介绍 的 两 个 问题 都 具有 最 优 子 结构 性 质 。 在 15. 1 节 中 ， 我 们 观察 到 ， 长 度 
为 对 的 钢 条 的 最 优 切 割 方案 是 由 第 一 次 切割 后 (如 果 最 优 切割 方案 需要 进行 切割 ) 得 到 的 两 段 钢 条 
的 最 优 切割 方案 组 成 的 。 在 15. 2 节 中 ， 我 们 看 到 AAW A 的 最 优 括 号 化 方案 首先 在 A 和 
Ai 之 间 进 行 划 分 ， 然后 对 A Aisi tA, AN A p41 Artt A; 继续 进行 最 优 括号 化 。 

你 会 发 现 ， 在 发 掘 最 优 子 结构 性 质 的 过 程 中 ， 实 际 上 遵循 了 如 下 的 通用 模式 : 

1. 证 明 问 题 最 优 解 的 第 一 个 组 成 部 分 是 做 出 一 个 选择 ， 例 如 ， 选 择 钢 条 第 一 次 切割 位 置 ， 
选择 矩阵 链 的 划分 位 置 等 。 做 出 这 次 选择 会 产生 一 个 或 多 个 待 解 的 子 问题 。 

2. 对 于 一 个 给 定 问 题 ， 在 其 可 能 的 第 一 步 选择 中 ， 你 假定 已 经 知道 哪 种 选择 才 会 得 到 最 优 
解 。 你 现在 并 不 关心 这 种 选择 具体 是 如 何 得 到 的 ， 只 是 假定 已 经 知道 了 这 种 选择 。 

3. 给 定 可 获得 最 优 解 的 选择 后 ， 你 确定 这 次 选择 会 产生 哪些 子 问题 ， 以 及 如 何 最 好 地 刻画 
子 问题 空间 。 

4. 利用 " 剪 切 一 粘贴 (cut-and-paste) 技 术 证 明 : 作为 构成 原 问 题 最 优 解 的 组 成 部 分 ， 每 个 子 
问题 的 解 就 是 它 本 身 的 最 优 解 。 证 明 这 一 氮 是 利用 反 证 法 : 假定 子 问题 的 解 不 是 其 自身 的 最 优 
解 ， 那 么 我 们 就 可 以 从 原 问 题 的 解 中 “前 切 ” 掉 这 些 非 最 优 解 ， 将 最 优 解 “ 粘 贴 ”进去 ， 从 而 得 到 原 
问题 一 个 更 优 的 解 ， 这 与 最 初 的 解 是 原 问 题 最 优 解 的 前 提 假 设 矛 盾 。 如 果 原 问题 的 最 优 解 包含 
多 个 子 问 题 ， 通 常 它们 都 很 相似 ， 我们 可 以 将 针对 一 个 子 问 题 的 “ 剪 切 一 粘贴 ”论证 方法 稍 加 修 
改 ， 用 于 其 他 子 问题 。 

一 个 刻画 子 问 题 空间 的 好 经 验 是 : 保持 子 问 题 空间 尽 可 能 简单 ， 只 在 必要 时 才 扩 展 它 。 例 
如 ， 我 们 在 求解 钢 条 切割 问题 时 ， 子 问题 空间 中 包含 的 问题 为 对 每 个 i 值 ， 长 度 为 i 的 钢 条 的 
最 优 切 割 问题 。 这 个 子 问 题 空间 很 有 效 ， 因 此 我 们 不 必 尝 试 更 一 般 性 (从 而 也 更 大 ) 的 子 问 题 
空间 。 

与 之 相对 的 ， 假 定 我 们 试图 限制 矩阵 链 AA A 乘法 问题 的 子 问题 空间 。 如 前 所 述 ， 最 优 
括号 化 方案 必然 在 某 个 位 置 RAR pM, BVA, 和 Ab 之 间 对 矩阵 链 进行 划 分 。 除 非 我 们 能 保 
证 k 永远 等 于 7 一 1， 否则 我 们 会 发 现 得 到 两 个 形 如 A, A; A, FU Ary Agta tA; 的 子 问 题 ， 而 后 
者 的 形式 与 A1A，…A; 是 不 同 的 。 因 此 ， 对 和 矩阵 链 乘法 问题 ， 我 们 必须 允许 子 问 题 在 “两 端 ”都 可 
以 变化 ， 即 允 许 子 问题 AAA; 中 i FH j 都 可 变 。 

对 于 不 同 问题 领域 ， 最 优 子 结构 的 不 同体 现在 两 个 方面 : 

1. 原 问 题 的 最 优 解 中 涉及 多 少 个 子 问题 ， 以 及 

2. 在 确定 最 优 解 使 用 哪些 子 问题 时 ， 我 们 需要 考察 多 少 种 选择 。 

在 钢 条 切割 问题 中 ， 长 度 为 n 的 钢 条 的 最 优 切 割 方 案 仅 仅 使 用 一 个 子 问题 (长 度 为 n 一 i 的 钢 条 的 
最 优 切 割 )， 但 我 们 必须 考察 i 的 种 不 同 取 值 ， 来 确定 哪 一 个 会 产生 最 优 解 。A;A;iy…A; WE 
阵 链 乘法 问题 中 ， 最 优 解 使 用 两 个 子 问题 ， 我 们 需要 考察 j 一 i 种 情况 。 对 于 给 定 的 矩阵 链 划 分 
位 置 一 一 矩阵 Ay» 我 们 需要 求解 两 个 子 问题 一 一 AAA PI Ar Art A; 的 括号 化 方案 一 一 
而 且 两 个 子 问题 都 必须 求解 最 优 方案 。 一 旦 我 们 确定 了 子 问题 的 最 优 解 ， 就 可 以 在 j 一 i 个 候选 
的 & 中 选取 最 优 者 。 
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我 们 可 以 用 子 问 题 的 总 数 和 每 个 子 问题 需要 考察 多 少 种 选择 这 两 个 因素 的 乘积 来 粗略 分 
析 动 态 规划 算法 的 运行 时 间 。 对 于 钢 条 切割 问题 ， 共 有 68(n) 个 子 问 题 ， 每 个 子 问题 最 多 需 
要 考察 n 种 选择 ， 因 此 运行 时 间 为 O( 吧 ) 。 和 矩阵 链 乘法 问题 共有 (Cn) 个 子 问 题 ， 每 个 子 问 
题 最 多 需要 考察 一 1 种 选择 ， 因 此 运行 时 间 为 O). CRY 15. 2-5 要 求证 明 运 行 时 间 实 际 
为 O(n’) .) 

子 问题 图 也 可 用 来 做 同样 的 分 析 。 图 中 每 个 顶点 对 应 一 个 子 问题 ， 而 需要 考察 的 选择 对 应 
关联 至 子 问题 顶点 的 边 。 回 忆 一 下 ， 钢 条 切割 问题 的 子 问题 图 有 n 个 顶点 ， 每 个 顶点 最 多 nn 条 
边 ， 因 此 运行 时 间 为 OC(xw)。 对 于 矩阵 链 乘 法 问题 ， 子 问题 图 会 有 9(m2) 个 顶点 ， 而 每 个 顶点 最 
多 有 7 一 1 条 边 ， 因 此 共有 OCe ) 个 顶点 和 边 。 

在 动态 规划 方法 中 ， 我 们 通常 自 底 向 上 地 使 用 最 优 子 结构 。 也 就 是 说 ， 首 先 求 得 子 问题 的 最 
优 解 ， 然 后 求 原 问 题 的 最 优 解 。 在 求解 原 问 题 过 程 中 ， 我 们 需要 在 涉及 的 子 问题 中 做 出 选择 ， 选 
出 能 得 到 原 问题 最 优 解 的 子 问题 。 原 问题 最 优 和 解 的 代价 通常 就 是 子 问题 最 优 解 的 代价 再 加 上 由 
此 次 选择 直接 产生 的 代价 。 例 如 ， 对 于 钢 条 切割 问题 ， 我 们 首先 求解 子 问题 ， 确 定 长 度 为 ;一 0， 
l, +, nn 一 1 的 钢 条 的 最 优 切 割 方案 ， 然 后 利用 公式 (15. 2) 确 定 哪个 子 问题 的 解构 成 长 度 为 n 的 
钢 条 的 最 优 切 割 方案 。 此 次 选择 本 身 所 产生 的 代价 就 是 公式 (15. 2) 中 的 p;。 在 矩阵 链 乘法 问题 
中 ， 我 们 先 确定 子 矩 阵 链 AA A 的 最 优 括号 化 方案 ， 然 后 选择 划分 位 置 A;， 选 择 本 身 所 产 
生 的 代价 就 是 p;_1pip;。 

在 第 16 章 中 ， 我 们 将 介绍 “贪心 算法 ”， 它 与 动态 规划 有 很 多 相似 之 处 。 特 别 是 ， 能 够 应 用 
贪心 算法 的 问题 也 必须 具有 最 优 子 结构 性 质 。 贪 心算 法 和 动态 规划 最 大 的 不 同 在 于 ， 它 并 不 是 
首先 寻找 子 问 题 的 最 优 解 ， 然 后 在 其 中 进行 选择 ， 而 是 首先 做 出 一 次 “贪心 ?选择 一 一 在 当时 (局 
部 ) 看 来 最 优 的 选择 一 一 然后 求解 选 出 的 子 问题 ， 从 而 不 必 费 心 求解 所 有 可 能 相关 的 子 问 题 。 令 
人 惊讶 的 是 ， 在 某 些 情况 下 这 一 策略 也 能 得 到 最 优 解 ! 

一 些微 妙 之 处 

在 尝试 使 用 动态 规划 方法 时 要 小 心 ， 要 注意 问题 是 否 具有 最 优 子 结构 性 质 。 考虑 下 面 两 个 
问题 ， 其 中 都 是 给 定 一 个 有 向 图 G 二 (VV，E) 和 两 个 顶点 u, vEV, 

无 权 (unweighted) 最 短路 径 9 : 找到 一 条 从 u 到 v 的 边 数 最 少 的 路 径 。 这 条 路 径 必然 是 简单 
路 径 ， 因 为 如 果 路 径 中 包含 环 ， 将 环 去 掉 显 然 会 减少 边 的 数量 。 

无 权 最 长 路 径 ， 找到 一 条 从 到 vw 的 边 数 最 多 的 简单 路 径 。 这 里 必须 加 上 简单 路 径 的 要 求 ， 
因为 我 们 可 以 不 停 地 沿 着 环 走 ， 从 而 得 到 任意 长 的 路 径 。 

下 面 我 们 证 明 无 权 最 短路 径 问 题 具 有 最 优 子 结构 性 质 。 假 设 v 夭 w， 则 问题 是 非 平 凡 的 。 这 
样 ， 从 到 wv 的 任意 路 径 p 都 必须 包含 一 个 中 间 顶 点 ， 比 如 ww( 注 意 ， 让 可 能 是 x Ro). Ak, 
我 们 可 以 将 路 径 x 心 ”分解 为 两 条 子路 径 x bwo BR, p 的 边 数 等 于 pi 的 边 数 加 上 ps 的 边 
数 。 于 是 ， 我 们 断言 ， 如 果 p EM u 到 vw 的 最 优 ( 即 最 短 ) 路 径 ， 那 么 包 必须 是 从 x Bw 的 最 短 
路 径 。 为 什么 呢 ? 我 们 可 以 用 “ 剪 切 一 粘贴 ?方法 来 证 明 : 如 果 存 在 另 一 条 从 v Bl w WERE pi, 
其 边 数 比 p 少 ， 那 么 可 以 剪 切 掉 库 ， 将 世 粘 贴 上 ， 构 造 出 一 条 比 尹 边 数 更 少 的 路 径 z we v, 
与 p 最 优 的 假设 矛盾 。 对 称 地 ，ps 必须 是 从 w 到 v 的 最 短路 径 。 因 此 ， 我 们 可 以 通过 考察 所 有 
中 间 顶 点 w 来 求 u Blo 的 最 短路 径 ， 对 每 个 中 间 顶 点 w Ru Bw Mw 到 wv 的 最 短路 径 ， 然 后 
选择 两 条 路 径 之 和 最 短 的 顶点 w。 在 25. 2 节 中 ， 我们 将 使 用 这 种 最 优 子 结构 的 一 个 变形 来 求解 
加 权 有 向 图 的 所 有 顶点 对 间 最 短路 径 问题 。 

你 可 能 已 经 倾向 于 假设 无 权 最 长 简单 路 径 问题 也 具有 最 优 子 结构 性 质 。 毕 竟 ， 如 果 我 们 将 





O ”此 处 使 用 术语 “无 权 ”， 是 为 了 将 本 问题 与 加 权 图 最 短路 径 问 题 区 分 开 来 ， 加 权 图 最 短路 径 问 题 将 在 第 24 章 和 第 
25 章 中 介绍 。 我 们 可 以 使 用 第 22 章 中 介绍 的 宽度 优先 搜索 技术 来 求解 无 权 最 短路 径 问 题 。 
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最 长 简单 路 径 x 心 分解 为 子路 径 x A wes v, WE p 不 应 该 是 从 到 ww 的 最 长 简单 路 径 ，p; 不 
应 该 是 从 w 到 w 的 最 长 简单 路 径 吗 ? 但 答案 是 否定 的 ! 图 15-6 给 出 了 一 考虑 路 径 q> 
r>t， 它 是 从 Bt 的 最 长 简单 路 径 。g->r 是 从 TN Pa 
9 到 > 的 最 长 简单 路 径 吗 ? PER, q>s>t>r 
是 一 条 更 长 的 简单 路 径 。 一 > 上 是 从 > 到 t 的 最 长 
简单 路 径 吗 ? 同样 不 是 ，r->g 一 s->t 比 它 更 长 。 Z E 

这 个 例 了 说 明 ， 最 长 简单 路 径 问题 不 仅 缺 图 15-6 ”此 例 显示 了 无 权 有 向 图 最 长 简单 路 径 问题 





乏 最 优 子 结构 性 质 ， 由 子 问题 的 解 组 合 出 的 甚 不 具有 最 优 子 结构 性 质 。 路 径 go 一 ”~ 一 上 是 
至 都 不 是 原 问题 的 “合法 ” 解 。 如 果 我 们 组 合 最 从 g Bit 的 一 条 最 长 简单 路 径 , 但 gq 一 7 不 
长 简单 路 径 q>s>tor 和 一 gqt， 得 到 的 是 从 g 到 7 的 一 条 最 长 简单 路 径 ，r 一 it 同 


是 路 径 v >y >t>r>g>s>t， 并 不 是 简单 咯 径 。 样 不 是 从 r Blt 的 一 条 最 长 简单 路 径 

的 确 ， 无 权 最 长 简单 路 径 问 题 看 起 来 不 像 有 任何 形式 的 最 优 子 结构 。 对 此 问题 尚未 找到 有 效 的 
动态 规划 算法 。 实 际 上 ， 此 问题 是 NP 完全 的 ， 我 们 在 第 34 章 中 将 会 看 到 ， 这 意味 着 我 们 不 太 
可 能 找到 多 项 式 时 间 的 求解 方法 。 

为 什么 最 长 简单 路 径 问 题 的 子 结构 与 最 短路 径 有 这 么 大 的 差别 ? 原因 在 于 ， 虽 然 最 长 路 径 
问题 和 最 短路 径 问题 的 解 都 用 到 了 两 个 子 问 题 ， 但 两 个 最 长 简单 路 径 子 问题 是 相关 的 ， 而 两 个 
最 短路 径 子 问题 是 无 关 的 (independent) 。 这 里 ， 子 问题 无 关 的 含义 是 ， 同 一 个 原 问 题 的 一 个 子 
问题 的 解 不 影响 另 一 个 子 问题 的 解 。 对 图 15-6 中 的 例子 ， 求 BI 的 最 长 简单 路 径 可 en 
两 个 子 问题 : 求 g 到 > 的 最 长 简单 路 径 和 > 到 上 的 最 长 简单 路 径 。 对 于 前 者 ， 我 们 选择 路 径 ao 
s 一 上 >7， 其 中 用 到 了 顶点 5 和 tt。 由 于 两 个 子 问题 的 解 的 组 合 必须 产生 一 条 简单 路 径 ， 因 此 我 
们 在 求解 第 二 个 子 问 题 时 就 不 能 再 用 这 两 个 顶点 了 。 但 如 果 在 求解 第 二 个 子 问题 时 不 允许 使 用 
At, 就 根本 无 法 进行 下 去 了 ， 因 为 上 是 原 问题 解 的 路 径 终 点 ， 是 必须 用 到 的 ， 还 不 像 子 问题 
解 的 “接合 ”顶点 7 那样 可 以 不 用 。 这 样 ， 由 于 一 个 子 问题 的 解 使 用 了 顶点 s 和 zt， 在 男 一 个 子 问 
题 的 解 中 就 不 能 再 使 用 它们 ， 但 其 中 至 少 一 个 顶点 在 求解 第 二 个 子 问题 时 又 必须 用 到 ， 而 获得 
最 优 解 则 两 个 都 要 用 到 。 因 此 ， 我 们 说 两 个 子 问题 是 相关 的 。 换 个 角度 来 看 ， 我 们 所 面临 的 困 
境 就 是 : 求解 一 个 子 问题 时 用 到 了 某 些 资源 (在 本 例 中 是 顶点 ) ， 导 致 这 些 资源 在 求解 其 他 子 问 
题 时 不 可 用 。 

那么 ， 求 解 最 短路 径 的 子 问 题 间 又 为 什么 是 无 关 的 呢 ? 根本 原因 在 于 ， 最 短路 径 子 问题 间 是 
不 共享 资源 的 。 我 们 可 以 断言 ， 如 果 一 个 顶点 也 出 现在 x 到 w 的 最 短路 径 上 ， 那 么 可 以 通过 拼 
接任 意 的 最 短路 径 ud w 和 任意 的 最 短路 径 世 心 z 来 构造 & Blo 的 最 短路 径 。 我 们 可 以 保证 ， 除 
了 w， 其 他 任何 顶点 都 不 会 同时 出 现在 pi Mp 上 。 原 因 何 在 ? 假定 某 个 顶点 Aw 同时 出 现在 
BEE pi Alp. 上 ， 我们 就 可 以 将 pi 分 解 为 wu 各 xz w, Bp. MEA wor Sv. BRERA 
性 质 ， 路 径 p 的 边 数 等 于 pi 和 ps 边 数 之 和 ， 假 定 为 e。 接 下 来 我 们 构造 一 条 u 到 w NRE 
p'=u'sc 各 v。 由 于 已 经 删 掉 xz 到 ww 和 w 到 zz 的 路 径 ， 每 条 路 径 至 少 包含 一 条 边 ， 因 此 之 最 多 
包含 e 一 2 条 边 ， 与 p 为 最 短路 径 的 假设 矛盾 。 因 此 ， 我 们 可 以 保证 最 短路 径 问 题 的 子 问 题 间 是 无 
关 的 。 

15.1 节 和 15.2 节 讨论 的 两 个 问题 都 具有 子 问 题 无 关 性 质 。 在 矩阵 链 乘法 问题 中 ， 子 问题 为 
子 链 A;A ipt Ay, FU Art Apts *A; 的 乘法 问题 。 子 链 是 互 不 相交 的 ， 因此 任何 矩阵 都 不 会 同时 包 
含 在 两 条 子 链 中 。 在 钢 条 切割 问题 中 ， 为 了 确定 长 度 为 n 的 钢 条 的 最 优 切 割 方 案 ， 我 们 考察 所 有 
长 度 为 i(i 二 0，1，…，7 一 1) 的 钢 条 的 最 优 切 割 方案 。 由 于 长 度 为 n 的 问题 的 最 优 解 只 包含 一 个 
子 问题 的 解 (我 们 切 掉 了 第 一 段 )， 子 问题 无 关 性 显然 是 可 以 保证 的 。 

重 登 子 问题 

适合 用 动态 规划 方法 求解 的 最 优化 问题 应 该 具备 的 第 二 个 性 质 是 子 问题 空间 必须 足够 “小 ”， 
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即 问 题 的 递归 算法 会 反复 地 求解 相同 的 子 问题 ， 而 不 是 一 直 生 成 新 的 子 问题 。 一 般 来 讲 ， 不 同 子 
问题 的 总 数 是 输入 规模 的 多 项 式 函 数 为 好 。 如 果 递 归 算 法 反复 求解 相同 的 子 问题 ， 我 们 就 称 最 
优化 问题 具有 重 又 子 问 题 (overlapping subproblems) 性 质 S 。 与 之 相对 的 ， 适 合用 分 治 方法 求解 的 
问题 通常 在 递归 的 每 一 步 都 生成 全 新 的 子 问题 。 动 态 规 划算 法 通常 这 样 利用 重合 子 问 题 性 质 : 
对 每 个 子 问题 求解 一 次 ， 将 解 存 人 一 个 表 中 ， 当 再 次 需要 这 个 子 问题 时 直接 查 表 ， 每 次 查 表 的 代 
价 为 常量 时 间 。 

在 15.1 节 中 ， 我们 简单 分 析 了 钢 条 切割 问题 的 递归 算法 是 如 何 通过 指数 次 的 递归 调用 来 求 
解 小 的 子 问题 。 而 我 们 的 动态 规划 算法 将 运行 时 间 从 递归 算法 的 指数 阶 降 为 平方 阶 。 

为 了 详细 说 明 重 合子 问题 性 质 ， 我 们 重新 考察 矩阵 链 乘 法 问题 。 我 们 再 看 图 15-5， 发 现 
MATRIX-CHAIN-ORDER 在 求解 高 层 的 子 问题 时 ,会 反复 查找 低层 上 子 问 题 的 解 。 例 如 ， 算 法 
会 访问 表 项 m[3，4]4 次 : 分 别 在 计算 mL2，4j]、m[L1，4]、mL3，5j 和 mL3，6j 时 。 如 果 我 们 每 
次 都 重新 计算 mL3，4]j， 而 不 是 简单 地 查 表 ， 那 么 运行 时 间 会 急剧 上 升 。 为 了 更 好 地 理解 ， 请 看 
下 面 的 递归 过 程 ， 它 计 算 和 矩阵 链 乘 法 As TAA "A 所 需 最 少 标量 乘法 运算 次 数 m[i， jJ» 而 
计算 过 程 是 低 效 的 。 这 个 过 程 直接 基于 递归 式 415. 7). 


RECURSIVE-MATRIX-CHAIN(), i,j) 
1 ifi==j 
2 return 0 
3 mli,j =o 
4 fork =itoj—l 
5 ¢ = RECURSIVE-MATRIX-CHAIN (p,i,k) 
+ RECURSIVE-MATRIX-CHAIN (p,k+1,j) 


+ p;_ipip; 
6 if aml i,j ] 
7 mLi,j =q 


8 return m[i,7 | 


图 15-7 显示 了 调用 RECURSIVE-MATRIX-CHAIN(p，1，4) 所 产生 的 递归 调用 树 。 每 个 结 
点 都 标记 出 了 参数 i 和 j。 可 以 看 到 ， 某 些 i、j 值 对 出 现 了 许多 次 。 
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棵 阴影 子 树 的 计算 ， 在 MEMOIZED-MATRIX-CHAIN 中 被 一 次 查 表 操 作 代 符 


实际 上 ， 我 们 可 以 证 明 此 过 程 计算 m[1， 妆 的 时 间 至 少 是 ”的 指数 函数 。 令 Tn) RM 
RECURSIVE-MATRIX-CHAIN 计算 ”个 矩阵 的 矩阵 链 的 最 优 括号 化 方案 所 花费 的 时 间 。 由 于 第 


O ”一 个 问题 是 否 适 合用 动态 规划 求解 同时 依赖 于 子 问题 的 无 关 性 和 重 释 性 ， 这 看 起 来 很 奇怪 。 虽 然 这 两 个 要 求 听 
起 来 似乎 是 矛盾 的 ， 但 它们 描述 的 是 不 同 的 概念 ， 而 不 是 同一 个 坐标 轴 上 的 两 个 点 。 两 个 子 问题 如 果 不 共 享 资 
源 ， 它 们 就 是 独立 的 。 而 重合 是 指 两 个 子 问 题 实际 上 是 同一 个 子 问 题 ， 只 是 作为 不 同 问题 的 子 问题 出 现 而 已 。 
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1~2 行 和 第 6 一 7 行 至 少 各 花费 单位 时 间 ， 第 5 行 的 加 法 运算 也 是 如 此 ， 因 此 我 们 得 到 如 下 递 
385] ” 归 式 : 
T(1) 宇 1 


Tn) 之 1 十 有 1 


&) 的 形式 出 现 了 一 次 ， WRATH RINT eal ed a ba N is l, AELA 
BA: 


nl 
T(n) >2X TG) +n (15. 8) 
i 一 1 


下 面 用 代入 法 证 明 T(n) 二 QC2")。 特 别 地 ， 我 们 将 证 明 ， 对 所 有 nl, TWM 都 成 立 。 
基本 情况 很 简单 ， 因 为 T(1) 宇 1 二 2， 利 用 数学 归纳 法 ， 对 z 之 2， 我 们 有 


n—l m2 
TM 2,2 +n = 29,2 +n = 22 — 1) +n (由 公式 (A. 5)) 


一 2 一 2 十 2 27 
因此 ， 调 用 RECURSIVE-MATRIX-CHAIN(p，1，n) 所 做 的 总 工作 量 至 少 是 n 的 指数 函数 。 

将 此 自 顶 向 下 的 递归 算法 (无 备 忘 ) 与 自 底 向 上 的 动态 规划 算法 进行 比较 ， 后 者 要 高 效 得 多 ， 
因为 它 利 用 了 重 益 子 问题 性 质 。 和 矩阵 链 乘法 问题 只 有 OG ) 个 不 同 的 子 问题 ， 动 态 规划 算法 对 每 
个 子 问 题 只 求解 一 次 。 而 递归 算法 则 相反 ， 对 每 个 子 问题 ， 每 当 在 递归 树 中 (递归 调用 时 ) 遇 到 
它 ， 都 要 重新 计算 一 次 。 凡 是 一 个 问题 的 自然 递归 算法 的 递归 调用 树 中 反复 出 现 相 同 的 子 问题 ， 

386) ”而 不 同 子 问题 的 总 数 很 少时 ， 动 态 规 划 方 法 都 能 提高 (有 时 还 是 极 大 地 提高 ) 效 率 。 

重 构 最 优 解 

从 实际 考虑 ， 我 们 通常 将 每 个 子 问题 所 做 的 选择 存在 一 个 表 中 ， 这 样 就 不 必 根 据 代 价值 来 
重 构 这 些 信息 。 

对 矩阵 链 乘 法 问题 ， 利 用 表 sL[i，;]， 我 们 重 构 最 优 解 时 可 以 节省 很 多 时 间 。 假 定 我 们 没有 
维护 sli, jR, REER m[Li， 站 中 记录 了 子 问题 的 最 优 代 价 。 当 我 们 确定 AAW A 的 最 优 
括号 化 方案 用 到 了 哪些 子 问题 时 ， 就 需要 检查 所 有 7 一 : 种 可 能 ， 而 7 一 ;并 不 是 一 个 常数 。 因 此 ， 
对 一 个 给 定 问 题 的 最 优 解 ， 重 构 它 用 到 了 哪些 子 问题 就 需 花 费 OG —D =o DANE. Mi 
sli, JI PRE AA A 的 划分 位 置 ， 我 们 重 构 每 次 选择 只 需 OM ATA. 

备 忘 

如 我 们 在 15. 1 节 钢 条 切割 问题 中 所 见 ， 我 们 可 以 保持 自 顶 向 下 策略 ， 同 时 达到 与 自 底 向 上 
动态 规划 方法 相似 的 效率 。 思 路 就 是 对 自然 但 低 效 的 递归 算法 加 入 备 忘 机 制 。 与 自 底 向 上 方法 
一 样 ， 我 们 维护 一 个 表 记 录 子 问题 的 解 ， 但 仍 保持 递归 算法 的 控制 流程 。 

带 备 忘 的 递归 算法 为 每 个 子 问题 维护 一 个 表 项 来 保存 它 的 解 。 每 个 表 项 的 初 值 设 为 一 个 特 
殊 值 ， 表 示 尚 未 填 人 子 问题 的 解 。 当 递归 调用 过 程 中 第 一 次 遇 到 子 问题 时 ， 计 算 其 解 ， 并 存 人 对 
应 表 项 。 随 后 每 次 遇 到 同一 个 子 问题 ， 只 是 简单 地 查 表 ， 返 回 其 解 ? 。 

下 面 给 出 的 是 带 备 忘 的 RECURSIVE-MATRIX-CHAIN 版 本 。 注 意 它 与 带 备 忘 的 自 顶 向 下 

钢 条 切割 算法 的 相似 之 处 。 


MEMOIZED-MATRIX-CHAIN (p) 


O 这 种 方法 假定 我 们 预先 已 经 知道 所 有 可 能 的 子 问 题 参 数 ( 子 问题 空间 ) ， 并 已 在 表 项 和 子 问题 间 建 立 起 对 应 关系 。 
另 一 个 更 通用 的 备 忘 方法 是 使 用 散 列 技术 ， 以 子 问 题 参数 为 关键 字 。 
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n= p. length—1 
let m[1..n,1..n]be a iew table 
for: = 1 ton 
for j =iton 
mLi,j ]=0o 


return LOOKUP-CHAIN(m, D> 1, n) 


mam OO e CH N FF 


LOOKUP-CHAIN(m, p, i, j) 
1 if mli, j }<co 
2 return mli, j] 
3 这 ;一 一 7/ 
4 m[i,;]=0 
5 else fork = i toj—1 
6 q = LOOKUP-CHAIN(m, p, i, k) 
+ LOOKUP-CHAIN(m, p, kt1, j) + pi- Pih; 

7 if g < mli,j] 

8 mlisj]=¢ 

9 return mli,j] 

MEMOIZED-MATRIX-CHAIN 与 MATRIX-CHAIN-ORDER 一 样 维 护 一 个 表 m[1..n, 
1. .nj]， 来 保存 计算 出 的 矩阵 A;.; 的 最 小 计算 代价 mLi，;j。 每 个 表 项 被 初始 化 为 eo， 表示 还 未 
存 人 过 值 。 调 用 LOOKUP-CHAIN(m, p, i, PET, WRR 1 TAM mli, j]<oo, PABA 
之 前 已 经 计算 出 的 代价 mi 718 27); 否则 ， 像 RECURSIVE-MATRIX-CHAIN 一 样 计算 最 
WR, FA mli, j], FRE. Ak, BS LOOKUP-CHAIN(m, p, i, AERE mli, j] 
的 值 ， 但 只 在 第 一 次 (以 特定 的 参数 ;和 7 ) 调 用 时 才 真 正 计算 。 

图 15-7 说 明了 与 RECURSIVE-MATRIX-CHAIN 相 比 ，MEMOIZED-MATRIX-CHAIN 是 
如 何 节省 时 间 的 。 阴 影子 树 表示 那些 直接 查 表 获得 而 非 重 新 计算 的 值 。 

与 自 底 向 上 动态 规划 算法 MATRIXCHAIN-ORDER 类 似 ，MEMOIZED-MATRIX-CHAIN 
的 运行 时 间 为 O), MEMOIZED-MATRIX-CHAIN 的 第 5 行 运 行 了 OC) mK. RIIT AUK Ht 
LOOKUP-CHAIN 的 调用 分 为 两 类 

1. 调用 时 mli, j=, ALS 3 一 9 行 会 执行 。 

2. 调用 时 mli, j]<oo, it LOOKUP-CHAIN 执行 第 2 行 ， 简 单 返 回 值 。 
第 一 种 调用 会 发 生 On ) 次 ， 每 个 表 项 一 次 。 第 二 种 调用 均 为 第 一 种 调用 所 产生 的 递归 调用 。 而 
无 论 何 时 一 个 LOOKUP-CHAIN 的 调用 继续 进行 递归 调用 ， 都 会 产生 O(Cz) 次 递归 调用 。 因 此 ， 
第 二 种 调用 共有 OG ) 次 ， 每 次 花费 O(1) 时 间 ， 而 第 一 种 调用 每 次 花费 O(n) 时 间 再 加 上 它 产 生 
的 递归 调用 的 时 间 。 因 此 ， 算 法 的 总 时 间 为 OC(mw*)， 备 忘 技术 将 一 个 QC(2") 时 间 的 算法 转换 为 一 
个 OC ) 时 间 的 算法 。 

总 之 ， 为 求解 矩阵 链 乘 法 问题 ， 我 们 既 可 以 用 带 备 忘 的 自 顶 向 下 动态 规划 算法 ， 也 可 以 用 自 
底 向 上 的 动态 规划 算法 ， 时 间 复 杂 性 均 为 OC(w)。 两 种 方法 都 利用 了 重 盖子 问题 性 质 。 不 同 的 子 
问题 一 共 只 有 B(x ) 个 ， 对 每 个 子 问题 ， 两 种 方法 都 只 计算 一 次 。 而 没有 备 忘 机 制 的 自然 递归 算 
法 的 运行 时 间 为 指数 阶 ， 因 为 它 会 反复 求解 相同 的 子 问题 。 

通常 情况 下 ， 如 果 每 个 子 问 题 都 必须 至 少 求解 一 次 ， 自 底 向 上 动态 规划 算法 会 比 自 顶 向 下 
备 忘 算法 快 (都 是 OG ) 时 间 ， 相 差 一 个 常量 系数 )， 因 为 自 底 向 上 算法 没有 递归 调用 的 开销 ， 表 
的 维护 开销 也 更 小 。 而 且 ， 对 于 某 些 问题 ， 我 们 可 以 利用 表 的 访问 模式 来 进一步 降低 时 空 代 价 。 
相反 ， 如 果子 问题 空间 中 的 某 些 子 问题 完全 不 必 求 解 ， 备 忘 方法 就 会 体现 出 优势 了 ， 因 为 它 只 会 
求解 那些 绝对 必要 的 子 问题 。 


222 。 第 四 部 分 高 级 设计 和 分 析 技 术 


练习 


15.3-1 对 于 矩阵 链 乘 法 问题 ， 下 面 两 种 确定 最 优 代价 的 方法 哪 种 更 高 效 ? 第 一 种 方法 是 穷 举 所 
有 可 能 的 括号 化 方案 ， 对 每 种 方案 计算 乘法 运算 次 数 ,， 第 二 种 方法 是 运行 
RECURSIVE-MATRIX-CHAIN, 证 明 你 的 结论 。 

15.3-2 对 一 个 16 个 元 素 的 数组 ， 画 出 2. 3. 1 节 中 MERGE-SORT 过 程 运 行 的 递归 调用 树 。 解 
释 备 忘 技术 为 什么 对 MERGE-SORT 这 种 分 治 算法 无 效 。 

15.3-3 ”考虑 矩阵 链 乘 法 问题 的 一 个 变形 ,目标 改 为 最 大 化 矩阵 序列 括号 化 方案 的 标量 乘法 运算 
次 数 ， 而 非 最 小 化 。 此 问题 具有 最 优 子 结构 性 质 吗 ? 

15.3-4 ”如 前 所 述 ， 使 用 动态 规划 方法 ， 我 们 首先 求解 子 问题 ， 然 后 选择 哪些 子 问题 用 来 构造 原 
问题 的 最 优 解 。Capulet 教授 认为 ， 我 们 不 必 为 了 求 原 问题 的 最 优 解 而 总 是 求解 出 所 有 
子 问题 。 她 建议 ， 在 求 矩 阵 链 乘法 问题 的 最 优 解 时 ， 我 们 总 是 可 以 在 求解 子 问题 之 前 选 
EAA A; WRIA A, GEEK k IEI pH pd; 最 小 )。 请 找 出 一 个 反例 ， 证 明 这 
个 贪心 方法 可 能 生成 次 优 解 。 

15.3-5 对 15.1 节 的 钢 条 切割 问题 加 入 限制 条 件 : 假定 对 于 每 种 钢 条 长 度 i(i=1，2，…，n 一 1)， 
最 多 允许 切割 出 4 有 段 长 度 为 i 的 钢 条 。 证 明 : 15. 1 节 所 描述 的 最 优 子 结构 性 质 不 再 成 立 。 

15.3-6 ”假定 你 希望 兑换 外 汇 ， 你 意识 到 与 其 直接 兑换 ， 不 如 进行 多 种 外 币 的 一 系列 兑换 ， 最 后 
兑换 到 你 想 要 的 那 种 外 币 ， 可 能 会 获得 更 大 收益 。 假 定 你 可 以 交易 ”种 不 同 的 货币 ， 编 
号 为 1，2，…，7， 部 换 从 1 号 货币 开始 ， mA HRW n 号 货币 。 对 每 两 种 货币 i Al j 9 
给 定 汇 率 r; ， 意 味 着 你 如 果 有 d 个 单位 的 货币 ;， 可 以 兑换 dri 个 单位 的 货币 7。 进 行 一 
系列 的 交易 需要 支付 一 定 的 佣金 ， 金 额 取决 于 交易 的 次 数 。 令 cs 表示 上 次 交易 需要 支付 
的 佣金 。 证 明 : 如 果 对 所 有 二 1，2，…，n，c 二 0， 那 么 寻找 最 优 兑 换 序列 的 问题 具 
有 最 优 子 结构 性 质 。 然 后 请 证 明 ， 如 果 佣 金 c 为 任意 值 ， 那 么 问题 不 一 定 具 有 最 优 子 结 
构 性 质 。 


15.4 最 长 公共 子 序列 


在 生物 应 用 中 ， 经 常 需要 比较 两 个 (或 多 个 ) 不 同 生 物体 的 DNA. 一 个 DNA 串 由 一 串 称 为 碱 基 
(base) 的 分 子 组 成 ， 碱 基 有 腺 味 哈 、 乌 味 哈 、 胞 喀 啶 和 胸腺 喀 啶 4 种 类 型 。 我 们 用 英文 单词 首 字 母 表 
示 4 种 碱 基 ， 这 样 就 可 以 将 一 个 DNA 串 表示 为 有 限 集 {(A，C，G，T)} 上 的 一 个 字符 串 ( 参 见 附录 C 中 
对 字符 串 的 定义 )。 例 如 ， 某 种 生物 的 DNA 可 能 为 Sı =ACCGGTCGAGTGCGCGGAAGCCGGCCGAA, 
另 一 种 生物 的 DNA 可 能 为 S, = GTCGTTCGGAATGCCGTTGCTCTGTAAA, 我 们 比较 两 个 
DNA 串 的 一 个 原因 是 希望 确定 它们 的 “相似 度 ”， 作 为 度量 两 种 生物 相近 程度 的 指标 。 我 们 可 以 用 
很 多 不 同 的 方式 来 定义 相似 度 ， 实 际 上 也 确实 已 经 出 现 了 很 多 相似 度 的 定义 。 例 如 ， 如 果 一 个 
DNA 串 是 另 一 个 DNA 串 的 子 串 ， 那 么 可 以 说 它们 是 相似 的 (第 32 章 讨论 了 如 何 求解 此 问题 )。 但 
在 我 们 的 例子 中 ，S AS, 都 不 是 对 方 的 子 串 。 我 们 还 可 以 这 样 来 定义 相似 性 ;如果 将 一 个 串 转换 
为 另 一 个 串 所 需 的 操作 很 少 ， 那 么 可 以 说 两 个 串 是 相似 的 (思考 题 15-5 讨论 了 此 概念 ) 。 另 一 种 衡 
量 串 S AS, 的 相似 度 的 方式 是 : 寻找 第 三 个 串 S; ， 它 的 所 有 碱 基 也 都 出 现在 S 和 Ss 中 ， 且 在 三 
个 串 中 出 现 的 顺序 都 相同 ， 但 在 S, AS, 中 不 要 求 连 续 出 现 。 可 以 找到 的 S 越 长 ， 就 可 以 认为 S 
ANS, 的 相似 度 越 高。 在 我 们 的 例子 中 ， 最 长 的 S: 为 GTCGTCGGAAGCCGGCCGAA。 

我 们 将 最 后 一 种 相似 度 的 概念 命名 为 最 长 公共 子 序列 问题 。 一 个 给 定 序列 的 子 序列 ， 就 是 将 给 定 
序列 中 零 个 或 多 个 元 素 去 掉 之 后 得 到 的 结果 。 其 形式 化 定义 如 下 : 给 定 一 个 序列 X= n, m es 
mds FAAS FPN Z=, z2 ts STAM PAT ERA X 的 子 序列 (subsequence) ， 即 存在 一 个 
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严格 递增 的 X 的 下 标 序列 (an， Tzs tts tp)» 对 所 有 7 一 1， 2, ety k, 满足 zx; = zo 例如 ， Z=(B, 
C, D, B) 是 X=(A4，B,，C，B，D，A，B) 的 子 序列 ， 对 应 的 下 标 序列 为 (2，3，5，7)。 

给 定 两 个 序列 关 和 Y， 如 果 Z 既是 X 的 子 序列 ， 也 是 Y TFI, RIRE X AY KA 
共 子 序列 (common subsequence), fa, We X=<(A, B, C, B, D, A, B}, Y=<(B, D, C, 
A, B, A), 那么 序列 (.B，C，A) 就 是 XX 和 YY 的 公共 子 序列 。 但 它 不 是 X 和 YY 的 最 长 公共 子 序 
列 (LCS) ， 因 为 它 长 度 为 3， 而 (B，C，B，A) 也 是 X 和 Y 的 公共 子 序列 ， 其 长 度 为 4。(〈 了 ，C， 
B，A4) 是 X 和 YY 的 最 长 公共 子 序 列 ，(B，D，A4A，B) 也 是 ， 因 为 X 和 了 不 存在 长 度 大 于 等 于 5 
的 公共 子 序 列 。 

最 长 公共 子 序列 问题 (longest-common-subsequence problem) 给 定 两 个 序列 X=(215 Zoo oes 
Lm YSyi ，2，…，y)， 求 和 和 了 长 度 最 长 的 公共 子 序 列 。 本 节 将 展示 如 何 用 动态 规划 方 
法 高 效 地 求解 LCS 问题 。 

DR 1: 刻画 最 长 公共 子 序列 的 特征 

如 果 用 暴力 搜索 方法 求解 LCS 问题 ， 就 要 穷 举 X 的 所 有 子 序列 ， 对 每 个 子 序列 检查 它 是 否 
也 是 Y 的 子 序列 ,记录 找到 的 最 长 子 序 列 。X 的 每 个 子 序 列 对 应 X 的 下 标 和 集合 
(1，2，…，7) 的 一 个 子 集 ， 所 以 X 有 2” 个 子 序列 ， 因 此 暴力 方法 的 运行 时 间 为 指数 阶 ， 对 较 
长 的 序列 是 不 实用 的 。 

但 是 ， 如 下 面 的 定理 所 示 ，LCS 问题 具有 最 优 子 结构 性 质 。 我 们 将 看 到 ， 子 问题 的 自然 分 
类 对 应 两 个 输入 序列 的 “前 级” 对 。 前 缀 的 严谨 定义 如 下 : 给 定 一 个 序列 X= Ca Lr, ty, Ins 
对 i 二 0，1，…，m， 定 义 X 的 第 i 前 缀 为 X; 二 xi，zxs，…，zi)。 例 如 ， Æ X=, B, C, B, 
D, A, B), W X,=<A, B, C, B), X% 为 空 串 。 

定理 15. (LCS 的 最 优 子 结构 ) A XS, T2, > Lm PYSY ys 8s VI AALS 
Bil, Z=lzs zs s BIA X FEY HER LCS. 

1. 如 果 Im = Yno M) Zr = Lm = Y, 且 C 是 X 1 和 YI 的 一 个 LCS, 

2. 如 果 ImF Ins MA Frm 意味 着 Z 是 X。 1 和 了 的 一 个 LCS, 

3. WRAY,» PMAzx~y, 意味 着 了 是 X 和 Y — A LCS., 

证 明 (1) WR Az,» MAM UK x, =y, 追加 到 2Z 的 末尾 ， 得 到 X 和 YY 的 一 个 长 度 为 
k 十 1 的 公共 子 序列 , 与 Z 是 X 和 YY 的 最 长 公共 子 序列 的 假设 了 矛盾。 因此， 必然 有 二 zn 二 Yro 
这 样 ， 前 级 Z_1 是 XX,_!1 和 YY, 的 一 个 长 度 为 一 1 的 公共 子 序列 。 我 们 希望 证 明 它 是 一 个 LCS。 
利用 反 证 法 ,假设 存在 XL 和 了 :的 一 个 长 度 大 于 & 一 1 的 公共 子 序列 W， 则 将 zc, =, 追加 到 
W 的 末尾 会 得 到 X 和 了 的 一 个 长 度 大 于 & WGI RS, AB. 

(2) WR Atn, A ZÆ Xm MY 的 一 个 公共 子 序列 。 如 果 存 在 Xm 和 了 的 一 个 长 度 大 
于 & 的 公共 子 序列 W， 那 么 W 也 是 XX;, MY 的 公共 子 序列 ， 与 Z 是 X AY 的 最 长 公共 子 序列 的 
假设 矛盾 。 

(3) 与 情况 (2) 对 称 。 a 

定理 15. 1 告诉 我 们 ， 两 个 序列 的 LCS 包含 两 个 序列 的 前 缀 的 LCS。 因 此 ，LCS 问题 具有 最 
优 子 结构 性 质 。 我 们 马上 还 会 看 到 ， 其 递归 算法 也 具有 重 登 子 问题 性 质 。 

步骤 2: 一 个 递归 解 

定理 15. 1 意味 着 ， 在 求 X= 《zi Trs Tm 和 Y= 二 (yy s yx) 的 一 个 LCS 时 ,我 
们 需要 求解 一 个 或 两 个 子 问 题 。 如 果 Lm T Yn’ 我 们 应 该 求解 Xm- 和 Xi 的 一 个 LCS. 将 Xm — Yn 
追加 到 这 个 LCS 的 末尾 ， 就 得 到 AX AMY ALCS. WMR tn Ay, BRNO ATT A: 
K Xm 和 了 的 一 个 LCS 与 X 和 YY-: 的 一 个 LCS。 两 个 LCS 较 长 者 即 为 X 和 YY 的 一 个 LCS。 由 
于 这 些 情 况 覆 盖 了 所 有 可 能 性 ， 因 此 我 们 知道 必然 有 一 个 子 问题 的 最 优 解 出 现在 X 和 YY 的 
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LCS 中 。 

我 们 可 以 很 容易 看 出 LCS HEKETEA. ATR X MY 的 一 个 LCS， 我 们 可 能 需 
要 求 X 和 os 的 一 个 LCS 及 Xm- 和 Y 的 一 个 LCS, 但 是 这 几 个 子 问题 都 包含 求解 | 和 | 
的 LCS 的 子 子 问题 。 很 多 其 他 子 问题 也 都 共享 子 子 问 题 。 

与 矩阵 链 乘法 问题 相似 ， 设 计 LCS 问题 的 递归 算法 首先 要 建立 最 优 解 的 递归 式 。 我 们 定义 
cli, JIR; X: ALY; 的 LCS 的 长 度 。 如 果 i 二 0 或 7 二 0， 即 一 个 序列 长 度 为 0， 那么 LCS 的 长 度 
为 0。 根据 LCS 问题 的 最 优 子 结构 性 质 ， 可 得 如 下 公式 : 


0 若 i1 二 0 或 = 二 0 
tt #ij>O0Haz=y, (15. 9) 
: max(cLi,j—l],cli—1,j]) #ij>0B 2,434, 

WE SEB AP, BTR A Re RRS. Yay, RAN 
可 以 而 且 应 该 求解 子 问题 : XM Yi-: 的 一 个 LCS。 否 则 ， 应 该 求解 两 个 子 问题 ，X; MY 
一 个 LCS 及 X- M Y; 的 一 个 LCS。 在 之 前 讨论 过 的 钢 条 切 制 问 题 和 和 矩阵 链 乘 法 问题 的 动态 规划 
算法 中 ， 根 据 问题 的 条 件 ， 我 们 没有 排除 任何 子 问题 。 不 过 ，LCS 问题 并 非 唯一 根据 条 件 排 除 
子 问 题 的 动态 规划 算法 。 例 如 ， 编 辑 距离 问题 ( 见 思考 题 15-5) 也 具有 这 种 特点 。 

步骤 3: 计算 LCS 的 长 度 

根据 公式 (15. 9)， 我 们 可 以 很 容易 地 写 出 一 个 指数 时 间 的 递归 算法 来 计算 两 个 序列 的 LCS 
的 长 度 。 但 是 ， 由 于 LCS 问题 只 有 8(《mn) 个 不 同 的 子 问 题 ， 我 们 可 以 用 动态 规划 方法 自 底 向 上 
地 计算 。 

过 程 LCS-LENGTH 接受 两 个 序列 = (rx, Tzs s, Zn 和 ť (Yis Yoo os Vn) ARIA. 
它 将 cli, jj 的 值 保 存在 表 cL0. .m，0. .nj 中 ， 并 按 行 主 次 序 (row-major order) 计 算 表 项 ( 即 首先 
由 左 至 右 计算 c 的 第 一 行 ， 然 后 计算 第 二 行 ， 依 此 类 推 )。 过 程 还 维护 一 个 表 OL1..m, 1..n], 
帮助 构造 最 优 解 。bLi，jj] 指 向 的 表 项 对 应 计算 cli, GIN AEM SMR. TRA b 
Alzec, cm, n\RAT X MY KW LCS 的 长 度 。 


LCS-LENGTH(X,Y) 
1 m=X. length 

2 n=Y. length 

3 let b[1..m,1..n]and c[l0..m,0..n]|be new tables 
4 for: = l1tom 

5 clLi,0]=0 

6 forj = 0 ton 

7 cL0,7 ]=0 

8 for i=1 tom 

9 for j=l ton 

10 if z; == y; 

11 cli ,j]=cLi—1,j—1]+1 

12 blij] =N?” 

13 elseif cLi—1,j ]2cLli,j—1] 

14 cLisj]=cLi—1,j] 

15 aLi j]=“ 4” 

16 else cLi,j J=cli,j—1] 

17 bli, j] =“ 


18 return c and b 


图 15-8 显示 了 LCS-LENGTH 对 输入 序列 X=<(A, B, C, B, D, A, BA Y=<B, D, C, 
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A，B，A) 生 成 的 结果 。 过 程 的 运行 时 间 为 (mn)， 因 为 每 个 表 项 的 计算 时 间 为 00). 





Pedi Rage ite 
ay 
ets i 
EER. Bs 
it A 
i) 
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图 15-8 ”图 中 给 出 了 LCS-LENGTH xf X=(A, B, C, B, D, A, B) 和 Y=(B, D, C, A, B, A) 
计算 出 的 表 c 和 表 45。 第 i 行 和 第 ; 列 的 方 格 包含 了 cLi， IKEA blis J HoRH AK. K 
项 cL7，61( 表 的 右 下 角 ) 中 的 4 即 为 XX 和 YY 的 一 个 LCS(B，C，B，A) 的 长 度 。 对 所 有 i, 
j>0, RU c[i， 门 仅 依赖 于 是 否 z; 二 yj 以 及 c[i 一 1， j] cli, J 一 1 和 cLi 一 1，j 一 1j 的 
值 ， 这 些 值 都 会 在 cL[i， 门 之 前 计算 出 来 。 为 了 构造 LCS 中 的 元 素 ， 从 右 下 角 开 始 沿 着 
b[Li，jj 的 箭头 前 进 即 可 ， 如 图 中 阴影 方 格 序 列 。 阴 影 序列 中 每 个 ^ 作 ”对 应 的 表 项 (高 亮 
显示 ) 表 示 n= y 是 LCS 的 一 个 元 素 


步骤 4: 构造 LCS 

我 们 可 以 用 LCS-LENGTH 返回 的 表 b REE X= ts 22s ts Lm? M YSyi, Ys s 
多 ?的 LCS， 只 需 简单 地 从 bLm，nj 开 始 ， 并 按 箭头 方向 追踪 下 去 即 可 。 当 在 表 项 bli, 7 中 过 到 
一 个 “< "时 ， 意 味 着 n= y 是 LCS 的 一 个 元 素 。 按 照 这 种 方法 ， 我 们 可 以 按 道 序 依次 构造 出 
LCS 的 所 有 元 素 。 下 面 的 递归 过 程 会 按 正 确 的 顺序 打印 出 X 和 Y 的 一 个 LCS。 对 它 的 起 始 调用 
为 PRINT-LCS(b, X, X. length, Y. length). 


PRINT-LCS(6,X, i, j) 
1 if <==0 or ;==0 

2 return 

3 ifbli j] ==” 

4 ‘PRINT-LCS(b, X, i-1, j-D 
5 print z; 

6 elseif b[i, j |==“ 4” 

7. PRINT-LCS(6,X, i—1, j) 

8 else PRINT-LCS(,X, i, j—1) 


对 图 15-8 中 的 表 6， 此 过 程 会 打印 出 BCBA。 过 程 的 运行 时 间 为 OCm 十 n)， 因 为 每 次 递归 调用 i 
和 7 至 少 有 一 个 会 减少 1 

算法 改进 

一 旦 设计 出 一 个 算法 ， 通 常情 况 下 你 都 会 发 现 它 在 时 空 开销 上 有 改进 的 余地 。 一 些 改 进 可 
以 简化 代码 ， 将 性 能 提高 常数 倍 ， 但 除 此 之 外 不 会 产生 性 能 方面 的 渐 近 性 提升 。 而 另 一 些 改进 可 
以 带 来 时 空 上 巨大 的 渐 近 性 提升 。 

例如 ， 对 LCS 算 法 ， 我们 完全 可 以 去 掉 表 6。 每 个 cL[i， 门 项 只 依赖 于 表 c 中 的 其 他 三 项 : 
elil jd. cli, j 一 1 和 elmli TFL 给 定 cLi, 7 的 值 ， 我 们 可 以 在 O(1) 时 间 内 判断 出 在 
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计算 cli, 站 时 使 用 了 这 三 项 中 的 哪 一 项 。 因 此 ， 我们 可 以 用 一 个 类 似 PRINT-LCS 的 过 程 在 
OCm 十 n) 时 间 内 完成 重 构 LCS 的 工作 ， 而 且 不 必 使 用 表 56。 但 是 ， 虽 然 这 种 方法 节省 了 BCmn) 的 
空间 ， 但 计算 LCS 所 需 的 辅助 空间 并 未 渐 近 减少 ， 因 为 无 论 如 何 表 c 都 需要 BCmmn) 的 空间 。 

不 过 ，LCS-LENGTH 的 空间 需求 是 可 以 渐 近 减少 的 ， 因 为 在 任何 时 刻 它 只 需要 表 c 中 的 两 
行 : 当前 正在 计算 的 一 行 和 前 一 行 (实际 上 ， 练 习 15. 4-4 要 求 设 计 一 个 算法 ， 只 使 用 一 行 多 一 点 
的 空间 来 计算 LCS 的 长 度 ) 。 如 果 我 们 只 需 计算 LCS 的 长 度 ， 这 一 改进 是 有 效 的 。 但 如 果 需 要 重 
构 LCS 中 的 元 素 ， 这 么 小 的 表 空 间 所 保存 的 信息 不 足以 在 OClm 十 n) 时 间 内 完成 重 构 工作 。 


练习 

15.4-1 求 (1，0，0，1，0，1，0，1 和 (0，1，0，1，1，0，1，1，0) 的 一 个 LCS, 

15.4-2 ”设计 伪 代 码 ， 利 用 完整 的 表 c KERRI] X= tis 22, ts Tm) A Y=(y, dor s 
Yn RET LCS， 要 求 运行 时 间 为 Ontan), PRENK b. 

15.4-3 itt LCSLENGTH 的 带 备 忘 的 版 本 ， 运 行 时 间 为 Omn). 

15.4-4 说明 如 何 只 使 用 表 c 中 2Xmin《m，nn) 个 表 项 及 O(1) 的 额外 空间 来 计算 LCS 的 长 度 。 然 
后 说 明 如 何 只 用 min(，7) 个 表 项 及 O(1) 的 额外 空间 完成 相同 的 工作 。 

15.4-5 设计 一 个 OC ) 时 间 的 算法 ， 求 一 个 2 个 数 的 序列 的 最 长 单调 递增 子 序 列 。 

*15.4-6 ”设计 一 个 OCzlgz) 时 间 的 算法 ， 求 一 个 ”个 数 的 序列 的 最 长 单调 递增 子 序列 。( 提 示 : È 
意 到 ， 一 个 长 度 为 i 的 候选 子 序 列 的 尾 元 素 至 少 不 比 一 个 长 度 为 i 一 1 候选 子 序列 的 尾 元 
素 小 。 因 此 ， 可 以 在 输入 序列 中 将 候选 子 序列 链接 起 来 。) 


15.5 最 优 二 又 搜索 树 


假定 我 们 正在 设计 一 个 程序 ， 实 现 类 语文 本 到 法 语 的 翻译 。 对 类 语文 本 中 出 现 的 每 个 单词 ， 
我 们 需要 查找 对 应 的 法 语 单 词 。 为 了 实现 这 些 查 找 操作 ， 我 们 可 以 创建 一 棵 二 又 搜索 树 ， 将 nn 个 
英语 单词 作为 关键 字 ， 对 应 的 法 语 单词 作为 关联 数据 。 由 于 对 文本 中 的 每 个 单词 都 要 进行 搜索 ， 
我 们 希望 花费 在 搜索 上 的 总 时 间 尽 量 少 。 通 过 使 用 红 黑 树 或 其 他 平衡 搜索 树 结构 ， 我 们 可 以 假 
定 每 次 搜索 时 间 为 O(lgn)。 但 是 ， 单 词 出 现 的 频率 是 不 同 的 ， 像 “the” 这 种 频繁 使 用 的 单词 有 可 
能 位 于 搜索 树 中 远离 根 的 位 置 上 ， 而 像 machicolation ”这 种 很 少 使 用 的 单词 可 能 位 于 靠近 根 的 位 
置 上 。 这 样 的 结构 会 减 慢 翻译 的 速度 ， 因 为 在 二 又 树 搜索 树 中 搜索 一 个 关键 字 需 要 访问 的 结 点 
数 等 于 包含 关键 字 的 结 点 的 深度 加 1。 我 们 希望 文本 中 频繁 出 现 的 单词 被 置 于 靠近 根 的 位 置 ” 。 
而 且 ， 文 本 中 的 一 些 单词 可 能 没有 对 应 的 法 语 单词 5 ， 这 些 单词 根本 不 应 该 出 现在 二 叉 搜 索 树 
中 。 在 给 定单 词 出 现 频率 的 前 提 下 ， 我 们 应 该 如 何 组 织 一 棵 二 又 搜索 树 ， 使 得 所 有 搜索 操作 访问 
的 结 点 总 数 最 少 呢 ? 

这 个 问题 称 为 最 优 二 叉 搜索 树 (optimal binary search tree) 问 题 。 其 形式 化 定义 如 下 : 给 定 一 
个 nn 个 不 同 关键 字 的 已 排序 的 序列 KK 二 4h ，k2，…，k,)( 因 此 名 二 一 … 一 &,)， 我 们 希望 用 这 
些 关 键 字 构造 一 棵 二 又 搜索 树 。 对 每 个 关键 字 &;:， 都 有 一 个 概率 p; 表示 其 搜索 频率 。 有 些 要 搜 
索 的 值 可 能 不 在 K 中 ， 因此 我 们 还 有 n 十 1 MAREP” do » ds dz, ***, d, 表示 不 在 K 中 的 
值 。 dy 表示 所 有 小 于 kı 的 值 ， d,, 表示 所 有 大 于 A， 的 值 ， Xj i=l, 2, s+, n—l1, 伪 关 键 字 d; 表 
示 所 有 在 &; 和 kit1 之 间 的 值 。 对 每 个 伪 关 键 字 4d;， 也 都 有 一 个 概率 p; 表示 对 应 的 搜索 频率 。 
图 15-9 显 示 了 对 一 个 n=5 个 关键 字 的 集合 构造 的 两 棵 二 又 搜 索 树 。 每 个 关键 字 ki 是 一 个 内 部 结 
Rls ME MARES di 是 一 个 叶 结 把 。 每 次 搜索 要 人 么 成 功 (找到 某 个 关键 字 &;) 要 么 失败 (找到 某 


名 ”如 果 文 本 的 主题 是 城堡 建筑 ， 我 们 可 能 希望 machicolation 出 现在 靠近 根 的 位 置 。 
© 是 的 ，machicolation 有 对 应 的 法 语 单 词 : michicoulis。 
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个 伪 关键 字 d;)， 因 此 有 如 下 公式 : 
Satas (15. 10) 


E 


Ein 
ise Gem 





Oi 

pg fe 
E} pi 
urs gr iy 


(a) Cb) 
图 15-9 ”对 一 个 n==5 的 关键 字 集 合 及 如 下 的 搜索 概率 ， 构 造 的 两 棵 二 又 搜索 树 ， 


Rey Ay 
sae te A? 





Pi 0.15 0. 10 0.05 0. 10 0. 20 
0. 05 0. 10 0. 05 0. 05 0. 05 0. 10 


(a) 期 望 搜索 代价 为 2. 80 的 二 又 搜索 树 。(b) 期 望 搜索 代价 为 2.75 RLR 


由 于 我 们 知道 每 个 关键 字 和 伪 关键 字 的 搜索 概率 ， 因 而 可 以 确定 在 一 棵 给 定 的 二 又 搜索 树 T 
中 进行 一 次 搜索 的 期 望 代价 。 假 定 一 次 搜索 的 代价 等 于 访问 的 结 点 数 ， 即 此 次 搜索 找到 的 结 扣 
在 工 中 的 深度 再 加 1。 那 么 在 工 中 进行 一 次 搜索 的 期 望 代价 为 : 


ELT RRA I= X Cdepthr(k:) +1) + p: + 2) (depthr(4di) +1) + q: 


=] + XS depthr (k;) ° P: ak X depth; (d;) ° qi (15. 11) 398 
i=] i=0 


其 中 depthr 表示 一 个 结 点 在 树 工 中 的 深度 。 最 后 一 个 等 式 是 由 公式 (15. 10) 推 导 而 来 。 在 图 15-9(a) 
中 ,我 们 逐 结 点 计算 期 望 搜索 代价 


ae E 
| | | oa 


对 于 一 个 给 定 的 概率 集合 ， 我 们 希望 构造 一 棵 期 望 搜索 代价 最 小 的 二 又 搜索 树 ， 我 们 称 
之 为 最 优 二 叉 搜索 树 。 图 15-9(b) 所 示 的 二 又 搜索 树 就 是 给 定 概率 集合 的 最 优 二 又 搜索 树 ， 
其 期 望 代价 为 2. 75。 这 个 例子 显示 ， 最 优 二 又 搜索 树 不 一 定 是 高 度 最 绑 的 。 而 且 ， 概 率 最 
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高 的 关键 字 也 不 一 定 出 现在 二 又 搜 索 树 的 根 结 点 。 在 此 例 中 ， 关 键 字 k 的 搜索 概率 最 高 ， 
但 最 优 二 又 搜索 树 的 根 结 点 为 k (在 所 有 以 & 为 根 的 二 又 搜索 树 中 ， 期 望 搜索 代价 最 小 者 为 
2.85). 

与 矩阵 链 乘 法 问题 相似 ， 对 本 问题 来 说 ， 穷 举 并 检查 所 有 可 能 的 二 叉 搜 索 树 不 是 一 个 高 效 
的 算法 。 对 任意 一 棵 :个 结 点 的 二 又 树 ， 我 们 都 可 以 通过 对 结 点 标记 关键 字 铺 ， 包 ，…， 尺 构造 
出 一 棵 二 又 搜索 树 ， 然 后 向 其 中 添加 伪 关键 字 作为 叶 结 点 。 在 思考 题 12-4 中 ， 我 们 会 看 到 ni 
结 点 的 二 又 树 的 数量 为 Q0C(4"/m”)， 因 此 穷 举 法 需要 检查 指数 棵 二 又 搜索 树 。 不 出 意外 ， 我 们 将 
使 用 动态 规划 方法 求解 此 问题 。 

步骤 1: 最 优 二 又 搜索 树 的 结构 

为 了 刻画 最 优 二 又 搜索 树 的 结构 ， 我 们 从 观察 子 树 特征 开始 。 考 虑 一 棵 二 又 搜 索 树 的 任意 子 


树 。 它 必须 包含 连续 关键 字 ki 9 °t Ry» lxixjn, 而 且 其 叶 结 点 必然 是 伪 关 键 字 di- 9 eeey d; o 
我 们 现在 可 以 给 出 二 又 搜索 树 问 题 的 最 优 子 结构 : 如 果 一 棵 最 优 二 又 搜索 树 工 有 一 棵 包含 
KET kis as k; 的 子 树 Fa 那么 T 必然 是 包含 关键 字 ki» very k; 和 伪 关 键 字 d;- E dj 的 


子 问题 的 最 优 解 。 我 们 依旧 用 剪 切 一 粘贴 法 来 证 明 这 一 结论 。 如 果 存 在 子 树 了 ， 其 期 望 搜索 代 
ME TIR WARK TAT PHR, K 了 粘贴 到 相应 位 置 ， 从 而 得 到 一 棵 期 望 搜索 代价 低 于 
工 的 二 又 搜索 树 ， 与 工 最 优 的 假设 矛盾 。 

我 们 需要 利用 最 优 子 结构 性 质 来 证 明 ， 我 们 可 以 用 子 问 题 的 最 优 解构 造 原 问 题 的 最 优 解 。 给 
定 关键 字 序 列 有 ，…，hk， 其 中 某 个 关键 字 ， 比 如 说 如 (ir<7)， 是 这 些 关 键 字 的 最 优 子 树 的 根 结 
Me 那么 k, 的 左 子 树 就 包含 关键 字 kis ts A ARS diis "s dm), 而 右 子 树 包含 关键 
字 kais o khi ADREF 4d,，…，d;)。 只 要 我 们 检查 所 有 可 能 的 根 结 点 k GOSS), HX 
种 情况 分 别 求解 包含 ki» ee kn KEF RH1， ee k; 的 最 优 二 又 搜索 树 ， 即 可 保证 找到 原 问 题 
的 最 优 解 。 

这 里 还 有 一 个 值得 注意 的 细节 一 一 “空子 树 ”。 假 定 对 于 包含 关键 字 ko o ki 的 子 问题 ， 我 
们 选 定 &; 为 根 结 点 。 根 据 前 文 论证 ，&; 的 左 子 树 包含 关键 字 &;，…，&;-! 。 我 们 将 此 序列 解释 为 
不 包含 任何 关键 字 。 但 请 注意 ， 子 树 仍然 包含 伪 关 键 字 。 按 照 惯例 ， 我 们 认为 包含 关键 字 序 列 
k;，…，k;-! 的 子 树 不 含 任何 实际 关键 字 ， 但 包含 单一 伪 关 键 字 di-o WMH, WRU k 为 根 
tim, BAR 的 右 子 树 包 含 关键 字 &j+1，…， 名 一 一 些 右 子 树 不 包含 任何 实际 关键 字 ， 但 包含 伪 
REF dj. 

步骤 2: 一 个 递归 算法 

我 们 已 经 准备 好 给 出 最 优 解 值 的 递归 定义 。 我 们 选取 子 问题 域 为 : 求解 包含 关键 字 ki s 
i 的 最 优 二 又 搜索 树 ， 其 中 >l, jn BjSi-1C4j=i-1 时 ， 子 树 不 包含 实际 关键 字 ， 只 包 
含 伪 关 键 字 d-i) ENX eLi，j 为 在 包含 关键 字 &;，…,& 的 最 优 二 又 搜索 树 中 进行 一 次 搜索 的 
期 望 代 价 。 最 终 ， 我 们 希望 计算 出 ell, nlo 

j 二 i 一 1 的 情况 最 为 简单 ， 由 于 子 树 只 包含 伪 关键 字 4;_; ， 期 望 搜索 代价 为 e[i, i—ll=g-1. 

当 j 之 i 时， 我 们 需要 从 ki eo ki 中 选择 一 个 根 结 点 &,， 然 后 构造 一 棵 包含 关键 字 kio os 
k~1 的 最 优 二 又 搜索 树 作为 其 左 子 树 ， 以 及 一 棵 包含 关键 字 kno o ki 的 二 又 搜索 树 作 为 其 右 
子 树 。 当 一 棵 子 树 成 为 一 个 结 点 的 子 树 时 ， 期 望 搜索 代价 有 何 变化 ?由 于 每 个 结 点 的 深度 都 增加 
了 1， 根据 公式 (15. 11)， 这 棵 子 树 的 期 望 搜索 代价 的 增加 值 应 为 所 有 概率 之 和 。 对 于 包含 关键 
字 kis aes. k; 的 子 树 ， 所 有 概率 之 和 为 


l=i [一 二 1 


Au, Bk 为 包含 关键 字 &，…， 有 局 的 最 优 二 又 搜索 树 的 根 结 点 ， 我 们 有 如 下 公式 : 
eli,j]=p,+(elLitnr—1]+wG,r—1))+Celr+1,j]+wlrt+1,j)) 
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wli j) = wii,r—1)+)p,+wlr+1,7) 
因此 eLi，jj 可 重 写 为 
eli j] = elisr—1]+elLr+1,j]+ wli, j) (15. 13) 
递归 公式 (15. 13) 假 定 我 们 知道 哪个 结 点 k 应 该 作为 根 结 点 。 如 果 选 取 期 望 搜索 代价 最 低 者 
作为 根 结 点 ， 可 得 最 终 递归 公式 : 
qı Gj =i—1 
‘ij = ee 1] 十 efr 十 1; 门 十 w(iy 站 ) #i<j eae 
e[i， 放 的 值 给 出 了 最 优 二 又 搜 索 树 的 期 望 搜索 代价 。 为 了 记录 最 优 二 又 搜 索 树 的 结构 ， 对 
于 包含 关键 字 &;，…，&k; (1 二 i 二 j 二 nn) 的 最 优 二 又 搜索 树 ， 我 们 定义 rootLi，jj 保 存根 结 点 &, 的 
下 标 >。 虽 然 我 们 将 看 到 如 何 计算 rootLi，jj] 的 值 ， 但 是 利用 这 些 值 来 构造 最 优 二 叉 搜 索 树 的 问 
题 将 留 作 练 习 ( 练 习 15. 5-1)。 
步骤 3: 计算 最 优 二 又 搜索 树 的 期 望 搜索 代价 
现在 ， 你 可 能 已 经 注意 到 我 们 求解 最 优 二 又 搜索 树 和 和 矩阵 链 乘法 的 一 些 相似 之 处 。 它 们 的 
子 问题 都 由 连续 的 下 标 子 域 组 成 。 而 公式 (15. 14) 的 直接 递归 实现 ， 也 会 与 矩阵 链 乘法 问题 的 直 
接 递归 算法 一 样 低 效 。 因 此 ， 我 们 设计 替代 的 高 效 算法 ， 我 们 用 一 个 表 e[L1..n 十 1，0. .nj 来 保 
PF eli, jA. B—APRLAA ntl 而 不 是 wx， 原因 在 于 对 于 只 包含 伪 关 键 字 d, 的 子 树 ， 我 们 
需要 计算 并 保存 eLn 十 1，nj]。 第 二 维 下 标 下 界 为 0， 是 因为 对 于 只 包含 伪 关 键 字 do WTH, R 
们 需要 计算 并 保存 eL1，0j。 我 们 只 使 用 表 中 满足 j 宇 i 一 1 的 表 项 eLi，j;j。 我 们 还 使 用 一 个 表 
root, RM rootLi，jj 记 录 包 含 关 键 字 &，…,& 的 子 树 的 根 。 我 们 只 使 用 此 表 中 满足 KiSS 
的 表 项 root[i，jj。 
我 们 还 需要 男 一 个 表 来 提高 计算 效率 。 为 了 避免 每 次 计算 elis IRENE wi, j), R 
们 将 这 些 值 保存 在 表 w[L1. .nn 十 1，0. .nj 中 ， 这 样 每 次 可 节省 OG-ORMEK. MEARE, > 
wli, i-1]=g1d<i<ntl), MjSi 的 情况 ， 可 如 下 计算 : 
wli j] = wlisj—1]+ p; +q (15. 15) 
X, OT wli, jle STHTRHAA OC). 
下 面 的 伪 代 码 接受 概率 列表 Pis tts Pn 和 qo, ts Wn 及 规模 n 作为 输入 ， 返 回 表 e 和 root. 
OPTIMAL-BST (p,q,n) 
1 let e[1..n+1,0..2],w[ll..n+1,0..2],and root[1..n,1..n]be new tables 
2 for i=1 ton+1 
3 eli i —1]=q;-; 
4 wlisi—l]=qi-: 
5 for /一 1 ton 
6 fori = 1 ton—/+1 
7 
8 
9 


j =itl-1 
eli, j ]=0o 
wlisj]=wlisj—l1]+ p; taq; 
10 for r =i toj 
11 t =eli,r—1]t+e[rt+1,j]+wli,;] 
12 | if t<elLi,j] 
13 eli j]=t 
14 rootli,j |=r 


15 return e and root 


根据 前 文 的 描述 ， 以 及 与 15. 2 市 的 算法 MATRIX-CHAIN-ORDER 的 相似 性 ， 很 容易 理解 
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此 算法 。 第 2 一 4 行 的 for 循环 初始 化 eLi，i 一 1j 和 wLi，i 一 1j 的 值 。 第 5 一 14 行 的 for 循环 利用 
递归 式 (15. 14) 和 递归 式 (15. 15) 来 对 所 有 1 二) 二 nn 计算 e[Li，j;j 和 wLi，;j。 在 第 一 个 循环 步 
中 ，/! 王 1， 循 环 对 所 有 i 二 1，2，…， nieli, Muli, 和 证。 第 二 个 循环 步 中 ，/ 二 2， 对 所 有 
1 一 1，2，…，7 一 1 计算 e[i,， i 十 1 和 wl[i，i 十 1]， 依 此 类 推 。 第 10~14 行 的 内 层 for 循环 ， 逐 
个 尝试 下 标 >， 确 定 哪个 关键 字 k 作为 根 结 点 可 以 得 到 包含 关键 字 k;，…，k; 的 最 优 二 叉 搜索 
树 。 这 个 for 循环 在 找到 更 好 的 关键 字 作 为 根 结 点 时 ， 会 将 其 下 标 ~ 保存 在 ootLi， 刀 中 。 

图 15-10 给 出 了 OPTIMAL-BST 输入 图 15-9 中 的 关键 字 分 布 后 计算 出 的 表 elis jj wli, jM 
rootLiy jl, 58I 15-5 中 和 矩阵 链 乘 法 问题 的 输出 结果 一 样 ， 本 图 中 的 表 也 进行 了 旋转 ， 对 角 线 
旋转 到 了 水 平方 向 。OPTIMAL-BST 按 自 底 向 上 的 顺序 逐 行 计算 ， 在 每 行 中 由 左 至 右 计算 每 个 
表 项 。 





图 15-10 ”对 图 15-9 中 的 关键 字 分 布 ，OPTIMAL-BST 计算 出 的 表 eli, jJ, wli, j] 
和 rootLi，;j]。 表 进行 了 旋转 ， 使 得 对 角 线 旋转 到 水 平方 向 


与 MATRIX-CHAIN-ORDER 一 样 ，OPTIMAL-BST 的 时 间 复 杂 度 也 是 O). FEBE 
三 重 for 循环 ， 而 每 层 循环 的 下 标 最 多 取 ”个 值 ， 因 此 很 容易 得 出 其 运行 时 间 为 OC)，。 
OPTIMAL-BST 的 循环 下 标的 范围 与 MATRIX-CHAIN-ORDER 不 完全 一 样 ， 但 每 个 方向 最 多 相 
差 1。 因 此 ， 与 MATRIX-CHAIN-ORDER 一 样 ，OPTIMAL-BST 的 运行 时 间 为 QCz )( 从 而 得 出 
运行 时 间 为 B(z ) ) 。 


练习 
15. 5-1 设计 伪 代 码 CONSTRUCT-OPTIMAL-BST (root), ， 输 入 为 表 root， 输 出 是 最 优 二 又 搜索 
树 的 结构 。 例 如 ， 对 图 15-10 中 的 root 表 ， 应 输出 
ks 为 根 
ki Ak 的 左 孩 子 
do Ak 的 左 孩子 
di 为 & 的 右 孩 子 
ks Nk, 的 右 孩 子 
ks 为 ks 的 左 孩 子 
ks 为 & 的 左 孩 子 
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d: Ak, 的 左 孩 子 
d; 为 & 的 右 孩 子 
ds 为 NABFT 
ds Hk, 的 右 孩 子 
与 图 15-9(b) 中 的 最 优 二 又 搜索 树 对 应 。 


15.5-2 若 7 个 关键 字 的 概率 如 下 所 示 ， 求 其 最 优 二 又 搜索 树 的 结构 和 代价 。 
l 0 1 2 3 4 5 6 7 
bi 0. 04 0. 06 0. 08 0. 02 0. 10 0. 12 0.14 
0. 06 0. 06 0. 06 0. 06 0. 05 0. 05 0. 05 0.05 
15.5-3 ”假设 OPTIMAL-BST FIPE uli, jl, WER 9 行 利 用 公式 (15. 12) 直 接 计 算 wi, j), 
然后 在 第 11 行使 用 此 值 。 如 此 改动 会 对 渐 近 时 间 复 杂 性 有 何 影 响 ? 
*15. 5-4 Knuth[L 212] 已 经 证 明 ， 对 所 有 1] 委 :< 和) 和”， 存 在 最 优 二 又 搜索 树 ， 其 根 满足 rootLi, j— 
1j 志 root[i，jj 志 rootLi 十 1，;7j]。 利 用 这 一 特性 修改 算法 OPTIMAL-BST， 使 得 运行 时 
间 减 少 为 O(n’). 
思考 题 
15-1 《有 向 无 环 图 中 的 最 长 简单 路 径 ) ”给 定 一 个 有 向 无 环 图 G= 二 (V，E)， 边 权重 为 实数 ， 给 


15-2 


15-3 


定 图 中 两 个 顶点 s 和 上。 设计 动态 规划 算法 ， 求 从 s Bt 的 最 长 加 权 简 单 路 径 。 子 问题 图 是 
怎样 的 ? 算法 的 效率 如 何 ? 
(最 长 回 文 子 序 列 )” 回 文 (palindrome) 是 正 序 与 逆序 相同 的 非 空 字符 串 。 例 如 ， 所 有 长 度 
为 1 的 字符 串 、civic、racecar、aibohphobia( 害 怕 回 文 之 意 ) 都 是 回 文 。 

设计 高 效 算 法 ， 求 给 定 输入 字符 串 的 最 长 回 文子 序列 。 例 如 ， 给 定 输入 character， 算 
法 应 该 返回 carac。 算 法 的 运行 时 间 是 怎样 的 ? 
〈《 双 调 欧 几 里 得 旅行 商 问题 ) 在 欧 几 里 得 旅行 商 问题 中 ， 给 定 平面 上 7 个 点 作为 输入 ， 希 
望 求 出 连接 所 有 2 个 点 的 最 短 巡 游 路 线 。 图 15-11(a) 给 出 了 一 个 7 点 问题 的 解 。 此 问题 是 
NP 难 问题 ， 因 此 大 家 相信 它 并 不 存在 多 项 式 时 间 的 求解 算法 (参见 第 34 章 )。 

J. L. Bentley 建议 将 问题 简化 ， 限 制 巡 游 路 线 为 双 调 巡游 Cbitonic tours)， 即 从 最 左边 的 
点 开始 ， 严 格 向 右前 进 ， 直 至 最 右边 的 点 ， 然 后 调头 严格 向 左前 进 ， 直 至 回 到 起 始点 。 
图 15-11(b) 给 出 了 相同 7 个 点 的 最 短 双 调 巡游 路 线 。 问 题 简化 之 后 ， 存 在 一 个 多 项 式 时 间 的 
算法 。 
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图 15-11 给 定 平面 上 7 个 点 ， 显 示 在 一 个 单位 网 格 中 。(a) 最 短 闭 合 巡游 路 线 ， 长 度 约 为 

24. 89， 此 路 线 不 是 双 调 的 。(b) 同 样 点 集 的 最 短 双 调 巡 游 路 线 ， 长 度 约 为 25. 58 

设计 一 个 OC(r?) 时 间 的 最 优 双 调 巡 游 路 线 算法 。 你 可 以 认为 任何 两 个 点 的 z 坐标 均 不 
同 ， 且 所 有 实数 运算 都 花费 单位 时 间 。( 提 示 : 由 左 至 右 扫描 ， 对 巡游 路 线 的 两 个 部 分 分 
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别 维护 可 能 的 最 优 解 。) 

(整齐 打印 ) 考虑 整齐 打印 问题 ， 即 在 打印 机 上 用 等 宽 字 符 打印 一 段 文本 。 输 入 文本 为 n 
个 单词 的 序列 ， 单 词 长 度 分 别 为 4，ls，…，4 个 字符 。 我 们 希望 将 此 段 文本 整齐 打印 在 
PTL, BITRE M 个 字符 。 整齐 ”的 标准 是 这 样 的 。 如 果 某 行 包含 第 i AR jG) 


个 单词 ， 且 单词 间隔 为 一 个 空格 符 ， 则 行 尾 的 额外 空格 符 数量 为 M 一 j 十 i 一 > 2 ， 此 值 


必须 为 非 负 的 ， 否 则 一 行内 无 法 容纳 这 些 单词 。 我 们 希望 能 最 小 化 所 有 行 的 ( 除 最 后 一 行 
外 ) 额 外 空格 数 的 立方 之 和 。 设 计 一 个 动态 规划 算法 ， 在 打印 机 上 整齐 打印 一 段 上 个 单词 
的 文本 。 分 析 算 法 的 时 间 和 空间 复杂 
(编辑 距离 ) 为 了 将 一 个 文本 串 zxL1. .mj 转换 为 目标 串 yL1. .nj]， 我 们 可 以 使 用 多 种 变换 
操作 。 我 们 的 目标 是 ， 给 定 x Ay, RH z 转 换 为 y 的 一 个 变换 操作 序列 。 我 们 使 用 一 个 
数组 z 保存 中 间 结 果 ， 假 定 它 足够 大 ， 可 存 下 中 间 结 果 的 所 有 字符 。 初 始 时 ，z 是 空 的 ， 
结束 时 ， 应 有 z[ 让 ==y[jj]，j 二 1，2,，…，n。 我 们 维护 两 个 下 标 i 和 ;7， 分 别 指向 x 中 位 
置 和 z 中 位 置 ， 变 换 操 作 人 允许 改变 z 的 内 容 和 这 两 个 下 标 。 初 始 时 ，i 二 ;二 1。 在 转换 过 程 
中 应 处 理 z 的 所 有 字符 ， 这 意味 着 在 变换 操作 结束 时 ， 应 有 ;一 mm 十 1。 

我 们 可 以 使 用 如 下 6 种 变换 操作 : 

复制 (copy) 一 一 从 工 复制 一 个 字符 到 >， 即 进行 赋值 zL7j 二 zxLij]， 并 将 两 个 下 标 i 和 j 
都 增 1。 此 操作 处 理 了 zlil. 











替换 (replace) 将 中 一 个 字符 蔡 换 为 男 一 个 字符 <，zLij] 二 c， 并 将 两 个 下 标 i 和; 
都 增 1。 此 操作 处 理 了 zlil. 

删除 (delete) 一 一 删除 z 中 一 个 字符 ， 即 将 i 增 1，j 不 变 。 此 操作 处 理 了 zlil. 

插入 (insert) 将 字符 c 揪 人 z 中 ，zLjj]==c, 将 7 增 1， i 不 变 。 此 操作 未 处 理 z 中 
字符 


旋转 (twiddle， 即 交换 ) 一 一 将 xz 中 下 两 个 字符 复制 到 中 ,但 交换 顺序 ，z[jj] = 
zxLi 十 1j 目 zLj 十 1 二 xLij， 将 i 和 j 都 增 2。 此 操作 处 理 了 xzLi] 和 zxLi 十 1j]。 

终止 (kilD) 一 一 删除 z 中 剩余 字符 ， 令 i 二 m 十 1。 此 操作 处 理 了 zz 中 所 有 尚未 处 理 的 字 
符 。 如 果 执 行 此 操作 ， 则 转换 过 程 结束 。 | 

下 面 给 出 了 将 源 字 符 串 algorithm 转换 为 目标 字符 串 altruistic 的 一 种 变换 操作 序列 ， 
下 划 线 指出 执行 一 个 变换 操作 后 两 个 下 标的 位 置 : 








操作 
初始 字符 串 algorithm E 
复制 algorithm a_ 
| 复制 algorithm al 
替换 为 t algorithm alt_ 
删除 algorithm alt 
复制 algorithm altr_ 
HA u algorithm altru_ 
插入 i algorithm altrui_ 
| HAs algorithm altruis 
旋转 algorithm altruisti_ 
插入 c algorit hm altruistic 
终止 algorithm altruistic 
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注意 ， 还 有 其 他 方法 将 algorithm 转换 为 altruistic. 
每 个 变换 操作 都 有 相应 的 代价 。 具 体 的 代价 依赖 于 特定 的 应 用 ， 但 我 们 假定 每 个 操作 
的 代价 是 一 个 已 知 的 常量 。 我 们 还 假定 复制 和 替换 的 代价 小 于 删除 和 插入 的 组 合 代价 ， 否 
则 复制 和 替换 操作 就 没有 意义 了 。 一 个 给 定 的 变换 操作 序列 的 代价 为 其 中 所 有 变换 操作 的 
代价 之 和 。 在 上 例 中 ， 将 algorithm 转换 为 altruistic 的 代价 为 
(3。cost( 复 制 )) + cost( 替 换 ) + cost( 删 除 ) 十 (4。cost( 插 入 )) 十 cost( 旋 转 ) 十 cost( 终 止 ) 
a. 给 定 两 个 字符 串 z[1..mj 和 yL1..nj 以 及 变换 操作 的 代价 ， x 到 yy 编辑 距离 (edit 
distance) 是 将 r 转换 为 y 的 最 小 代价 的 变换 操作 序列 的 代价 值 。 设 计 动 态 规划 算法 ， 求 
zx[1. .mj 到 yL1. .nj 的 编辑 距离 并 打印 最 优 变 换 操作 序列 。 分 析 算 法 的 时 间 和 空间 复 
RE. 
编辑 距离 问题 是 DNA 序列 对 齐 问 题 的 推广 (参考 其 他 文献 ， 如 Setubal 和 Meidanis 
L310，3.2 节 ]j)。 已 有 多 种 方法 可 以 通过 对 齐 两 个 DNA 序列 来 衡量 它们 的 相似 度 。 有 
一 种 对 齐 方法 是 将 空格 符 插 和 人 到 两 个 序列 x 和 yy 中 ， 可 以 插入 到 任何 位 置 ( 包 括 两 端 )， 
使 得 结果 序列 zx 和 y 具有 相同 的 长 度 ， 但 不 会 在 相同 的 位 置 出 现 空格 符 ( 即 不 存在 位 置 
j 使 得 z [jj] 和 yy'[ 站 都 是 空格 符 )。 然 后 为 每 个 位 置 “打分 ”， 位 置 ; 的 分 数 为 : 
。 十 1， 如 果 zz[ 二 y [jj 且 不 是 空格 符 。 
。 一 1， 如 果 zx'[7j] 关 y [Lj 且 都 不 是 空格 符 。 
© —2, TUIR y [站 是 空格 符 。 
对 齐 方 案 的 分 数 为 每 个 位 置 的 分 数 之 和 。 例 如 ， 给 定 序列 z= Garccccar 和 y= 
cAATGTGAATC， 一 种 对 齐 方 案 为 


G ATCG GCAT 
CAAT GTGAATC 
一 大 十 十 太 十 大 十 一 十 十 和 * 


十 表示 该 位 置 分 数 为 十 1， 一 表示 分 数 为 一 1，* 表示 分 数 为 一 2， 因 此 此 方案 的 总 分 数 

为 6。1 一 2。1 一 4。2 王 一 4。 

解释 如 何 将 最 优 对 齐 问 题 转换 为 编辑 距离 问题 ,使 用 的 操作 为 变换 操作 复制 、 替 换 、 

删除 、 插 入 、 旋 转 和 终止 的 子 集 。 

(公司 聚会 计划 ) 一 位 公司 主席 正在 向 Stewart 教授 咨询 公司 聚会 的 计划 。 公 司 的 内 部 结 

构 关 系 是 层次 化 的 ， 即 员工 按 主管 一 下 属 关系 构成 一 棵 树 ， 根 结 点 为 公司 主席 。 人 事 部 按 

“宴会 交际 能 力 ” 为 每 个 员工 打分 ， 分 值 为 实数 。 为 了 使 所 有 参加 聚会 的 员工 都 感到 愉快 ， 

主席 不 希望 员工 及 其 直接 主管 同时 出 席 。 

公司 主席 向 Stewart 教授 提供 公司 结构 树 ， 采 用 10. 4 节 介绍 的 左 孩子 右 兄弟 表示 法 描 

述 。 书 中 每 个 结 点 除了 保存 指针 外 ， 还 保存 员工 的 名 字 和 宴会 交际 评分 。 设 计算 法 ， 求 宴 

会 交际 评分 之 和 最 大 的 宾客 名 单 。 分 析 算 法 的 时 间 复 杂 度 。 

( 译 码 算法 ) 我 们 可 以 通过 在 有 向 图 G= 二 (V，E) 上 使 用 动态 规划 方法 来 实现 语音 识别 。 

对 每 条 边 (u，v) EE 打上 一 个 声音 标签 oC(u，wv)， 该 声音 来 自 于 有 限 声 音 集 5。 这 样 的 标 

签 图 就 成 为 一 个 特定 人 说 限定 语言 的 形式 化 模型 。 图 中 从 特定 顶点 v EV 开始 的 每 条 路 径 

都 对 应 模型 产生 的 一 个 可 能 的 声音 序列 。 对 于 一 条 有 向 路 径 ， 我 们 定义 其 标签 为 路 径 中 边 

的 标签 的 简单 连结 。 

a 设计 高 效 算法 ， 对 给 定 的 带 边 标 签 的 图 G、 特 定 顶 点 ww 及 马上 的 声音 序列 =la o ，… 
a) BE GPA w 开始 的 一 条 路 径 ，* 为 该 路 径 的 标签 (如 果 存 在 这 样 的 路 径 )。 否 则 ， 
算法 应 返回 NO-SUCH-PATH 。 分 析 算 法 的 时 间 复 杂 度 (提示 : 你 可 能 发 现 第 22 章 中 的 概 
念 可 以 用 于 此 题 )。 


a 
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现在 ， 假 定 每 条 边 (x，zE 五 都 关联 一 个 非 负 概率 娟 (wx，z， 它 表示 从 顶点 开始 ， 

经 过 边 (uw，v) ， 产 生 对 应 的 声音 的 概率 。 任 何 顶点 的 出 射 边 的 概率 之 和 均 为 1。 一 条 路 径 

的 概率 定义 为 路 径 上 边 的 概率 之 积 。 对 于 从 w 开始 的 一 条 路 径 ， 我 们 可 以 将 其 概率 看 做 

从 vp 开始 进行 “随机 游 走 ”(random walk)， 最 后 恰巧 经 过 这 条 路 径 的 概率 。 所 谓 “ 随 机 游 

走 ”， 是 指 当 位 于 顶点 时， 随机 选择 一 条 出 射 边 前 进 ， 每 条 边 被 选中 的 概率 就 是 它 所 关 

联 的 概率 。 

b. 扩展 (a) 中 的 算法 ， 使 得 返回 的 路 径 是 从 w 开始 且 标 签 为 s 的 路 径 中 概率 最 大 者 。 分 析 
算法 的 时 间 复 杂 性 。 

CA FEE KG (seam carving) 的 图 像 压 缩 ) ”给 定 一 幅 彩 色 图 像 ， 它 由 一 个 mXn 的 像素 数 

组 A[l..m，1. .nj 构成 ， 每 个 像素 是 一 个 红 绿 蓝 (RGB) 亮 度 的 三 元 组 。 假 定 我 们 希望 轻 度 

压缩 这 幅 图 像 。 具 体 地 ， 我 们 希望 从 每 一 行 中 删除 一 个 像素 ， 使 得 图 像 变 罕 一 个 像素 。 但 

为 了 避免 影响 视 党 效果， 我 们 要 求 相 邻 两 行 中 删除 的 像素 必须 位 于 同一 列 或 相 邻 列 。 也 就 

是 说 ， 删 除 的 像素 构成 从 顶端 行 到 底 端 行 的 一 条 “ 接 颖 ”(seam) ， 相 邻 像素 均 在 垂直 或 对 角 

线 方向 上 相 邻 。 

a. WEAR: 可 能 的 接 颖 的 数量 是 m 的 指数 函数 ， 假 定 nl. 

b. 假定 现在 对 每 个 像素 A[i，jj 我 们 都 已 计算 出 一 个 实 型 的 “破坏 度 ”4Li1，;j]， 表 示 删 除 像 
素 ALi，j 对 图 像 可 视 效 果 的 破坏 程度 。 直 观 地 ， 一 个 像素 的 破坏 度 越 低 ， 它 与 相 邻 像 
素 的 相似 度 越 高 。 再 假定 一 条 接 缝 的 破坏 度 定 义 为 它 包 含 的 像素 的 破坏 度 之 和 。 设 计 
算法 ， 寻 找 破 坏 度 最 低 的 接 缝 。 分 析 算 法 的 时 间 复 杂 度 。 

(字符 串 拆 分 ) 某 种 字符 串 处 理 语言 允许 程序 员 将 一 个 字符 串 拆 分 为 两 段 。 由 于 此 操作 需 

要 复制 字符 串 ， 因 此 要 花费 nn 个 时 间 单 位 来 将 一 个 n 个 字符 的 字符 串 拆 为 两 段 。 假 定 一 个 

程序 员 希 望 将 一 个 字符 串 拆 分 为 多 段 ， 拆 分 的 顺序 会 影响 所 花费 的 总 时 间 。 例 如 ， 假 定 这 

个 程序 员 希 望 将 一 个 20 个 字符 的 字符 串 在 第 2 个 、 第 8 个 以 及 第 10 个 字符 后 进行 拆 分 

(字符 由 左 至 右 ， 从 1 开始 升序 编号 ) 。 如 果 她 按 由 左 至 右 的 顺序 进行 拆 分 ， 则 第 一 次 拆 分 

花费 20 个 时 间 单 位 ， 第 二 次 拆 分 花费 18 个 时 间 单 位 (在 第 8 个 字符 处 拆 分 3 一 20 间 的 字符 

串 ) ， 而 第 三 次 拆 分 花费 12 个 时 间 单 位 ， 共 花费 50 个 时 间 单 位 。 但 如 果 她 按 由 右 至 左 的 

顺序 进行 拆 分 ， 第 一 次 拆 分 花费 20 个 时 间 单 位 ， 第 二 次 拆 分 花费 10 个 时 间 单 位 ， 而 第 三 

次 拆 分 花费 8 个 时 间 单 位 ， 共 花费 38 个 时 间 单 位 。 还 可 以 按 其 他 顺序 ， 比 如 ， 她 可 以 首 

先 在 第 8 个 字符 处 进行 拆 分 (时 间 20) ， 接 着 在 左边 一 段 第 2 个 字符 处 进行 拆 分 (时 间 8)， 

最 后 在 右边 一 段 第 10 个 字符 处 进行 拆 分 (时 间 12) ， 总 时 间 为 40。 

设计 算法 ， 对 给 定 的 拆 分 位 置 ， 确 定 最 小 代价 的 拆 分 顺序 。 更 形式 化 地 ， 给 定 一 个 

个 字符 的 字符 串 S 和 一 个 保存 m 个 拆 分 点 的 数组 LL1..m]， 计 算 拆 分 的 最 小 代价 ， 以 及 

最 优 拆 分 序列 。 


15-10 投资 策略 规划 ) ”你 所 掌握 的 算法 知识 帮助 你 从 Acme 计算 机 公司 获得 了 一 份 令 人 兴奋 


WIE, CARS 1 万 美元 。 你 决定 利用 这 笔 钱 进行 投资 ， 目 标 是 10 年 后 获得 最 大 回 
报 。 你 决定 请 Amalgamated 投资 公司 管理 你 的 投资 ， 该 公司 的 投资 回报 规则 如 下 。 该 公 
司 提供 nn 种 不 同 的 投资 ,从 1~n 编号 。 在 第; 年， 第 i 种 投资 的 回报 率 为 r;。 换 名 话说 ， 
如 果 你 在 第 7 年 在 第 i 种 投资 投入 d 美元 ， 那 么 在 第 7 年 年 底 ， 你 会 得 到 dz 美元。 回报 
率 是 有 保证 的 ， 即 未 来 10 年 每 种 投资 的 回报 率 均 已 知 。 你 每 年 只 能 做 出 一 次 投资 决定 ， 
在 每 年 年 底 ， 你 既 可 以 将 钱 继续 投入 到 上 一 年 选择 的 投资 种 类 中 ， 也 可 以 转移 到 其 他 投 
资中 (转移 到 已 有 的 投资 种 类 ， 或 者 新 的 投资 种 类 ) 。 如 果 跨 年 时 你 不 做 投资 转移 ， 需 要 
支付 A 美元 的 费用 ， 否 则 ， 需 要 支付 fs 美元 的 费用 ， 其 中 AoA. 
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如 上 所 述 ， 本 问题 允许 你 每 年 将 钱 投 入 到 多 种 投资 中 。 证 明 : 存在 最 优 投资 策略 ， 每 
年 都 将 所 有 钱 投 入 到 单一 投资 中 ( 记 住 最 优 投资 策略 只 需 最 大 化 10 年 的 回报 ， 无知 关 
心 任何 其 他 目标 ， 如 最 小 化 风险 )。 


名 


b 证 明 : 规划 最 优 投资 策略 问题 具有 最 优 子 结构 性 质 。 


15-11 


15-12 


© 


. 设计 最 优 投资 策略 规划 算法 ,分析 算法 时 间 复 杂 度 。 

d. 假定 Amalgamated 投资 公司 在 上 述 规 则 上 又 加 入 了 新 的 限制 条 款 ， 在 任何 时 刻 你 都 不 
能 在 任何 单一 投资 种 类 中 投入 15 000 美元 以 上 。 证明: 最 大 化 10 年 回报 问题 不 再 具 
有 最 优 子 结构 性 质 。 

(库存 规划 ) Rinky Dink 公司 是 一 家 制造 溜冰 场 冰 面 修整 设备 的 公司 。 这 种 设备 每 个 月 

的 需求 量 都 在 变化 ， 因 此 公司 希望 设计 一 种 策略 来 规划 生产 ， 需 求 是 给 定 的 ， 即 它 虽 然 

是 波动 的 ， 但 是 可 预测 的 。 公 司 希望 设计 接 下 来 ”个 月 的 生产 计划 。 对 第 ;个 月 ， 公 司 知 


道 需求 d;， 即 该 月 能 够 销售 出 去 的 设备 的 数量 。 令 D= Dd Ain 个 月 的 总 需求 。 公 司 


雇用 的 全 职员 工 ， 可 以 提供 一 个 月 制造 m 台 设备 的 劳动 力 。 如 果 公 司 希 望 一 个 月 内 制造 
多 于 m 台 设 备 ， 可 以 雇用 额外 的 兼职 劳动 力 ， 雇 用 成 本 为 每 制造 一 台 机 器 付出 c 美元 。 
而 且 ， 如 果 在 月 末 有 设备 尚未 售 出 ， 公 司 还 要 付出 库存 成 本 。 保 存 ; 台 设 备 的 成 本 可 摘 
RA RR A) ’ Imi; 2, 5 D, 其 中 对 所 有 IKj<D, h(j20, 对 ISS Dl; 
h(7)h( 二 1)., 

设计 库存 规划 算法 ， 在 满足 所 有 需求 的 前 提 下 最 小 化 成 本 。 算 法 运行 时 间 应 为 n 和 
D HAWK wR. 

(签约 棒球 自由 球员 ) 假设 你 是 一 支 棒球 大 联盟 球 队 的 总 经 理 。 在 赛季 休 季 期 间 ， 你 需 
要 签 人 一 些 自由 球员 。 球 队 老 板 给 你 的 预算 为 X 美 元 ， 你 可 以 使 用 少 于 X 美元 来 签 人 球 
员 ， 但 如 果 超 支 ， 球 队 老 板 就 会 解雇 你 。 

你 正在 考虑 在 N 个 不 同位 置 签 和 球员， 在 每 个 位 置 上 ， 有 P 个 该 位 置 的 自由 球员 供 
你 选择 ” 。 由 于 你 不 希望 任何 位 置 过 于 腔 肿 ， 因 此 每 个 位 置 最 多 签 和 一 名 球员 (如 果 在 菏 
个 特定 位 置 上 你 没有 签 入 任何 球员 ， 则 意味 着 计划 继续 使 用 现 有 球员 )。 

为 了 确定 一 名 球员 的 价值 ， 你 决定 使 用 一 种 称 为 “VORP”， 或 “球员 替换 价值 ”(value 
over replacement player) 的 统计 评价 指标 (sabermetric)®S 。 球 员 的 VORP 值 越 高 ， 其 价值 
越 高 。 但 VORP 值 高 的 球员 的 签约 费用 并 不 一 定 比 VORP 值 低 的 球员 高 ， 因 为 还 有 球员 
价值 之 外 的 因素 影响 签约 费用 。 

对 于 每 个 可 选择 的 自由 球员 ， 你 知道 他 的 三 方面 信息 : 

。 他 打 哪 个 位 置 。 

。 他 的 签约 费用 。 

。 他 的 VORP。 

设计 一 个 球员 选择 算法 ， 使 得 总 签约 费用 不 超过 X 美元 ， 而 球员 的 总 VORP 最 大 。 
你 可 以 假定 每 位 球员 的 签约 费用 是 10 万 美元 的 整数 倍 。 算 法 应 输出 签约 球员 的 总 VORP 
值 、 总 签约 费用 ， 以 及 球员 名 单 。 分 析 算 法 的 时 间 和 空间 复杂 度 。 


O 


虽然 一 支 棒球 队 有 9 个 位 置 ， 但 NN 不 一 定 等 于 9， 因为 一 些 总 经 理 可 能 对 场 上 位 置 有 特殊 的 考虑 。 例 如 ， 某 位 
总 经 理 可 能 将 右手 投手 和 左手 投手 当做 不 同 的 “位 置 "， 类 似 地 ， 他 还 可 能 将 开局 投手 、 长 打 后 援 投 手 ( 可 以 打 多 
局 的 后 援 投 手 ) 以 及 短 后 援 投 手 ( 通 常 最 多 打 一 局 的 后 援 投 手 ) 也 都 作为 不 同 的 位 置 。 

sabermetric 指 将 统计 分 析 方 法 应 用 于 棒球 技术 统计 。 它 提供 了 多 种 评价 球员 个 体 的 相对 价值 的 方法 。 
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本 章 注 记 

R. Bellman 从 1955 年 开始 系统 地 研究 动态 规划 方法 。 此 处 以 及 线性 规划 中 的 “规划 ” 
(programming) 一 词 指 的 是 一 种 表格 法 。 虽 然 在 这 之 前 就 已 经 有 利用 动态 规划 思想 的 优化 技术 ， 
但 Bellman[_37 给 这 个 领域 建立 了 坚实 的 数学 基础 。 

Galil 和 Park[125 根据 表格 的 大 小 和 每 个 表 项 所 依赖 的 其 他 表 项 的 数量 对 动态 规划 算法 进行 
了 分 类 。 如 果 一 个 动态 规划 算法 的 表格 大 小 为 O(n ) ， 每 个 表 项 依赖 其 他 OC ERM, MRD 
是 一 个 tD/eD 的 动态 规划 算法 。 例 如 ，15. 2 节 的 矩阵 链 乘法 算法 是 2D/1D ÉJ, m 15.4 节 的 最 
长 公共 子 序 列 算法 是 2D/0D 的 。 

Hu 和 ShingL182，183j 给 出 了 和 矩阵 链 乘 法 问题 的 一 个 O(nlgn) 时 间 的 算法 。 

最 长 公共 子 序列 问题 的 OCmn) 时 间 的 算法 看 起 来 像 个 民间 算法 。Knuth[L70j 提 出 了 LCS 问题 
是 否 存 在 次 平方 时 间 算 法 的 讨论 。IMasek 和 PatersonL 244 给 出 了 肯定 的 回答 ， 他 们 给 出 了 一 个 
OCmn/lgn) 时 间 的 算法 ， 其 中 nm 且 序 列 是 从 一 个 有 限 集中 选取 的 。 对 于 元 素 不 会 在 一 个 输入 
序列 中 重复 出 现 的 特殊 情况 ，SzymanskiL326j 给 出 了 一 个 OCntmlg(ntm) 7) 时 间 的 算法 。 很 多 
这 种 结果 都 可 以 扩展 到 字符 串 编 辑 距离 问题 (思考 题 15-5)。 

Gilbert 和 Moore 133 ] 早 期 的 一 篇 关于 变 长 二 进 制 编码 的 论文 已 经 被 用 来 对 所 有 概率 p; 均 为 
0 的 情况 构造 最 优 二 又 搜索 树 ， 算 法 的 时 间 复 杂 性 为 OC )。Aho、Hopcroft 和 Ullmanl 5j 提 出 了 
15.5 节 的 算法 。 练 习 15. 5-4 MÆ Knuth[L212] 提 出 的 。Hu 和 Tucker[ 184] 设 计 了 一 个 算法 ， 可 以 
用 O ) 的 时 间 和 OC) 的 空间 求解 所 有 概率 p: 均 为 0 的 情况 。 最 终 ，Knuth 将 此 算法 的 时 间 降 
为 O(nlgn)。 

思考 题 15-8 是 Avidan 和 Shamir[27 | 提出 的 ， 他 们 在 Web 上 发 布 了 一 个 精彩 的 视频 ， 来 演 
示 这 种 图 像 压 缩 技 术 。 


| 第 16 章 


Introduction to Algorithms, Third Edition 
» 
贪心 算法 


求解 最 优化 问题 的 算法 通常 需要 经 过 一 系列 的 步骤 ， 在 每 个 步骤 都 面临 多 种 选择 。 对 于 许 
多 最 优化 问题 ， 使 用 动态 规划 算法 来 求 最 优 解 有 些 杀 鸡 用 牛刀 了 ， 可 以 使 用 更 简单 、 更 高 效 的 算 
法 。 贪 心算 法 (greedy algorithm) 就 是 这 样 的 算法 ， 它 在 每 一 步 都 做 出 当时 看 起 来 最 佳 的 选择 。 也 
就 是 说 ， 它 总 是 做 出 局 部 最 优 的 选择 ， 寄 希望 这 样 的 选择 能 导致 全 局 最 优 解 。 本 章 介 绍 一 些 贪心 
算法 能 找到 最 优 解 的 最 优化 问题 。 在 学 习 本 章 之 前 ， 你 应 该 学 习 第 15 章 动 态 规划 ， 特 别 是 应 认 
真 学 习 15. 3 节 。 

贪心 算法 并 不 保证 得 到 最 优 解 ， 但 对 很 多 问题 确实 可 以 求 得 最 优 解 。 我 们 首先 在 16. 1 节 介 
绍 一 个 简单 但 非 平凡 的 问题 一 一 活动 选择 问题 ， 这 是 一 个 可 以 用 贪心 算法 求 得 最 优 解 的 问题 。 
首先 考虑 用 动态 规划 方法 解决 这 个 问题 ， 然 后 证 明 一 直 做 出 贪心 选择 就 可 以 得 到 最 优 解 ， 从 而 
得 到 一 个 贪心 算法 。16. 2 节 会 回顾 贪心 方法 的 基本 要 素 ， 并 给 出 一 个 直接 的 方法 ， 可 用 来 证 明 
贪心 算法 的 正确 性 。16. 3 节 提 出 贪心 技术 的 一 个 重要 应 用 : 设计 数据 压缩 编码 (Huffman 编码 )。 
在 16.4 节 中 ， 我们 讨论 一 种 称 为 “ 拟 阵 ”(matroid) 的 组 合 结构 的 理论 基础 ， 贪 心算 法 总 是 能 获得 
这 种 结构 的 最 优 解 。 最 后 ，16. 5 节 将 拟 阵 应 用 于 单位 时 间 任 务 调度 问题 ， 每 个 任务 均 有 截止 时 
间 和 超时 惩罚 。 

贪心 方法 是 一 种 强 有 力 的 算法 设计 方法 ， 可 以 很 好 地 解决 很 多 问题 。 在 后 面 的 章节 中 ， 我 们 
会 提出 很 多 利用 贪心 策略 设计 的 算法 ， 包 括 最 小 生成 树 Cminimum-spanning-tree) 算 法 (第 23 章 )、 
单 源 最 短路 径 的 Dijkstra 算法 (第 24 章 )， 以 及 集合 覆盖 问题 的 Chvdtal 贪心 启发 式 算法 (第 35 
章 ) 。 最 小 生成 树 算法 提供 了 一 个 经 典 的 贪心 方法 的 例子 。 虽 然 可 以 独立 学 习 本 章 和 第 23 章 ， 但 
你 会 发 现 两 章 结合 学 习 ， 效 果 更 好 。 


16. 1 活动 选择 问题 


我 们 的 第 一 个 例子 是 一 个 调度 竞争 共享 资源 的 多 个 活动 的 问题 ， 目 标 是 选 出 一 个 最 大 的 互 
相 兼 容 的 活动 集合 。 假 定 有 一 个 n 个 活动 (activity) 的 集合 S= {wa ，as ，…，w,)， 这 些 活 动 使 用 
同一 个 资源 (例如 一 个 阶梯 教室 ) ， 而 这 个 资源 在 某 个 时 刻 只 能 供 一 个 活动 使 用 。 每 个 活动 a; 都 
有 一 个 开始 时 间 Sj 和 一 个 结束 时 间 fis 其 中 OKs <f: K. 如 果 被 选中 ， 任务 a; 发 生 在 半 开 时 
间 区 间 [s;， f;) 期 间 。 如 果 两 个 活动 a; Fila; 满足 [Ls;， FOILS; » fo ABB, 则 称 它们 是 兼容 的 。 
hee, As Sf Ms Sf, Ma 和 ai 是 兼容 的 。 在 活动 选择 问题 中 ， 我 们 希望 选 出 一 个 最 
大 兼容 活动 集 。 假 定 活动 已 按 结束 时 间 的 单调 递增 顺序 排序 : 








AS. Sf SeS SaS Sa (16. 1) 
《 稍 后 ， 我 们 会 看 到 这 一 假设 的 好 处 )。 例 如 ， 考 虑 下 面 的 活动 集合 S: 
i 1 2 3 4 5 6 7 8 9 10 11 
5 1 3 0 5 3 5 6 8 8 2 12 
f: 4 5 6 7 9 9 10 11 12 14 16 


对 于 这 个 例子 ， 子 集 {cs ，o ，auu } 由 相互 兼容 的 活动 组 成 。 但 它 不 是 一 个 最 大 集 ， 因 为 子 集 {a， 
Q49 Ags ai } 更 大 。 实际 上 ， {ays Q4s Ags al } 是 一 个 最 大 兼容 活动 子 集 ， 男 一 个 最 大 子 集 是 


{azs Q49 Ags Ai}. 
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下 面 分 几 个 步骤 来 解决 这 个 问题 。 我 们 可 以 通过 动态 规划 方法 将 这 个 问题 分 为 两 个 子 问题 ， 
然后 将 两 个 子 问 题 的 最 优 解 整 合成 原 问题 的 一 个 最 优 解 。 在 确定 该 将 哪些 子 问题 用 于 最 优 解 时 ， 
要 考虑 几 种 选择 。 读 者 稍 后 会 发 现 ， 贪 心算 法 只 需 考 虑 一 个 选择 ( 即 贪心 的 选择 ) ， 在 做 贪心 选择 
时 ， 子 问题 之 一 必 是 空 的 ， 因 此 ， 只 留 下 一 个 非 空子 问题 。 基 于 这 些 观察 ， 我 们 将 找到 一 种 递归 
贪心 算法 来 解决 活动 调度 问题 ， 并 将 递归 算法 转化 为 迭代 算法 ， 以 完成 贪心 方法 的 过 程 。 虽 然 本 
节 介 绍 的 步骤 比 典 型 的 贪心 算法 的 设计 过 程 更 为 复杂 ， 但 它们 说 明了 贪心 算法 和 动态 规划 之 间 
的 关系 。 

活动 选择 问题 的 最 优 子 结构 

我 们 容易 验证 活动 选择 问题 具有 最 优 子 结构 性 质 。 令 S 表示 在 a; 结束 之 后 开始 ， 且 在 a F 
始 之 前 结束 的 那些 活动 的 集合 。 假 定 我 们 希望 求 5; 的 一 个 最 大 的 相互 兼容 的 活动 子 集 ， 进 一 步 
假定 Ay 就 是 这 样 一 个 子 集 ， 包 含 活动 w。 由 于 最 优 解 包含 活动 ww， 我 们 得 到 两 个 子 问 题 : 寻找 
Sa 中 的 兼容 活动 (在 a 结束 之 后 开始 且 a 开始 之 前 结束 的 那些 活动 ) 以 及 寻找 Si 中 的 兼容 活动 
(在 a, 结束 之 后 开始 且 在 a; 开始 之 前 结束 的 那些 活动 )。 令 An = 二 Ai 门 Sx 和 A 二 As 门 Sj， 这 样 
Ax BA Ay PARLE a, 开始 之 前 结束 的 活动 ，Aj 包含 A; 中 那些 在 a 结束 之 后 开始 的 活动 。 因 
此 , RITE Aj = 一 Ax Ula} U A， 而 且 S; 中 最 大 兼容 任务 子 集 A; 包 含 | A; | =| Arl +1Ay | +1 
个 活动 。 

我 们 仍然 用 剪 切 一 粘贴 法 证 明 最 优 解 A; 必然 包含 两 个 子 问 题 ss 和 S 的 最 优 解 。 否 则 ， 如 果 
可 以 找到 Su 的 一 个 兼容 活动 子 集 Ay WE | Ay | >>| As | ， 则 可 以 将 A 而 不 是 Ay 作为 5; 的 最 优 
解 的 一 部 分 。 这 样 就 构造 出 一 个 兼容 活动 集 ， 其 大 小 |4x | 十 | 好 1+1>14| 十 | 如 | 十 1= 
|A; | ， 与 4 是 最 优 解 的 假设 矛盾 。 对 子 问题 Sj 类似 可 证 。 

这 样 刻画 活动 选择 问题 的 最 优 子 结构 ， 意 味 着 我 们 可 以 用 动态 规划 方法 求解 活动 选择 问题 。 
WRH cLi，jj 表 示 集 合 S; 的 最 优 解 的 大 小 ， 则 可 得 递归 式 

cli j] = cLisk]+clk,j]+1 

当然 ， 如 果 不 知 道 $ 的 最 优 解 包含 活动 a;， 就 需要 考查 S 中 所 有 活动 ， 寻 找 哪 个 活动 可 获 

得 最 优 解 ， 于 是 
车 Si = Ø 


(x) 16.2 
dij] = maalLi] + LRI A S; FDO ; | 


于 是 接 下 来 可 以 设计 一 个 带 备 忘 机 制 的 递归 算法 ， 或 者 使 用 自 底 向 上 法 填写 表 项 。 但 我 们 可 能 
忽略 了 活动 选择 问题 的 另 一 个 重要 性 质 ， 而 这 一 性 质 可 以 极 大 地 提高 问题 求解 速度 。 

贪心 选择 

假如 我 们 无 需求 解 所 有 子 问 题 就 可 以 选择 出 一 个 活动 加 入 到 最 优 解 ， 将 会 怎样 ? 这 将 使 我 
们 省 去 递归 式 (16. 2) 中 固有 的 考查 所 有 选择 的 过 程 。 实 际 上 ， 对 于 活动 选择 问题 ， 我 们 只 需 考虑 
一 个 选择 : 贪心 选择 。 

对 于 活动 选择 问题 ， 什 么 是 贪心 选择 ? 直观 上 ， 我 们 应 该 选择 这 样 一 个 活动 ， 选 出 它 后 剩 下 
的 资源 应 能 被 尽量 多 的 其 他 任务 所 用 。 现 在 考虑 可 选 的 活动 ， 其 中 必然 有 一 个 最 先 结束 。 因 此 ， 
直觉 告诉 我 们 ， 应 该 选择 S 中 最 早 结束 的 活动 ， 因 为 它 剩 下 的 资源 可 供 它 之 后 尽量 多 的 活动 使 
H. GIR S 中 最 早 结束 的 活动 有 多 个 ， 我 们 可 以 选择 其 中 任意 一 个 )。 换 名 话说， 由 于 活动 已 按 
结束 时 间 单 调 递 增 的 顺序 排序 ， 贪 心 选择 就 是 活动 a;/ 。 选 择 最 早 结束 的 活动 并 不 是 本 问题 唯一 
的 贪心 选择 方法 ， 练 习 16. 1-3 要 求 设计 其 他 贪心 选择 方法 。 

当做 出 贪心 选择 后 ， 只 剩 下 一 个 子 问题 需要 我 们 求解 : 寻找 在 a 结束 后 开始 的 活动 。 为 什 
么 不 需要 考虑 在 w 开始 前 结束 的 活动 呢 ? 因 为 5 二 fi AA 是 最 早 结束 的 活动 ， 所 以 不 会 有 活动 
的 结束 时 间 早 于 s. Bi, MAS a 兼容 的 活动 都 必须 在 wa 结束 之 后 开始 。 
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而 且 ， 我们 已 经 证 明 活 动 选择 问题 具有 最 优 子 结构 性 质 。 令 S, 二 {a; ES s; 之 fi) 为 在 ai 结 
束 后 开始 的 任务 集合 。 当 我 们 做 出 贪心 选择 ， 选 择 了 a 后 ， 剩 下 的 S 是 唯一 需要 求解 的 子 问 
题 s 。 最 优 子 结构 性 质 告诉 我 们 ， 如 果 a 在 最 优 解 中 ， 那 么 原 问题 的 最 优 解 由 活动 a 及 子 问题 
S 中 所 有 活动 组 成 。 

现在 还 剩 下 一 个 大 问题 : 我 们 的 直觉 是 正确 的 吗 ? 贪心 选择 一 一 最 早 结束 的 活动 一 一 总 是 
最 优 解 的 一 部 分 吗 ? 下 面 的 定理 证 明了 这 一 点 。 

定理 16.1 考虑 任意 非 空 子 问 题 S,, a, 是 Ss 中 结束 时 间 最 早 的 活动 ， 则 a 在 Si 的 某 个 
最 大 兼容 活动 子 集中 。 

证 明 令 A ES, 的 一 个 最 大 兼容 活动 子 集 ， 且 a; 是 A 中 结束 时 间 最 早 的 活动 。 若 a= 
an ， 则 已 经 证 明 a TES, 的 某 个 最 大 兼容 活动 子 集 中 。 若 aAa, GRA ASA (aj) U lan} 
即将 A 中 的 a; 替换 为 a,;,。Ai 中 的 活动 都 是 不 相交 的 ， 因 为 A 中 的 活动 都 是 不 相交 的 ，a; BA, 
中 结束 时 间 最 早 的 活动 ， 而 f 志 f;。 由 于 |Ai | 二 |Ai|， 因 此 得 出 结论 A* 也 是 S 的 一 个 最 大 兼 
RTR, HEBE ano m 

因此 ， 我 们 看 到 虽然 可 以 用 动态 规划 方法 求解 活动 选择 问题 ， 但 并 不 需要 这 样 做 (此 外 ， 我 
们 并 未 检查 活动 选择 问题 是 否 具有 重重 子 问题 性 质 )。 相 反 ， 我 们 可 以 反复 选择 最 早 结束 的 活动 ， 
保留 与 此 活动 兼容 的 活动 ， 重 复 这 一 过 程 ， 直 至 不 再 有 剩余 活动 。 而 且 ， 因 为 我 们 总 是 选择 最 早 
结束 的 活动 ， 所 以 选择 的 活动 的 结束 时 间 必 然 是 严格 递增 的 。 我 们 只 需 按 结束 时 间 的 单调 递增 
顺序 处 理 所 有 活动 ， 每 个 活动 只 考查 一 次 。 

求解 活动 选择 问题 的 算法 不 必 像 基于 表格 的 动态 规划 算法 那样 自 底 向 上 进行 计算 。 相 反 ， 
可 以 自 顶 向 下 进行 计算 ， 选 择 一 个 活动 放 人 最 优 解 ， 然 后 ， 对 剩余 的 子 问题 (包含 与 已 选择 的 活 
动 兼容 的 活动 ) 进 行 求解 。 贪 心算 法 通常 都 是 这 种 自 顶 向 下 的 设计 : 做 出 一 个 选择 ， 然 后 求解 番 
下 的 那个 子 问 题 ， 而 不 是 自 底 向 上 地 求解 出 很 多 子 问题 ， 然 后 再 做 出 选择 。 

递归 贪心 算法 

我 们 已 经 看 到 如 何 绕 过 动态 规划 方法 而 使 用 自 顶 向 下 的 贪心 算法 来 求解 活动 选择 问题 ， 现 
在 我 们 可 以 设计 一 个 直接 的 递归 过 程 来 实现 贪心 算法 。 过程 RECURSIVE-ACTIVITY- 
SELECTOR 的 输入 为 两 个 数组 s 和 f®， 表 示 活 动 的 开始 和 结束 时 间 ， 下 标 & 指 出 要 求解 的 子 问 
题 S$;,， 以 及 问题 规模 n。 它 返回 S 的 一 个 最 大 兼容 活动 集 。 我 们 假定 输入 的 2 个 活动 已 经 按 结 
束 时 间 的 单调 递增 顺序 排列 好 (公式 (16. 1)) 。 如 果 未 排 好 序 ， 我 们 可 以 在 OC lgn) 时 间 内 对 它们 
进行 排序 ， 结 束 时 间 相 同 的 活动 可 以 任意 排列 。 为 了 方便 算法 初始 化 ， 我 们 添加 一 个 虚拟 活动 
ao， 其 结束 时 间 二 0， 这 样子 问题 S 就 是 完整 的 活动 集 S。 求 解 原 问 题 即 可 调用 RECURSIVE- 
ACTIVITY-SELECTOR(s, f, 0, n). 

RECURSIVE-ACTIVITY-SELECTOR(s, f, k, n) 

l m=k+1 

2 while m<n and s[m]<fLk] // find the first activity in S, to finish 
3 m=m+l1 

4 ifm<n 

5 | return {a,,} J RECURSIVE-ACTIVITY-SELECTOR(s, fs m, n) 

6 


else. return Ø 
图 16-1 显示 了 算法 的 执行 过 程 。 在 一 次 递归 调用 RECURSIVE-ACTIVITY-SELECTOR (s, 
O RNIN S 表示 子 问题 而 不 是 活动 集合 。 根 据 上 下 文 ， 可 以 很 清楚 地 判定 S 表示 一 个 活动 集 还 是 以 该 活动 


集 为 输入 的 子 问题 。 
加 ”因为 伪 代 码 把 * 入 作为 数组 ， 所 以 用 方 括号 而 不 是 下 标 来 指向 它们 。 


240 + 第 四 部 分 高 级 设计 和 分 析 技 术 


f» k, n) 的 过 程 中 ， 第 2~3 行 while 循环 查找 S; 中 最 早 结束 的 活动 。 循环 检查 Aptis Aptos “ 
a,， 直 至 找到 第 一 个 与 a 兼容 的 活动 a;， 此 活动 满足 s,, 宇 f;。 如 果 循环 因为 查找 成 功 而 结束 ， 
第 5 行 返 回 {a,,} 与 RECURSIVE-ACTIVITY-SELECTOR(s，f，m，n) 返 回 的 S, 的 最 大 子 集 的 
并 集 。 循 环 也 可 能 因为 mn 而 终止 ， 这 意味 着 我 们 已 经 检查 了 S 中 所 有 活动 ， 未 找到 与 w H 
容 者 。 在 此 情况 下 ，S; 一， 因此 第 6 RAS. 


k Soh 
0 apy 0 i ， 
ao ME 4 
aC ee panra an: 


RECURSIVE-ACTIVITY-SELECTOR(Sj, 0, U ' 
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ee e A 4 a 
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图 16-1 对 前 文 给 出 的 11 个 活动 执行 RECURSIVE-ACTIVITY-SELECTOR 的 过 程 。 每 次 递归 调用 中 处 
理 的 活动 位 于 水 平 线 之 间 。 虚 拟 活 动 we 于 时 刻 0 结束 ， 因 此 第 一 次 调用 RECURSIVE- 
ACTIVITY-SELECTOR(s，f，0，11) 会 选择 活动 cl 。 在 每 次 递归 调用 中 ， 被 选择 的 活动 用 阴 
影 表 示 ， 而 白 底 方 框 表 示 正 在 处 理 的 活动 。 如 果 一 个 活动 的 开始 时 间 早 于 最 近 选 中 的 活动 的 结 
束 时 间 ( 两 者 间 的 箭头 是 指向 左 侧 的 )， 它 将 被 丢弃 。 否 则 ( 稍 头 指向 右 侧 )， 将 选择 该 活动 。 最 
后 一 次 递归 调用 RECURSIVE-ACTIVITY-SELECTOR(s，f，11，11) 返 回 必 。 选 择 的 活动 的 
AA RBH (a » Q49 Ags Qi} } 


假定 活动 已 经 按 结束 时 间 排 好 序 ， 则 递归 调用 RECURSIVE-ACTIVITY-SELECTOR(s, f, 
0，7) 的 运行 时 间 为 96(z) ， 我 们 稍 后 证 明 这 个 结论 。 在 整个 递归 调用 过 程 中 ， 每 个 活动 被 且 只 被 
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第 2 行 的 while 循环 检查 一 次 。 特 别 地 ， 活 动 a; Eki 的 最 后 一 次 调用 中 被 检查 。 

迭代 贪心 算法 

我 们 可 以 很 容易 地 将 算法 转换 为 迭代 形式 。 过 程 RECURSIVE-ACTIVITY-SELECTOR 几乎 
就 是 “ 尾 递 归 ”( 参 见 思 考题 7-4) : 它 以 一 个 对 自身 的 递归 调用 再 接 一 次 并 集 操 作 绪 尾 。 将 一 个 尾 
递归 过 程 改 为 迭代 形式 通常 是 很 直接 的 ， 实 际 上 ， 某 些 特定 语言 的 编译 髓 可 以 自动 完成 这 一 工 
作 。 如 前 所 述 ，RECURSIVE-ACTIVITY-SELECTOR 用 来 求解 子 问题 S' ， 即 由 最 后 完成 的 任务 
组 成 的 子 问题 。 

过 程 GREEDY-ACTIVITY-SELECTOR 是 过 程 RECURSIVE-ACTIVITY-SELECTOR 的 一 
个 迭代 版 本 。 它 也 假定 输入 活动 已 按 结束 时 间 单 调 递增 顺序 排 好 序 。 它 将 选 出 的 活动 存 人 集合 A 
中 ， 并 将 A 返回 调用 者 。 

GREEDY-ACTIVITY-SELECTOR(s, f) 

l n=s. length 

2 A={a,} 

3 k=l 

4 for m=2 ton 
5 if [m] > Ck] 
6 A=AU {am}? 
7 k=m 
8 return A 

过 程 执行 如 下 。 变 量 & 记 录 了 最 近 加 入 集合 A 的 活动 的 下 标 ， 它 对 应 递归 算法 中 的 活动 
as。 由 于 我 们 按 结束 时 间 的 单调 递增 顺序 处 理 活动 ，fi 总 是 A 中 活动 的 最 大 结束 时 间 。 也 就 
是 说 ， 

fi = max{ f;:a; € A} (16. 3) 

第 2 一 3 行 选择 活动 a ， 将 A 的 初 值 设置 为 只 包含 此 活动 ， 并 将 的 初 值 设 为 此 活动 的 下 标 。 第 
4~7 行 的 for 循环 查找 S 中 最 早 结 束 的 活动 。 循 环 依次 处 理 每 个 活动 a,,，a 若 与 之 前 选 出 的 活 
动 兼容 ， 则 将 其 加 入 A， 这 样 选 出 的 an 必然 是 S; 中 最 早 结束 的 活动 。 为 了 检查 活动 an BBS 
A 中 所 有 活动 都 兼容 ， 过 程 检 查 公 式 (16. 3) 是 否 成 立 ， 即 检查 活动 的 开始 时 间 % 是 否 不 早 于 最 
近 加 入 到 A 中 的 活动 的 结束 时 间 f;。 如 果 活 动 a 是 兼容 的 ， 第 6 一 7 行将 其 加 入 A 中 ， 并 将 & 
设置 为 m。GREEDY-ACTIVITY-SELECTOR(s， 有 有) 返回 的 集合 A 与 RECURSIVE-ACTIVITY- 
SELECTOR(s，f，0，n) 返 回 的 集合 完全 相同 。 

与 递归 版 本 类 似 ,在 输入 活动 已 按 结束 时 间 排 序 的 前 提 下 ，GREEDY-ACTIVITY- 
SELECTOR 的 运行 时 间 为 @(n)。 


练习 


16.1-1 根据 递归 式 (16. 2) 为 活动 选择 问题 设计 一 个 动态 规划 算法 。 算 法 应 该 按 前 文 定义 计算 最 
大 兼容 活动 集 的 大 小 c[i， 门 并 生成 最 大 集 本 身 。 假 定 输入 的 活动 已 按 公式 (16. 1) 排 好 
序 。 比 较 你 的 算法 和 GREEDY-ACTIVITY-SELECTOR 的 运行 时 间 。 

16. 1-2 ”假定 我 们 不 再 一 直选 择 最 早 结束 的 活动 ， 而 是 选择 最 晚 开 始 的 活动 ， 前 提 仍 然 是 与 之 前 
选 出 的 所 有 活动 均 兼 容 。 描 述 如 何 利 用 这 一 方法 设计 贪心 算法 ， 并 证 明 算法 会 产生 最 
优 解 。 

16. 1-3 ”对 于 活动 选择 问题 ， 并 不 是 所 有 贪心 方法 都 能 得 到 最 大 兼容 活动 子 集 。 请 举例 说 明 ， 在 
剩余 兼容 活动 中 选择 持续 时 间 最 短 者 不 能 得 到 最 大 集 。 类 似 地 ， 说 明 在 剩余 兼容 活动 中 
选择 与 其 他 剩余 活动 重 盖 最 少 者 ， 以 及 选择 最 早 开 始 者 均 不 能 得 到 最 优 解 。 
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16. 1-4 假定 有 一 组 活动 ， 我 们 需要 将 它们 安排 到 一 些 教室 ， 任 意 活动 都 可 以 在 任意 教室 进行 。 
我 们 和 希望 使 用 最 少 的 教室 完成 所 有 活动 。 设 计 一 个 高 效 的 贪心 算法 求 每 个 活动 应 该 在 哪 
个 教室 进行 。 
(这 个 问题 称 为 区 间 图 着 色 问题 (interval-graph color problem) 。 我 们 可 以 构造 一 个 区 间 
图 ， 顶 点 表示 给 定 的 活动 ， 边 连接 不 兼容 的 活动 。 要 求 用 最 少 的 颜色 对 顶点 进行 着 色 ， 
使 得 所 有 相 邻 顶点 颜色 均 不 相同 一 一 这 与 使 用 最 少 的 教室 完成 所 有 活动 的 问题 是 对 应 的 。) 
16.1-5 考虑 活动 选择 问题 的 一 个 变形 : 每 个 活动 a; 除了 开始 和 结束 时 间 外 ， 还 有 一 个 值 n H 
标 不 再 是 求 规模 最 大 的 兼容 活动 子 集 ， 而 是 求 值 之 和 最 大 的 兼容 活动 子 集 。 也 就 是 说 ， 
选择 一 个 兼容 活动 子 集 A， 使 得 Dv 最 大 化 。 设 计 一 个 多 项 式 时 间 的 算法 求解 此 


问题 。 


16.2 贪心 算法 原理 

贪心 算法 通过 做 出 一 系列 选择 来 求 出 问题 的 最 优 解 。 在 每 个 决策 点 ， 它 做 出 在 当时 看 来 最 
佳 的 选择 。 这 种 启发 式 策略 并 不 保证 总 能 找到 最 优 解 ， 但 对 有 些 问 题 确 实 有 效 ， 如 活动 选择 问 
题 。 本 节 讨 论 贪心 方法 的 一 些 一 般 性 质 。 

16. 1 节 中 设计 贪心 算法 的 过 程 比 通常 的 过 程 繁琐 一 些 ， 我 们 当时 经 过 了 如 下 几 个 步骤 : 

1. 确定 问题 的 最 优 子 结构 。 

2. 设计 一 个 递归 算法 (对 活动 选择 问题 ， 我 们 给 出 了 递归 式 (16. 2)， 但 跳 过 了 基于 此 递归 式 
设计 递归 算法 的 步骤 ) 。 

3. 证 明 如 果 我 们 做 出 一 个 贪心 选择 ， 则 只 剩 下 一 个 子 问题 。 

4. 证 明 贪 心 选择 总 是 安全 的 (步骤 3、4 的 顺序 可 以 调换 ) 。 

5. 设计 一 个 递归 算法 实现 贪心 策略 。 

6. 将 递归 算法 转换 为 迭代 算法 。 

在 这 个 过 程 中 ， 我 们 详细 地 看 到 了 贪心 算法 是 如 何以 动态 规划 方法 为 基础 的 。 例 如 ， 在 活动 
选择 问题 中 ， 我 们 首先 定义 了 子 问 题 S$; ， 其 中 i 和; 都 是 可 变 的 。 然 后 我 们 发 现 ， 如 果 总 是 做 出 
贪心 选择 ， 则 可 以 将 子 问题 限定 为 S, 的 形式 。 

与 这 种 繁琐 的 过 程 相反 ， 我 们 可 以 通过 贪心 选择 来 改进 最 优 子 结构 ， 使 得 选择 后 只 留 下 一 
个 子 问题 。 在 活动 选择 问题 中 ， 我 们 可 以 一 开始 就 将 第 二 个 下 标 去 掉 ， 将 子 问题 定义 为 S 的 形 
式 。 然 后 ， 我 们 可 以 证 明 ， 贪心 选 择 (S; 中 最 早 结束 的 活动 av) 与 剩余 兼容 活动 集 的 最 优 解 组 合 
在 一 起 ， 就 会 得 到 S 的 最 优 解 。 更 一 般 地 ， 我 们 可 以 按 如 下 步骤 设计 贪心 算法 : 

1. 将 最 优化 问题 转化 为 这 样 的 形式 : 对 其 做 出 一 次 选择 后 ， 只 剩 下 一 个 子 问 题 需要 求解 。 

2. 证 明 做 出 贪心 选择 后 ， 原 问题 总 是 存在 最 优 解 ， 即 贪心 选择 总 是 安全 的 。 

3. 证 明 做 出 贪心 选择 后 ， 剩 余 的 子 问题 满足 性 质 : 其 最 优 解 与 贪心 选择 组 合 即 可 得 到 原 问 
题 的 最 优 解 ， 这 样 就 得 到 了 最 优 子 结构 。 

在 本 章 剩 余部 分 中 ， 我 们 将 使 用 这 种 更 直接 的 设计 方法 。 但 我 们 应 该 知道 ， 在 每 个 贪心 算法 
之 下 ， 几 乎 总 有 一 个 更 繁琐 的 动态 规划 算法 。 

我 们 如 何 证 明 一 个 贪心 算法 是 否 能 求解 一 个 最 优化 问题 呢 ? 并 没有 适合 所 有 情况 的 方法 ， 
但 贪心 选择 性 质 和 最 优 子 结构 是 两 个 关键 要 素 。 如 果 我 们 能 够 证 明 问 题 具 有 这 些 性 质 ， 就 向 贪 
心算 法 迈 出 了 重要 一 步 。 

贪心 选择 性 质 

第 一 个 关键 要 素 是 贪心 选择 性 质 (greedy-choice property): 我 们 可 以 通过 做 出 局 部 最 优 ( 贪 
心 ) 选 择 来 构造 全 局 最 优 解 。 换 句 话 说 ， 当 进行 选择 时 ， 我 们 直接 做 出 在 当前 问题 中 看 来 最 优 的 
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选择 ， 而 不 必 考 虑 子 问题 的 解 。 

这 也 是 贪心 算法 与 动态 规划 的 不 同 之 处 。 在 动态 规划 方法 中 ， 每 个 步骤 都 要 进行 一 次 选择 ， 
但 选择 通常 依赖 于 子 问 题 的 解 。 因 此 ， 我 们 通常 以 一 种 自 底 向 上 的 方式 求解 动态 规划 问题 ， 先 求 
解 较 小 的 子 问题 ， 然 后 是 较 大 的 子 问题 (我 们 也 可 以 自 顶 向 下 求解 ， 但 需要 备 忘 机 制 。 当 然 ， 即 
使 算法 是 自 顶 向 下 进行 计算 ， 我 们 仍然 需要 先 求解 子 问题 再 进行 选择 ) 。 在 贪心 算法 中 ， 我 们 总 
是 做 出 当时 看 来 最 佳 的 选择 ， 然 后 求解 剩 下 的 唯一 的 子 问题 。 贪 心算 法 进行 选择 时 可 能 依赖 之 
前 做 出 的 选择 ， 但 不 依赖 任何 将 来 的 选择 或 是 子 问题 的 解 。 因 此 ， 与 动态 规划 先 求解 子 问 题 才 能 
进行 第 一 次 选择 不 同 ， 贪 心算 法 在 进行 第 一 次 选择 之 前 不 求解 任何 子 问题 。 一 个 动态 规划 算法 
是 自 底 向 上 进行 计算 的 ， 而 一 个 贪心 算法 通常 是 自 顶 向 下 的 ， 进 行 一 次 又 一 次 选择 ， 将 给 定 问 题 
实例 变 得 更 小 。 

当然 ， 我 们 必须 证 明 每 个 步骤 做 出 贪心 选择 能 生成 全 局 最 优 解 。 如 年 理 16.1 所 示 ， 这 种 证 
明 通 常 首 先 考查 某 个 子 问题 的 最 优 解 ， 然 后 用 贪心 选择 替换 某 个 其 他 选择 来 修改 此 解 ， 从 而 得 
到 一 个 相似 但 更 小 的 子 问题 。 

如 果 进 行 贪心 选择 时 我 们 不 得 不 考虑 众多 选择 ， 通 常 意味 着 可 以 改进 贪心 选择 ， 使 其 更 为 
高 效 。 例 如 ， 在 活动 选择 问题 中 ， 假 定 我 们 已 经 将 活动 按 结束 时 间 单 调 递增 顺序 排 好 序 ， 则 对 每 
个 活动 能 够 只 需 处 理 一 次 。 通 过 对 输入 进行 预 处 理 或 者 使 用 适合 的 数据 结构 (通常 是 优先 队列 )， 
我 们 通常 可 以 使 贪心 选择 更 快速 ， 从 而 得 到 更 高 效 的 算法 。 

最 优 子 结构 

如 果 一 个 问题 的 最 优 解 包含 其 子 问题 的 最 优 解 ， 则 称 此 问题 具有 最 优 子 结 构 性 质 。 此 性 质 
是 能 否 应 用 动态 规划 和 贪心 方法 的 关键 要 素 。 我 们 还 是 以 16. 1 节 的 活动 选择 问题 为 例 ， 如 果 一 
个 子 问 题 S 的 最 优 解 包含 活 动 a;:， 那 么 它 必 然 也 包含 子 问 题 S; 和 Si 的 最 优 解 。 给 定 这 样 的 最 
优 子 结构 ， 我 们 可 以 得 出 结论 ， 如 果 知 道 S; 的 最 优 解 应 该 包含 哪个 活动 a:， 就 可 以 组 合 w 以 及 
Si 和 Si 的 最 优 解 中 所 有 活动 来 构造 S; 的 最 优 解 。 基 于 对 最 优 子 结构 的 这 种 观察 结果 ， 我 们 就 可 
以 设计 出 递归 式 (16. 2) 来 描述 最 优 解 值 的 计算 方法 。 

当 应 用 于 贪心 算法 时 ， 我 们 通常 使 用 更 为 直接 的 最 优 子 结构 。 如 前 所 述 ， 我 们 可 以 假定 ， 通 
过 对 原 问 题 应 用 贪心 选择 即 可 得 到 子 问题 。 我 们 真正 要 做 的 全 部 工作 就 是 论证 将 子 问题 的 最 
优 解 与 贪心 选择 组 合 在 一 起 就 能 生成 原 问题 的 最 优 解 。 这 种 方法 隐 含 地 对 子 问题 使 用 了 数学 归 
纳 法 ， 证 明了 在 每 个 步骤 进行 贪心 选择 会 生成 原 问题 的 最 优 解 。 

贪心 对 动态 规划 

由 于 贪心 和 动态 规划 策略 都 利用 了 最 优 子 结构 性 质 ， 你 可 能 会 对 一 个 可 用 贪心 算法 求解 的 
问题 设计 一 个 动态 规划 算法 ,或 者 相反 ， 对 一 个 实际 上 需要 用 动态 规划 求解 的 问题 使 用 了 贪心 
方法 。 为 了 说 明 两 种 方法 之 间 的 细微 差别 ， 我 们 研究 一 个 经 典 最 优化 问题 的 两 个 变形 。 

0-1 背包 问题 (0-1 knapsack problem) 是 这 样 的 : 一 个 正在 抢 动 商店 的 小 偷 发 现 了 nn 个 商品 ， 
第 i 个 商品 价值 vw; RIC, Bw, 磅 ，wv; Mw 都 是 整数 。 这 个 小 偷 希望 拿 走 价值 尽量 高 的 商品 ， 但 
他 的 背包 最 多 能 容纳 W 磅 重 的 商品 ，W 是 一 个 整数 。 他 应 该 拿 哪 些 商 品 呢 ? (我 们 称 这 个 问题 
是 0-1 背包 问题 ， 因 为 对 每 个 商品 ， 小 偷 要 么 把 它 完整 拿 走 ， 要 么 把 它 留 下 ; 他 不 能 只 拿 走 一 个 
商品 的 一 部 分 ， 或 者 把 一 个 商品 拿 走 多 次 。) 

在 分 数 背 包 问 题 (fractional knapsack problem) 中 ， 设 定 与 0-1 背包 问题 是 一 样 的 ， 但 对 每 个 
商品 ， 小 偷 可 以 拿 走 其 一 部 分 ， 而 不 是 只 能 做 出 二 元 (0-1) 选 择 。 你 可 以 将 0-1 背包 问题 中 的 商 
品 想象 为 金 锭 ， 而 分 数 背包 问题 中 的 商品 更 像 金 砂 。 

两 个 背包 问题 都 具有 最 优 子 结构 性 质 。 对 0-1 背包 问题 ， 考 虑 重量 不 超过 六 而 价值 最 高 的 
装 包 方 案 。 如 果 我 们 将 商品 7 从 此 方案 中 删除 ， 则 剩余 商品 必须 是 重量 不 超过 W 一 w 的 价值 最 
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高 的 方案 (小 偷 只 能 从 不 包括 商品 7 的 n 一 1 个 商品 中 选择 拿 走 哪些 )。 

虽然 两 个 问题 相似 ， 但 我 们 用 贪心 策略 可 以 求解 分 数 背包 问题 ， 而 不 能 求解 0-1 背包 问题 。 
为 了 求解 分 数 育 包 问 题 ， 我 们 首先 计算 每 个 商品 的 每 磅 价值 v/w;。 遵 循 贪心 策略 ， 小 偷 首 先 尽 
量 多 地 拿 走 每 磅 价值 最 高 的 商品 。 如 果 该 商品 已 全 部 拿 走 而 背包 尚未 满 ， 他 继续 尽量 多 地 拿 走 
每 磅 价值 第 二 高 的 商品 ， 依 此 类 推 ， 直 至 达到 重量 上 限 W。 因 此 ， 通 过 将 商品 按 每 磅 价值 排序 ， 
贪心 算法 的 运行 时 间 为 O(nlgn)。 我 们 将 分 数 背 包 问 题 的 贪心 选择 性 质 的 证 明 留 作 练习 16. 2-1。 

为 了 说 明 这 一 贪心 策略 对 0-1 背包 问题 无 效 ， 考 虑 图 16-2(a) 所 示 的 问题 实例 。 此 例 包含 3 
个 商品 和 一 个 能 容纳 50 磅 重量 的 背包 。 商 品 1 重 10 磅 ， 价 值 60 美元 。 商 品 2 E 20 磅 ， 价 值 
100 美元 。 商 品 3 重 30 磅 ， 价 值 120 美元 。 因 此 ， 商 品 1 的 每 磅 价值 为 6 美元 ， 高 于 商品 2 的 每 
磅 价值 (5 美元 ) 和 商品 3 的 每 磅 价值 (4 美元 ) 。 因 此 ， 上 述 贪心 策略 会 首先 拿 走 商品 1。 但 是 ， 
如 图 16-2(b) 的 实例 分 析 所 示 ， 最 优 解 应 该 拿 走 商品 2 和 商品 3， 而 留 下 商品 1。 拿 走 商品 1 的 两 
种 方案 都 是 次 优 的 。 

但 是 ， 如 图 16-2(c) 所 示 ， 对 于 分 数 缘 包 问 题 ， 上 述 贪心 策略 首先 拿 走 商品 1， 是 可 以 生成 
最 优 解 的 。 拿 走 商 品 1 的 策略 对 0-1 背包 问题 无 效 是 因为 小 偷 无 法 装 满 背 包 ， 空 闲 空 间 降低 了 方 
案 的 有 效 每 磅 价值 。 在 0-1 背包 问题 中 ， 当 我 们 考虑 是 否 将 一 个 商品 装 入 背包 时 ， 必 须 比 较 包 含 
此 商品 的 子 问 题 的 解 与 不 包含 它 的 子 问题 的 解 ， 然 后 才能 做 出 选择 。 这 会 导致 大 量 的 重合 子 问 


题 一 一 动态 规划 的 标识 ， 练 习 16. 2-2 要 求 你 证 明 可 以 用 动态 规划 方法 求解 0-1 背包 问题 。 











ae ae a 20 
i a tf 
a 0| $120 
fst a 
=n l, $120 
o i 
i hie 
aan $ 100 Pere 
Se a 
Sas SEETI ets Wee 
$120 “背包 = $220 $160 = $180 
(a) (b) 


图 16-2 ”一 个 实例 ， 说 明 贪 心 策略 对 0-1 背包 问题 无 效 。(a) 小 偷 必 须 选择 所 示 三 个 商品 的 一 个 子 
集 ， 总 重量 不 超过 50 磅 。(b) 最 优 子 集 由 商品 2 和 商品 3 组 成 。 虽 然 商品 1 有 最 大 的 每 磅 
价值 ， 但 包含 它 的 任何 解 都 是 次 优 的 。(c) 对 于 分 数 背 包 问 题 ， 按 每 磅 价值 降序 拿 走 商品 
会 生成 一 个 最 优 解 


练习 

16.2-1 WH: 分 数 背 包 问 题 具 有 贪心 选择 性 质 。 

16. 2-2 设计 动态 规划 算法 求解 0-1 背包 问题 ， 要 求 运 行 时间 为 O(mW) ，n 为 商品 数量 ，W 是 小 
偷 能 放 进 背包 的 最 大 商品 总 重量 。 

16.2-3 ”假定 在 0-1 背包 问题 中 ， 商 品 的 重量 递增 序 与 价值 递减 序 完 全 一 样 。 设 计 一 个 高 效 算 法 
求 此 背包 问题 的 变形 的 最 优 解 ， 证 明 你 的 算法 是 正确 的 。 

16. 2-4 Gekko 教授 一 直 梦 想 用 直 排 轮滑 的 方式 横 穿 北 达 科 他 州 。 他 计划 沿 U.S. 2 号 高 速 公 路 横 
穿 ， 这 条 高 速 公 路 从 明尼苏达 州 东 部 边境 的 大 福克斯 市 到 靠近 蒙 大 拿 州 西部 边境 的 威 利 
斯 顿 市 。 教 授 计 划 带 两 公升 水 ， 在 喝 光 水 之 前 能 滑行 m 英里 (由 于 北 达科他 州 地 势 相 对 
平坦 ， 教 授 无 需 担心 在 上 坡 路 段 喝 水 速度 比 平 地 或 下 坡 路 段 快 )。 教 授 从 大 福克斯 市 出 
发 时 带 整 整 两 公升 水 。 他 携带 的 北 达科他 州 官方 地 图 显示 了 U.S 2 号 公路 上 所 有 可 以 
补充 水 的 地 点 ， 以 及 这 些 地 点 间 的 距离 。 
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教授 的 目标 是 最 小 化 横 穿 途中 补充 水 的 次 数 。 设 计 一 个 高 效 的 方法 ， 以 帮助 教授 确 
定 应 该 在 哪些 地 点 补充 水 。 证 明 你 的 策略 会 生成 最 优 解 ， 分 析 其 运行 时 间 。 
16. 2-5 设计 一 个 高 效 算法 ， 对 实数 线 上 给 定 的 一 个 点 集 {x1， Tis y Lyly 求 一 个 单位 长 度 闭 
区 间 的 集合 ， 包 含 所 有 给 定 的 点 ， 并 要 求 此 集合 最 小 。 证 明 你 的 算法 是 正确 的 。 
*16.2-6 ”设计 算法 ， 在 O(n) 时 间 内 求解 分 数 背 包 问 题 。 
16.2-7 给 定 两 个 集合 A 和 B， 各 包含 nn 个 正 整数 。 你 可 以 按 需 要 任意 重 排 每 个 集合 。 重 排 后 ， 


令 a; 为 集合 A 的 第 i TTR, bi 为 集合 B 的 第 ; 个 元 素 。 于 是 你 得 到 回报 Ia. >- Wit 
算法 最 大 化 你 的 回报 。 证 明 你 的 算法 是 正确 的 ， 并 分 析 运 行 时 间 。 


16.3 赫 夫 曼 编 码 


赫 夫 曼 编 码 可 以 很 有 效 地 压缩 数据 通常 可 以 节省 20% 一 90% 的 空间 ， 具 体 压 缩 率 依赖 于 
数据 的 特性 。 我 们 将 待 压缩 数据 看 做 字符 序列 。 根 据 每 个 字符 的 出 现 频率 ， 替 夫 曼 贪心 算法 构造 
出 字符 的 最 优 二 进 制 表示 。 

假定 我 们 希望 压缩 一 个 10 万 个 字符 的 数据 文件 。 图 16-3 给 出 了 文件 中 所 出 现 的 字符 和 它们 
的 出 现 频率 。 也 就 是 说 ， 文 件 中 只 出 现 了 6 个 不 同 字符 ， 其 中 字符 a 出 现 了 45 000 次。 


Cc 0 e 


| a b c d e f) 
mx FX) 45 13 12 16 9 5 
定 长 编码 000 001 010 011 100 101 
变 长 编码 0 101 100 111 1101 1100 


图 16-3 一 个 字符 编码 问题 。 一 个 100 000 个 字符 的 文件 ， 只 包含 a~f 6 个 不 同 字符 ， 出 现 频率 如 上 
表 所 示 。 如 果 为 每 个 字符 指定 一 个 3 位 的 码 字 ， 我 们 可 以 将 文件 编码 为 300 000 位 的 长 度 。 
但 使 用 上 表 所 示 的 变 长 编码 ， 我 们 可 以 仅 用 224 000 位 编码 文件 


我 们 有 很 多 方法 可 以 表示 这 个 文件 的 信息 。 在 本 节 中 ， 我 们 考虑 一 种 二 进 制 字符 编码 (或 简 
称 编码 ) 的 方法 ， 每 个 字符 用 一 个 唯一 的 二 进 制 串 表示 ， 称 为 码 字 。 如 果 使 用 定 长 编码 ， 需 要 用 
3 位 来 表示 6 个 字符 : a 二 000，b 二 001，…，f{ 二 101。 这 种 方法 需要 300 000 个 二 进 制 位 来 编码 文 
件 。 是否 有 更 好 的 编码 方案 呢 ? 

变 长 编码 (variable-length code) 可 以 达到 比 定 长 编码 好 得 多 的 压缩 率 ， 其 思想 是 赋予 高 频 字 
符 短 码 字 ， 赋 予 低频 字符 长 码 字 。 图 16-3 显示 了 本 例 的 一 种 变 长 编码 :1 位 的 串 0 表示 a，4 位 
的 串 1100 表示 f。 因 此 ， 这 种 编码 表示 此 文件 共 需 

(45。1 十 13。3 十 12。3 十 16。3 十 9。4 十 5。4)。1 000=224 000 位 

与 定 长 编码 相 比 节约 了 25% 的 空间 。 实 际 上 ， 我们 将 看 到 ， 这 是 此 文件 的 最 优 字符 编码 。 

Haw 

我 们 这 里 只 考虑 所 谓 前 缀 码 (prefix code)® ， 即 没有 任何 码 字 是 其 他 码 字 的 前 级 。 虽 然 我 们 
这 里 不 会 证 明 ， 但 与 任何 字符 编码 相 比 ， 前 级 码 确 实 可 以 保证 达到 最 优 数据 压缩 率 ， 因 此 我 们 只 
关注 前 级 码 ， 不 会 丧失 一 般 性 。 

任何 二 进 制 字符 码 的 编码 过 程 都 很 简单 ， 只 要 将 表示 每 个 字符 的 码 字 连接 起 来 即 可 完成 文件 
压缩 。 例 如， 使 用 图 16-3 所 示 的 变 长 前 缀 码 ， 我 们 可 以 将 3 个 字符 的 文件 abe 编码 为 0。101 。 
100=0101100, “ » ”表示 连结 操作 。 

前 级 码 的 作用 是 简化 解码 过 程 。 由 于 没有 码 字 是 其 他 码 字 的 前 级 ， 编 码 文件 的 开始 码 字 是 
无 歧义 的 。 我 们 可 以 简单 地 识别 出 开始 码 字 ， 将 其 转换 回 原 字符 ， 然 后 对 编码 文件 剩余 部 分 重复 


O 可 能 无 前 缀 码 "是 一 个 更 好 的 名 字 ， 但 在 相关 文献 中 ,“ 前 缀 码 ” 是 一 致 认可 的 标准 术语 。 
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这 种 解码 过 程 。 在 我 们 的 例子 中 ， 二 进 制 串 001011101 可 以 唯一 地 解析 为 0。0。101。1101， 解 
码 为 aabe。 

解码 过 程 需要 前 缀 码 的 一 种 方便 的 表示 形式 ， 以 便 我 们 可 以 容易 地 截取 开始 码 字 。 一 种 二 
义 树 表 示 可 以 满足 这 种 需求 ， 其 叶 结 点 为 给 定 的 字符 。 字 符 的 二 进 制 码 字 用 从 根 结 点 到 该 字符 
叶 结 点 的 简单 路 径 表 示 ， 其 中 0 意味 着 “转向 左 孩 子 ”"，1 意味 着 “转向 右 孩 子 ”。 图 16-4 给 出 了 两 
个 编码 示例 的 二 叉 树 表示 。 注 意 ， 编 码 树 并 不 是 二 叉 搜索 树 ， 因 为 叶 结 点 并 未 有 序 排列 ， 而 内 部 
结 点 并 不 包含 字符 关键 字 。 





(a) 


图 16-4 图 16-3 中 编码 方案 的 二 又 树 表示 。 每 个 叶 结 点 标记 了 一 个 字符 及 其 出 现 频率 。 每 个 内 
部 结 点 标记 了 其 子 树 中 叶 结 点 的 频率 之 和 。(a) 对 应 定 长 编码 a 二 000，…，f 二 101 的 二 
叉 树 。(b) 对 应 最 优 前 缀 码 a=0, b=101, ++, f=1100 的 二 又 树 


文件 的 最 优 编码 方案 总 是 对 应 一 棵 满 (full) 二 又 树 ， 即 每 个 非 叶 结 点 都 有 两 个 孩子 结 点 (参见 
练习 16. 3-2)。 前 文 给 出 的 定 长 编码 实例 不 是 最 优 的 ， 因 为 它 的 二 又 树 表示 并 非 满 二 又 树 ， 如 
图 16-4(a) 所 示 : 它 包含 以 10 开头 的 码 字 ， 但 不 包含 以 11 开头 的 码 字 。 现 在 我 们 可 以 只 关注 满 
二 义 树 了 ， 因 此 可 以 说 ， 寿 C 为 字母 表 且 所 有 字符 的 出 现 频率 均 为 正 数 ， 则 最 优 前 缀 码 对 应 的 
树 恰 有 | C| 个 叶 结 点 ， 每 个 叶 结 点 对 应 字母 表 中 一 个 字符 ， 且 恰 有 | C| 一 1 个 内 部 结 点 (参见 练习 
B. 5-3) 。 
给 定 一 棵 对 应 前 缀 码 的 树 工 ， 我 们 可 以 容易 地 计算 出 编码 一 个 文件 需要 多 少 个 二 进 制 位 。 对 
于 字母 表 C 中 的 每 个 字符 c， 令 属性 c. freq 表示 < 在 文件 中 出 现 的 频率 ， 令 dz(c) 表 示 c 的 叶 结 
点 在 树 中 的 深度 。 注 意 ，dr(c) 也 是 字符 c 的 码 字 的 长 度 。 则 编码 文件 需要 
B(T) = die: freq » dr(c) (16. 4) 


个 二 进 制 位 ， 我 们 将 B( 了 定义 为 工 的 代价 。 

构造 赫 夫 曼 编 码 

赫 夫 曼 设 计 了 一 个 贪心 算法 来 构造 最 优 前 级 码 ， 被 称 为 赫 夫 曼 编 码 (Huffman code), 与 
16. 2 市 中 我 们 的 观察 一 致 ， 它 的 正确 性 证 明 也 依赖 于 贪心 选择 性 质 和 最 优 子 结构 。 接 下 来 ， 我 
们 并 不 是 先 证 明 这 些 性 质 成 立 然 后 再 设计 算法 ， 而 是 先 设 计算 法 。 这 样 做 可 以 帮助 我 们 明确 算 
法 是 如 何 做 出 贪心 选择 的 。 

在 下 面 给 出 的 伪 代 码 中 ， 我 们 假定 C 是 一 个 2 个 字符 的 集合 ， 而 其 中 每 个 字符 cE C 都 是 一 
个 对 象 ， 其 属性 c. freq 给 出 了 字符 的 出 现 频率 。 算 法 自 底 向 上 地 构造 出 对 应 最 优 编码 的 二 叉 树 
T。 它 从 | C| 个 叶 结 点 开始 ， 执 行 |C| 一 1 个 “合并 ”操作 创建 出 最 终 的 二 又 树 。 算 法 使 用 一 个 以 
属性 fre 为 关键 字 最 小 优先 队列 QQ， 以 识别 两 个 最 低频 率 的 对 象 将 其 合并 。 当 合并 两 个 对 象 时 ， 
得 到 的 新 对 象 的 频率 设置 为 原来 两 个 对 象 的 频率 之 和 。 

HUFFMAN(C) 

1 n=|C| 
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Q=C 
for: = 1 ton—1 
allocate a new node z 
z. left = x = EXTRACT-MIN(Q) 
z. right = y = EXTRACT-MIN(Q) 
z. freq = x. freq + y. freq 
INSERT(Q, z) 
return EXTRACT-MIN(Q) // return the root of the tree 


对 前 文 给 出 的 例子 ， 苗 夫 曼 算法 的 执行 过 程 如 图 16-5 所 示 。 由 于 字母 表 包 含 6 个 字母 ， 初 
始 队 列 大 小 为 n 二 6， 需 要 5 个 合并 步 又 构造 二 又 树 。 最 终 的 二 又 树 表 示 最 优 前 缀 码 。 一 个 字母 
的 码 字 为 根 结 点 到 该 字母 叶 结 点 的 简单 路 径 上 边 标签 的 序列 。 


f ypg y Mie PAAD i. fi 所 Wp H hi i li i i TW Wie, w "ae 
i oh SA i hale Bi i ee by dig 
nth rg pe td et ae 


oOo on mm O eA U NN 





图 16-5 ”对 图 16-3 中 给 出 的 频率 执行 赫 夫 曼 算 法 的 过 程 。 每 一 部 分 显示 了 优先 队列 的 内 容 ， 已 按 
频率 递增 顺序 排 好 序 。 在 每 个 步骤 ， 频 率 最 低 的 两 棵 树 进行 合并 。 叶 结 点 用 和 矩形 表示 ， 
每 个 叶 结 点 包含 一 个 字符 及 其 频率 。 内 部 结 点 用 圆圈 表示 ， 包 含 其 孩子 结 点 的 频率 之 和 。 
内 部 结 点 指向 左 孩 子 的 边 标记 为 0， 指向 右 孩 子 的 边 标 记 为 1。 一 个 字母 的 码 字 对 应 从 根 
到 其 叶 结 点 的 路 径 上 的 边 的 标签 序列 。(a) 初 始 集合 有 n=6 个 结 点 ， 每 个 结 点 对 应 一 个 
字母 。(b) 一 (e) 为 中 间 步 又 。(f) 为 最 终 的 编码 树 


第 2 行 用 C 中 字符 初始 化 最 小 优先 队列 Q。 第 3~8 行 的 for 循环 反复 从 队列 中 提取 两 个 频率 
最 低 的 结 点 x 和 y， 将 它们 合并 为 一 个 新 结 点 x, BRE. z 的 频率 为 x 和 y 的 频率 之 和 (第 7 
行 )。 结 点 z 将 z 作为 其 左 孩子 ， 将 y 作为 其 右 孩 子 (顺序 是 任意 的 ， 交 换 左 右 孩 子 会 生成 一 个 不 
同 的 编码 ， 但 代价 完全 一 样 )。 经 过 n 一 1 次 合并 后 ,第 9 行 返 回 队列 中 剩 下 的 唯一 结 点 一 一 编码 
树 的 根 结 点 。 

如 果 我 们 不 使 用 变量 x 和 y (第 5、6 行 直接 对 z. left Mz. right 直接 赋值 ， 将 第 7 行 改 为 | 
z. freq=z. left. freqtz. right. freq)， 算 法 还 是 会 生成 相同 的 结果 ,但 后 面 在 证 明 算 法 正确 性 (6 
时 ， 我 们 需要 用 到 结 点 名 Xx 和 yy。 因此 ， 保留 Xx All y 更 方便 。 
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为 了 分 析 赫 夫 曼 算法 的 运行 时 间 ， 我 们 假定 Q 是 使 用 最 小 二 叉 堆 实现 的 (参见 第 6 章 )。 对 
一 个 ”个 字符 的 集合 C， 我 们 在 第 2 行 用 BUILD-MIN-HEAP 过 程 (参见 6. 3 节 ) 将 Q@ 初 始 化 ， 花 
费时 间 为 O(z) 。 第 3~8 行 的 for 循环 执行 了 2 一 1 次 ， 且 每 个 堆 操作 需要 Ol(lgn) 的 时 间 ， 所 以 循 
环 对 总 时 间 的 贡献 为 O(nlgn)。 因 此 ， 处 理 一 个 n FRIRE, HUFFMAN 的 总 运行 时 间 为 
OCnlgn)。 如 果 将 最 小 二 又 堆 换 为 van Emde Boas 树 ( 参 见 第 20 章 )， 我 们 可 以 将 运行 时 间 减 少 为 
O(n lg ign). 

赫 夫 曼 算 法 的 正确 性 

为 了 证 明 贪 心算 法 HUFFMAN 是 正确 的 ， 我 们 证 明确 定 最 优 前 缀 码 的 问题 具有 贪心 选择 和 
最 优 子 结构 性 质 。 下 面 的 引 理 证 明 问 题 具 有 贪心 选择 性 质 。 

引 理 16.2 令 C 为 一 个 字母 表 ， 其 中 每 个 字符 cEC 都 有 一 个 频率 c. Preqg。 令 工 各 y 是 C 中 
频率 最 低 的 两 个 字符 。 那 么 存在 C 的 一 个 最 优 前 缓 码 ， 工 和 y 的 码 字 长 度 相同 ， 且 只 有 最 后 一 个 
二 进 制 位 不 同 。 

证 明 证 明 的 思路 是 令 表示 任意 一 个 最 优 前 缀 码 所 对 应 的 编码 树 ， 对 其 进行 修改 ， 得 到 
表示 男 外 一 个 最 优 前 缀 码 的 编码 树 ， 使 得 在 新 树 中 ，z 和 y 是 深度 最 大 的 叶 结 点 ， 且 它们 为 兄弟 
结 点 。 如 有 果 可 以 构造 这 样 一 棵 树 ， 那 么 xz 和 y 的 码 字 将 有 相同 长 度 ， 且 只 有 最 后 一 位 不 同 。 

令 4& 和 8 是 工 中 深度 最 大 的 兄弟 叶 结 点 。 不 失 一 般 性 ， 假 定 a. .Freg 委 0. freq B x. fres 
y. freq. HF x. freq 和 y. freq 是 叶 结 点 中 最 低 的 两 个 频率 ， 而 a. freq Mb. freq 是 两 个 任意 频 
E, AE, 我们 有 x. frega. freq H y. freq<b. freq. 

在 证 明 的 剩余 部 分 ， 有 可 能 x. freq 二 a. freq My. freq 二 b. freq MIL. 但是， 如 果 x. freq= 
b. freq, WA a. freq=b. freq 二 zx. freq=y. freq( 参 见 练习 16. 3-1)， 此 时 引 理 显然 是 成 立 的 。 因 
此 ， 我 们 假定 x. freqAb. freq， 这 意味 着 xzH~b. 

如 图 16-6 所 示 ， 我 们 在 工 中 交换 z 和 a ERRAT, HET PRK b M y 生成 一 棵 新 
MT’, PAE T Pc 和 yy 是 深度 最 深 的 两 个 兄弟 叶 结 点 (注意 ， 如 果 =b ya, MAT Hx 
Aly 不 是 深度 最 深 的 兄弟 叶 结 点 )。 由 公式 (16. 4), TAT WARE 

B(T) — B(T')= Sie. freq » dr(c) 一 Sye. freq » drc) 

cEC cEC 
= zx. freq * dr(x) +a. freq » dr(a) — x. freq » dr: (x) — a. freq * dr' (a) 
= x. freq * dr(x) +a. freq » dr(a) — x. freq » drla) —a. freq * dr(x) 
= (a. freq — x. freq) (dr(a) — dr(zx)) 


>0 
因为 a. freq—x. freq 和 dr(a) 一 dr(z) 都 是 非 负 的 。 更 具体 地 ，a. freg 一 zx. freq 是 非 负 的 ， 因 为 
x 是 出 现 频率 最 低 的 叶 结 点 ; dr(a) 一 dr(z) 是 非 负 的 ， 因 为 a 是 中 深度 最 深 的 叶 结 点 。 类 似 
地 ， 交 换 y Mb 也 不 能 增加 代价 ， 所 以 BC(T ) 一 BC(T”) 也 是 非 负 的 。 因 此 BCT <B(T), HFT 
是 最 优 的 ， 我 们 有 BCDB, KBR BIT) =BCT). Blk. TERM, Ax Aly 是 
其 中 深度 最 深 的 兄弟 叶 结 点 ， 引 理 成 立 。 四 
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图 16-6 对 引 理 16.2 的 证 明 中 关键 步骤 的 说 明 。 在 最 优 树 工 中 ， 叶 结 点 & 和 2 是 最 深 的 叶 结 
点 中 的 两 个 ， 并 且 是 兄弟 。 叶 结 点 zx 和 y 为 赫 夫 曼 算 法 首先 合并 的 两 个 叶 结 点 ; 它 
们 出 现 于 工 中 任意 位 置 上 。 假 设 rb, MA a 和 xz 交换 得 到 树 T ， 然 后 交换 叶 结 
A oM y 得 到 树 到 。 因 为 每 次 交换 并 不 增加 代价 ， 所 以 所 得 的 树 T 也 是 最 优 树 
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引 理 16. 2 说 明 ， 不 失 一 般 性 ， 通 过 合并 来 构造 最 优 树 的 过 程 ， 可 以 从 合并 出 现 频率 最 低 的 
两 个 字符 这 样 一 个 贪心 选择 开始 。 为 什么 这 是 一 个 贪心 选择 ? 我 们 可 以 将 一 次 合并 操作 的 代价 
看 做 被 合并 的 两 项 的 频率 之 和 。 练 习 16. 3-4 要 求证 明 编 码 树 构造 的 总 代价 等 于 所 有 合并 操作 的 
代价 之 和 。 在 每 个 步骤 可 选 的 所 有 合并 操作 中 ，HUFFMAN 选择 是 代价 最 小 的 那个 。 

下 面 的 引 理 证 明了 构造 最 优 前 缀 码 的 问题 具有 最 优 子 结构 性 质 。 

引 理 16.3 令 C 为 一 个 给 定 的 字母 表 ， 其 中 每 个 字符 cEC 都 定义 了 一 个 频率 c. freq. & x 
和 y 是 C 中 频率 最 低 的 两 个 字符 。 令 C 为 C 去 掉 字 符 z 和 yy， 加 入 一 个 新 字符 z 后 得 到 的 字母 
Žž, BC=C—(x, ysUlz}. FMC, HA C 定义 freq， 不 同 之 处 只 是 z. freg =z. freq 十 
y. freqe AT AFER C' 的 任意 一 个 最 优 前 缓 码 对 应 的 编码 树 。 于 是 我 们 可 以 将 T' 中 叶 结 点 z 
PRANAT Ry 为 孩子 的 内 部 结 点 ， 得 到 树 T， 而 工 表示 字母 表 C 的 一 个 最 优 前 级 码 。 

证 明 首先 说 明 如 何 用 树 工 的 代价 BCT ) 来 表示 树 本 的 代价 BC(T)， 方 法 是 考虑 公式 (16. 4) 
中 每 项 的 代价 。 对 于 每 个 字符 cE€ C 一 {x， y}， 我 们 有 dr(c)=dr' (c), Alb c. freq * dr(c) = 
c. freq ° dr' (c)s HF dria =dr(w=dr(2tl, RNA 

x. freq °» dr(x) + y. freq » dr(y)= (x. freq + y. freq) (dr: (z) +1) 
= z. freq dr: (z) + (a. freq + y. freq) 
于 是 可 以 得 到 结论 
BCT) = BCT) +z. freq + y. freq 
或 者 等 价 地 
BCT’) = BCT) — zx. freq — y. freq 

现在 用 反 证 法 来 证 明 引 理 。 假 定 工 对 应 的 前 缀 码 并 不 是 C 的 最 优 前 级 码 。 存 在 最 优 编码 树 
TT 满 足 B(TY) 二 BCT)。 不 失 一 般 性 (由 引 理 16.2)，TY 包 含 兄弟 结 点 xz 和 y。 令 到 为 将 TP z, 
y 及 它们 的 父 结 点 替换 为 叶 结 点 z 得 到 的 树 ， 其 中 z. freq=x. freqty. freq. FH 

B(T”) = BCT”) — zx. freq — y. freq < B(T)— x. freq — y. freq = BCT’) 
与 工 对 应 C' 的 一 个 最 优 前 级 码 的 假设 矛盾 。 因 此， 本 必然 表示 字母 表 C 的 一 个 最 优 前 级 码 。 m 
定理 16.4 过 程 HUFFMAN 会 生成 一 个 最 优 前 级 码 。 

WEAR 由 引 理 16.2 和 引 理 16. 3 即 可 得 。 国 


练习 

16.3-1 请 解释 ， 在 引 理 16.2 的 证 明 中 ， 为 什么 若 x. freq=b. freq, WA a. freq=b. freq= 
x. freq=y. freq. 

16.3-2 WEH: 一 棵 不 满 的 二 又 树 不 可 能 对 应 一 个 最 优 前 缀 码 。 

16.3-3 如 下 所 示 ，8 个 字符 对 应 的 出 现 频率 是 斐 波 那 契 数列 的 前 8 个 数 ， 此 频率 集合 的 赫 夫 曼 
编码 是 怎样 的 ? 
a: 1 b; 1 c: 2 d:3 e:5 f: 8 g: 13 h: 21 
你 能 否 推广 你 的 结论 ， 求 频率 集 为 前 ”个 斐 波 那 契 数 的 最 优 前 缓 码 ? 

16. 3-4 iE: 编码 树 的 总 代价 还 可 以 表示 为 所 有 内 部 结 点 的 两 个 孩子 结 点 的 联合 频率 之 和 。 

16.3-5 WH: 如 采 我 们 将 字母 表 中 字符 按 频率 单调 递减 排序 ， 那 么 存在 一 个 最 优 编码 ， 其 码 字 
长 度 是 单调 递增 的 。 

16. 3-6 ， 假 定 我 们 有 字母 表 C= (0，1，…，z 一 1} 上 的 一 个 最 优 前 级 码 ， 我 们 希望 用 最 少 的 二 进 
- 制 位 传输 此 编码 。 说 明 如 何 仅 用 2 一 1 十 zf len ] 位 表示 C 上 的 任意 最 优 前 缀 码 。( 提 示 : 
通过 对 树 的 遍历 ， 用 2n 一 1 位 说 明 编码 树 的 结构 。) 

16.3-7 推广 赫 夫 曼 算法 ,使 之 能 生成 三 进 制 的 码 字 ( 即 码 字 由 符号 0、1、2 组 成 )， 并 证 明 你 的 
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算法 能 生成 最 优 三 进 制 码 。 
16. 3-8 ”假定 一 个 数据 文件 由 8 位 字符 组 成 ， 其 中 所 有 256 个 字符 出 现 的 频率 大 致 相同 : 最 高 的 频率 
也 低 于 最 低频 率 的 2 倍 。 证 明 : 在 此 情况 下 ， 赫 夫 曼 编码 并 不 比 8 位 固定 长 度 编码 更 高 效 。 
16.3-9 证 明 : 对 于 一 个 由 随机 生成 的 8 位 字符 组 成 的 文件 ， 没 有 任何 压缩 方法 可 以 望 将 其 压 
缩 ， 哪 怕 只 是 压缩 一 位 。( 提 示 : 比较 可 能 的 文件 数量 和 可 能 的 编码 文件 数量 。) 


"16.4 拟 阵 和 贪心 算法 


本 节 概 略 介绍 一 种 与 贪心 算法 相关 的 漂亮 的 理论 。 该 理论 描述 了 很 多 贪心 方法 生成 最 优 解 
的 情形 ， 它 涉及 一 种 称 为 “ 拟 阵 ”的 组 合 结构 。 虽 然 这 种 理论 不 能 涵盖 贪心 方法 适用 的 所 有 情况 
(例如 ， 它 不 能 用 于 16. 1 节 的 活动 选择 问题 或 16. 3 节 的 赫 夫 曼 编码 问题 ) ， 但 它 确实 覆盖 了 很 多 
有 实际 意义 的 情况 。 而 且 ， 这 种 理论 的 扩展 还 覆盖 了 其 他 很 多 应 用 ， 参 见 本 章 末尾 的 注 记 。 

拟 阵 

一 个 拟 阵 (matroid) 就 是 一 个 满足 如 下 条 件 的 序 偶 M=(S, T): 

1. S 是 一 个 有 限 集 。 

2. 7 是 S 的 子 集 的 一 个 非 空 族 ， 这 些 子 集 称 为 S 的 独立 子 集 ， 使 得 如 果 BETA ACB, WM 
AEI。 如 果 I 满 足 此 性 质 ， 则 称 之 为 遗传 的 。 注 意 ， 空 集 名 必然 是 T 的 成 员 。 

3. GACT, BETH|A|<|B|, 那么 存在 某 个 元 素 xEB 一 A， 使 得 AU {x}ET， 则 称 M 
满足 交换 性 质 。 

“ 拟 阵 "一 词 最 早 是 Hassler Whitney 提出 的 。 他 当时 在 研究 矩阵 拟 阵 ， 其 中 S 是 一 个 给 定 矩 
阵 的 所 有 行 ， 而 行 之 间 的 独立 性 质 与 通常 意义 上 的 线性 无 关 性 质 是 等 价 的 。 练 习 16. 4-2 要 求证 
明 ， 这 个 结构 定义 了 一 个 拟 阵 。 

另 一 个 拟 阵 的 例子 是 图 拟 阵 (graphic matroid) Me 一 (Sce，7Zc)， 它 定义 在 一 个 给 定 的 无 回 图 
G=(V, FEF) 之 上 : 

。 Sc 定义 为 E， 即 G 的 边 集 。 

。 如 果 A 是 E 的 子 集 ， 则 AEZe ENA BAN. WRU, 一 组 边 A 是 独立 的 当 

且 仅 当 子 图 Gs 二 (V，A) 形 成 一 个 森林 。 

图 拟 阵 Me 与 最 小 生成 树 问题 是 紧密 相关 的 ， 第 23 章 会 详细 讨论 。 

定理 16.5 如 果 G 二 (VV，) 是 一 个 无 向 图 ， 则 Mc 二 (Sc，Z6) 是 一 个 拟 阵 。 

证 明 显然 Sc 二 EE 是 一 个 有 限 集 。 而 且 ，Ie 是 遗传 的 ， 因 为 森林 的 子 集 还 是 森林 。 换 句 话 
说 ， 从 一 个 无 圈 的 边 集中 删除 边 不 会 产生 图 。 

因此 ， 接 下 来 只 需 证 明 Me 满足 交换 性 质 。 假 定 G4 二 (V，A) 和 Gs 二 (V，B) 是 G 的 木林， 
H|BI>|A|. RÆK, AMB 是 无 圈 边 集 ， 且 B 包含 更 多 的 边 。 

我 们 有 结论 : = (Ve ，Es) 恰 好 包含 1V# | 一 |Er| 棵 树 。 为 了 证 明 此 结论 ， 假 定 下 包含 i 棵 
树 ， 其 中 第 i 棵 树 包 含 v; 个 顶点 和 €i 条 边 。 于 是 有 


Po Je = mD (由 定理 B. 2) 
i=1 i=] 


= SJu-t= |Vr|—t 
这 意味 着 二 |Vel—l|Er|. Abt, AKG, 包含 |1V| 一 1A| 棵 树 ， 森林 Gs 包含 |V| 一 | 了 | 棵 树 。 
由 于 森林 Gs 中 树 的 数量 比 森林 Ga 少 ， 它 必然 包含 某 棵 树 工 ， 其 中 两 个 顶点 在 森林 Ga 中 属 
于 两 棵 不 同 的 树 。 而 且 ， 由 于 全 是 连通 的 ， 它 必然 包含 一 条 边 (u，v)， 使 得 顶点 u 和 ow 在 森林 
Ga 中 属于 两 棵 不 同 的 树 。 由 于 边 (u，wv) 连 接 了 森林 G4 中 两 棵 不 同 的 树 中 的 顶点 ， 可 以 将 边 
(u，v) 加 入 森林 Ga TWAS AER. Ak, Mo 满足 交换 性 质 。 至 此 ， 已 证 明 Me 是 拟 阵 。 m 
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给 定 一 个 拟 阵 M=(S，Z) ， 如 果 对 一 个 集合 AEI 和 一 个 元 素 x 儿 FA， 将 x 加 入 A 会 保持 独 
立 性 质 ， 则 称 z 是 A 的 一 个 扩展 。 也 就 是 说 ， 如 果 AU {xz}ETI， 则 z 是 A 的 一 个 扩展 。 我 们 以 
图 拟 阵 Ms 为 例 ， 如 果 A 是 一 个 边 独立 集 ， 那 么 边 e 是 A 的 一 个 扩展 当 且 仅 当 e 不 在 A RHK e 
MAA 中 不 会 形成 圈 。 

对 拟 阵 M 中 的 一 个 独立 子 集 A， 如 果 它 不 存在 扩展 ， 则 称 它 是 最 大 的 。 也 就 是 说 ， 如 果 A 
不 包含 于 任何 更 大 的 M 的 独立 子 集中 ， 则 A 是 最 大 的 。 下 面 的 性 质 通常 很 有 用 。 

定理 16.6 拟 阵 中 所 有 最 大 独立 子 集 都 具有 相同 大 小 。 

证 明 ”假定 命题 不 成 立 ， 拟 阵 M 存在 一 个 最 大 独立 子 集 A 和 男 一 个 更 大 的 独立 子 集 B。 那 
么 ， 交 换 性 质 意味 着 对 于 某 个 z€E B 一 A， 我 们 可 以 将 A 扩展 为 一 个 更 大 的 独立 子 集 AU sc}, 5 
A 是 最 大 独立 子 集 的 假设 矛盾 。 图 

作为 此 定理 的 一 个 示例 ， 我 们 考虑 一 个 连通 无 向 图 G 的 图 拟 阵 Me。Me 的 每 个 最 大 独立 子 
集 必定 是 一 棵 边 数 为 |V | 一 1， 连 接 了 G 的 所 有 顶点 的 自由 树 。 这 样 一 棵 树 称 为 G 的 生成 树 。 

如 果 一 个 拟 阵 M=(S，7) 关 联 一 个 权重 函数 w， 为 每 个 元 素 zE S 赋予 一 个 严格 大 于 0 的 权 
重 wl), MWE M 是 加 权 的 。 通 过 求 和 ， 可 将 权重 函数 wY ERS 的 任意 子 集 A: 

w(A) = dw (2) 


BUN, WRS wle) RAR AWE Mc 中 边 e 的 权重 ， 那么 w(A) 就 表示 边 集 A 中 所 有 边 的 权重 
之 和 。 

加 权 拟 阵 上 的 贪心 算法 

很 多 可 以 用 贪心 算法 得 到 最 优 解 的 问题 都 可 以 形式 化 为 在 一 个 加 权 拟 阵 中 寻找 最 大 权重 独 
立 子 集 的 问题 。 也 就 是 说 ， 给 定 一 个 加 权 拟 阵 M=(S，Z)， 我 们 希望 寻找 独立 集 AEI 使 得 
w(A) 最 大 。 我 们 称 这 种 独立 且 具 有 最 大 可 能 权重 的 子 集 为 拟 阵 的 最 优 子 集 。 由 于 任何 元 素 XES 
的 权重 w(x) 都 是 正 的 ， 则 最 优 子 集 必然 是 最 大 独立 子 集 一 一 它 总 是 有 助 于 使 A 尽 可 能 大 。 

例如 ， 在 最 小 生成 树 问 题 中 ， 给 定 一 个 连通 无 加 图 G= 二 (V，E) 和 一 个 长 度 函 数 w， 使 得 
wle) 表 示 边 。 的 长 度 ( 正 值 )( 这 里 我 们 用 “长 度 ” 表 示 图 中 边 的 原始 权重 ， 用 “权重 ”表示 关联 的 拟 
阵 的 权重 )。 我 们 希望 找到 一 个 边 的 子 集 ， 能 连接 所 有 顶点 ， 且 具有 最 小 总 长 度 。 为 了 将 此 问题 
描述 为 寻找 拟 阵 最 优 子 集 的 问题 ， 考 虑 加 权 拟 阵 Me， 其 权重 函数 为 w, XE w (e) 一 zw 一 也 
(e), EP w 为 大 于 最 大 边 长 度 的 值 。 在 此 加 权 拟 阵 中 ， 所 有 权重 均 为 正 ， 且 最 优 子 集 即 为 原 图 
中 的 最 小 总 长 度 生成 树 。 更 具体 地 ， 每 个 最 大 独立 子 集 A 都 对 应 一 棵 | V | 一 1 条 边 的 生成 树 ， 
而 且 由 于 对 所 有 最 大 独立 子 集 A， 有 

w (A)= 2w (e) = Dj (uy 一 wle)) = (|V|— Dw — 2 wle) = (| V|— 1)w, — w(A) 


因此 ， 最 大 化 w A) 必然 最 小 化 zw(A) 。 因 此 ， 任 何 能 求 得 任意 拟 阵 中 最 优 子 集 A 的 算法 ， 均 可 
求解 最 小 生成 树 问 题 。 

第 23 章 将 给 出 最 小 生成 树 的 算法 ， 但 现在 我 们 给 出 适用 于 任何 加 权 拟 隆 的 算法 。 算法 接受 

一 个 加 权 拟 阵 M=- (S，Z) 及 其 关联 的 正 加 权 函 数 w 作为 输入 ， 返 回 最 优 子 集 A。 在 我 们 的 伪 代 

码 中 ， 我 们 用 M. S 和 M. Ta M 的 组 成 部 分 ， 加 权 函 数 表示 为 w。 这 个 算法 是 一 个 贪心 算法 ， 
因为 它 按 权重 单调 递减 的 顺序 考虑 每 个 元 素 ES, WR AU {xz} 是 独立 的 ， 就 立即 将 x 加 入 到 累 
积 集合 A 中 。 

GREEDY(M, w) 

1 A=Ø 

sort M. S into monotonically decreasing order by weight w 


2 
3 for each zEM. S, taken in monotonically decreasing order by weight w(x) 
4 if AU{z}EM. T 


[438 


440] 
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5 A=AU {zx} 


6 return A 


第 4 行 检查 加 入 z 后 A 是 否 保 持 独 立 集 性 质 ， 若 是 ， 则 在 第 5 行将 xz 加 入 A， 否 则 丢弃 r. 
由 于 空 集 是 独立 的 ， 且 每 步 for 循环 都 保持 A 的 独立 性 ， 因 此 由 归纳 法 可 知 ，A 始终 是 独立 的 。 
因此 ，GREEDY 总 是 返回 一 个 独立 子 集 A。 稍 后 ， 我 们 将 会 看 到 A 是 具有 最 大 可 能 权重 的 子 集 ， 
因而 是 一 个 最 优 子 集 。 

GREEDY 的 运行 时 间 很 容易 分 析 。 令 nn 表示 | S| ， 则 排序 阶段 花费 时 间 为 O(nlgn)。 第 4 
行 严格 执行 了 ?2 次， 每 次 处 理 S 的 一 个 元 素 。 第 4 行 每 执行 一 次 需 检 查 一 个 集合 AU (r) BB 
立 。 如 果 每 次 检查 花费 时 间 为 OC(f(n))， 则 算法 运行 时 间 为 O(nlgn 十 nf(n))。 

现在 我 们 证 明 GREEDY 返回 一 个 最 优 子 集 。 

引 理 16. 7( 拟 阵 具有 贪心 选择 性 质 ) 假定 M 王 (S，T) 是 一 个 加 权 拟 阵 ， 加 权 函 数 为 w, A 
S 已 按 权重 单调 递减 顺序 排序 。 令 工 是 S 中 第 一 个 满足 {Z)} 独 立 的 元 素 ( 如 果 存 在 ) 。 如 果 存 在 这 
样 的 z， 那 么 存在 S 的 一 个 最 优 子 集 A Sz. 

证 明 ”如 果 不 存在 这 样 的 zx， 唯一 的 独立 子 集 是 空 集 ， 引 理 显然 成 立 。 否 则 , + B 为 任意 非 
空 最 优 子 集 。 假 定 z 多 也 ， 因 为 否则 的 话 ， 显 然 B 就 是 我 们 要 找 的 包含 z 的 最 优 子 集 A。 

我 们 有 结论 B 中 元 素 的 权重 都 不 大 于 w(x)。 原 因 在 于 ， 我 们 观察 到 yO B 意味 着 {y} 是 独立 
的 (因为 BEZ 且 7 是 遗传 的 ) ， 因 此 我 们 选择 z 的 方式 (第 一 个 形成 独立 集 的 元 素 ) 保 证 了 对 任意 
yE€B， 有 w(x) 之 wl(y)。 

于 是 可 以 这 样 构 造 集合 A。 以 A== {xz} 开始 ， 由 于 的 性 质 ， 集 合 A 保证 是 独立 的 。 使 用 交换 
性 质 ， 反 复 寻 找 也 中 一 个 可 以 加 入 A 中 的 新 元 素 ( 同 时 保持 A 的 独立 性 )， 直 至 |A|==1B|1。 此 
时 ，A 和 B 的 差别 仅 在 于 A 包含 Xx， 而 B 包 含 男 一 个 元 素 y。 也 就 是 说 ，A 二 B 一 {y} Utz}, y 为 B 
中 某 个 元 素 ， 且 

CA) = w(B) — wly) + wlr) 之 w(B) 

由 于 集合 B 是 最 优 的 ， 因 此 集合 A 必然 也 是 最 优 的 ， 且 包含 zx。 
下 面 证 明 如 果 一 个 元 素 在 初始 时 不 是 最 优 的 选择 ， 那 么 在 随后 也 不 会 被 选 人 最 优 集合 中 。 
引 理 16.8 A M=(S, 工 ) 是 一 个 拟 阵 。 如 果 工 是 S 中 一 个 元 素 ， 而 且 是 S 的 某 个 独立 子 集 

A 的 一 个 扩展 ， 则 工 也 是 厅 的 一 个 扩展 。 

证 明 由 于 z 是 A 的 一 个 扩展 ， 可 知 AU {(z} 是 独立 的 。 由 于 Z 是 遗传 的 ，{z} 必然 是 独立 
的 。 因 此 ，z 是 名 的 一 个 扩展 。 = 

推论 16.9 令 M=(S，7Z) 是 一 个 拟 阵 。 如 果 工 是 S 中 一 个 元 素 ， 且 它 不 是 名 的 一 个 扩展 ， 
那么 它 也 不 是 S 的 任何 独立 子 集 A 的 扩展 。 

证 明 ”此 推论 为 引 理 16. 8 的 道 否 命题 。 m 

推论 16.9 表明 ， 任 何 元 素 如 果 首 次 不 能 用 于 构造 独立 集 ， 则 之 后 永远 也 不 可 能 被 用 到 了 。 

因此 ，GREEDY 跳 过 S 中 那些 不 是 名 的 扩展 的 起 始 元 素 ， 不 会 导致 错误 结果 ， 因 为 那些 元 素 永 

远 不 会 被 用 到 。 

引 理 16. 10( 拟 阵 具有 最 优 子 结构 性 质 ) 令 M 王 (S，T) 是 一 个 加 权 拟 阵 ， 工 是 S 中 第 一 个 被 
GREEDY 算法 选 出 的 元 素 ， 则 接 下 来 寻找 一 个 包含 工 的 最 大 权重 独立 子 集 的 问题 归结 为 寻找 加 
权 拟 阵 M 一 (S，T ) 的 一 个 最 大 权重 独立 子 集 的 问题 ， 其 中 

S = {y € S:{z,y} € T} 
T' = {BSZ S- {x}:BU {z} € T) 
M' 的 权重 函数 就 是 M 的 权重 函数 ， 但 只 局 限于 S 中 元 素 。( 我 们 称 M 为 M 在 元 素 z 上 的 收缩 


(contraction) 。) 
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证 明 PA HEM 的 任意 一 个 包含 z 的 最 大 权重 独立 子 集 ， 则 A'= 二 A 一 {zx} 是 M 的 一 个 独立 
FH. HR, 任何 M 的 独立 子 集 4 可 生成 M 的 独立 子 集 A=A U {(z}。 由 于 对 两 种 情况 均 有 
w(A) 二 w(A') 十 w(xz)， 因 此 M 的 包含 zx 的 最 大 权重 独立 子 集 必 然 生 成 M 的 最 大 权重 独立 子 集 ， 
反之 亦 然 。 m 

定理 16. 11( 拟 阵 上 贪心 算法 的 正确 性 ) $+M=(S, DE—-—+AMPRME, REBKEwW, M 
么 GREEDY(M，w) 返 回 一 个 最 优 子 集 。 

证 明 由 推论 16.9，GREEDY 跳 过 的 任何 不 是 好 的 扩展 的 起 始 元 素 可 永远 丢弃 ， 因 为 这 些 
元 素 永 远 不 会 被 用 到 。 一 旦 GREEDY 算法 选 出 第 一 个 元 素 z， 引 理 16.7 表明 算法 将 z 加 入 A 不 
会 导致 错误 结果 ， 因 为 必然 存在 包含 zx 的 最 优 子 集 。 最 终 ， 引 理 16. 10 说 明 剩 下 的 问题 就 是 如 何 
寻找 拟 阵 M 的 最 优 子 集 了 ，M 是 M 在 x 上 的 收缩 。 在 GREEDY 将 A 设置 为 {xz} 后 ,我们 可 以 
将 之 后 它 的 所 有 步骤 解释 为 拟 阵 M' ==(S'，T') 上 的 操作 ， 因 为 对 所 有 集合 BET'，B 在 M' 中 独 
立 当 且 仅 当 BU {x}) 在 M 中 独立 。 因 此 ，GREEDY 随后 的 操作 将 会 找到 M 的 一 个 最 大 权重 独立 
子 集 ， 而 其 所 有 操作 的 总 体 效果 就 是 找到 M 的 一 个 最 大 权重 独立 子 集 。 m 


练习 


16.4-1 WH: 奉 S 是 任意 一 个 有 限 集 ，7Z4 是 S 的 所 有 规模 不 超过 的 子 集 的 集合 (和 | S | )， 
则 CS，Zw) 是 一 个 拟 阵 。 

*16. 4-2 ”给 定 某 个 域 ( 如 实数 域 ) 上 的 mXn MET, 证 明 :(S,， 工 ) 是 一 个 拟 阵 ， 其 中 SET Wl 
的 集合 ， 且 AE7 当 且 仅 当 A 中 的 列 是 线性 无 关 的 。 

*16.4-3 TEAR: CS, IZ) 是 一 个 拟 阵 ， 则 (S， T ) 也 是 一 个 拟 阵 ， 其 中 

T' = {A':S 一 A 包含 某 些 最 大 独立 子 集 AE 工 ) 

即 (S，Z ) 的 最 大 独立 子 集 恰 好 是 (S，Z) 的 最 大 独立 子 集 的 补 集 。 

*16. 4-4 令 S 是 一 个 有 限 集 ， Si, Soy ct, S, fe S 的 一 个 划分 ， 这 些 集 合 都 是 非 空 且 不 相交 的 。 
定义 结构 (S，Z) 满 足 条 件 Z= 王 (4: |ANS| <1, i51, 2, =, k}o WH: (S，Z) 是 一 
个 拟 阵 。 也 就 是 说 ， 与 划分 中 所 有 子 集 都 最 多 有 一 个 共同 元 素 的 集合 A 组 成 的 集合 构成 
了 拟 阵 的 独立 集 。 

16.4-5 ”对 于 一 个 所 需 最 优化 解 为 最 小 权重 最 大 独立 子 集 的 加 权 拟 阵 问 题 ， 如 何 将 其 权重 函数 进 
行 转换 ， 使 其 变 为 标准 的 加 权 拟 阵 问题 。 详 细 论 证 你 的 转换 方法 是 正确 的 。 


"16.5 用 拟 阵 求解 任务 调度 问题 

一 个 可 以 用 拟 阵 来 求解 的 有 趣 问题 是 单 处 理 器 上 的 单位 时 间 任 务 最 优 调度 问题 ， 其 中 每 个 
任务 有 一 个 截止 时 间 以 及 错过 截止 时 间 后 的 惩罚 值 。 问 题 看 起 来 很 复杂 ， 但 我 们 可 以 用 一 个 蜡 
常 简单 的 方法 求解 它 一 一 将 其 转换 为 一 个 拟 阵 并 用 贪心 算法 求解 。 

单位 时 间 任 务 是 严格 需要 一 个 时 间 单 位 来 完成 的 作业 ， 如 运行 于 计算 机 上 的 一 个 程序 。 给 
定 一 个 单位 时 间 任 务 的 有 限 集合 S， 对 S 的 一 个 调度 是 指 S 的 一 个 排列 ， 它 指明 了 任务 执行 的 顺 
序 。 第 一 个 被 调度 的 任务 开始 于 时 刻 0， 终 止 于 时 刻 1， 第 二 个 任务 开始 于 时 刻 1， 终 止 于 时 刻 
2， 依 此 类 推 。 

单 处 理 器 上 带 截 止 时 间 和 惩罚 的 单位 时 间 任 务 调度 问题 有 如 下 输入 : 

。 nn 个 单位 时 间 任 务 的 集合 S= (la, a, +, a}. 

n 个 整数 截止 时 间 d, di，…，d,， 每 个 di WE 1<d;<n, 我 们 期 望 任务 a; 在 时 间 d; 

之 前 完成 。 
。 nPAER MB MEH wi, wry ts Wrs BEF a; 在 时 间 d; 之 前 没有 完成 ， 我 们 就 会 受 
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到 w: 这么 多 的 惩罚 ， 如 果 任 务 在 截止 时 间 前 完成 ， 则 不 会 受到 惩罚 。 

我 们 希望 找到 S 的 一 个 调度 方案 ， 能 最 小 化 超过 截止 时 间 导 致 的 惩罚 总 和 。 

考虑 一 个 给 定 的 调度 方案 。 如 果 方 案 中 一 个 任务 在 截止 时 间 后 完成 ， 我 们 称 它 是 延迟 的 
(late); 有 否则， 我们 称 它 是 提前 的 (early) 。 对 于 任意 调度 方案 ， 我 们 总 是 可 以 将 其 转换 为 提前 优 
先 形式 (early-first form) ， 即 将 提前 的 任务 都 置 于 延迟 的 任务 之 前 。 原 因 在 于 ， 如 果 某 个 提前 任 
务 a; 位 于 某 个 延迟 任务 ai 之 后 ， 我 们 可 以 交换 它们 的 位 置 ， 显 然 a; 仍然 是 提前 的 ，o 仍然 是 延 
述 的 。 

MA, 我们 总 是 可 以 将 一 个 任意 的 调度 方案 转换 为 规范 形式 (canonical form) 一 一 提前 任务 
都 在 延迟 任务 之 前 ， 且 提前 任务 按 截止 时 间 单 调 递 增 的 顺序 排列 。 为 了 进行 这 种 转换 ， 我 们 首先 
将 调度 方案 转换 为 提前 优先 形式 。 然 后 ， 只 要 调度 方案 中 存在 两 个 提前 任务 w 和 a;， 分 别 在 时 
刻 上 和 A& 十 1 完成 ， 使 得 d<d,, RTM w 和 ai 的 位 置 。 由 于 交换 前 a; 是 提前 的 ， 我 们 有 
k 十 1 二 qd;， 因 此 十 1 二 4d;， 因 而 交换 后 a; 是 提前 的 。 由 于 aj 被 移动 到 更 靠 前 的 时 间 ， 因 此 在 交 
换 后 它 保持 提前 。 

这 样 ， 寻 找 最 优 调度 方案 的 问题 就 归结 为 寻找 提前 任务 子 集 A 的 问题 。 确 定 A 之 后 ， 我 们 
可 以 将 A 中 元 素 按 截止 时 间 递 增 的 顺序 排列 ， 然 后 将 延迟 任务 ( 即 S 一 A) 以 任意 顺序 排列 其 后 ， 
就 得 到 了 最 优 调度 方案 的 规范 形式 。 

对 于 一 个 任务 集合 A， 如 果 存 在 一 个 调度 方案 , 使 A 中 所 有 任务 都 不 延迟 ， 则 称 A 是 独立 
的 。 显 然 ， 一 个 调度 方案 的 提前 任务 集合 构成 一 个 独立 任务 集 。 令 工 表示 所 有 独立 任务 集 的 
集合 。 

下 面 我 们 考虑 如 何 确定 一 个 给 定 集 合 A 是 否 独立 的 问题 。 对 坛 0，1，2，…，7m， 令 NN,(A) 
表示 A 中 截止 时 间 小 于 等 于 t 的 任务 数 。 注 意 ， 对 任意 集合 A 均 有 No(A) 王 0。 

引 理 16.12 ”对 任意 任务 集合 A， 下面 性 质 是 等 价 的 ， 

1. 人 A 是 独立 的 。 

2. 对 t 二 0，1，2，…,，n， 有 NN,(A) 达 i。 

3. 如 果 A 中 任务 按 截止 时 间 单 调 递 增 的 顺序 调度 ， 那 么 不 会 有 任务 延迟 。 

证 明 为 了 证 明 由 (1) 可 得 (2)， 我 们 证 明道 否 命题 ,如果 对 某 个 :，N,(A) 二 :， 则 集合 A 的 
任何 调度 方案 都 会 有 任务 延迟 的 情况 发 生 ， 因 为 超过 :个 任务 必须 在 时 刻 上 前 完成 (而 每 个 任务 
都 花费 一 个 时 间 单 位 )。 因 此 ， 由 (1) 可 得 到 (2)。 如 果 (2) 成 立 ， 则 (3) 必 然 也 成 立 : 当 按 截止 时 
间 单 调 递增 顺序 调度 任务 时 ， 不 会 发 生 “ 卡 住 ” 的 现象 ， 因 为 (2) 成 立意 味 着 第 i 大 的 截止 时 间 至 
少 是 i。 最 后 ， 由 (3) 显 然 能 推导 出 (1)。 a 

利用 引 理 16.12 的 性 质 2， 我 们 可 以 简单 地 计算 出 一 个 给 定 任务 集合 是 否 独立 (参见 练习 
16. 5-2). 

最 小 化 延迟 任务 的 惩罚 之 和 的 问题 与 最 大 化 提前 任务 的 惩罚 之 和 是 等 价 的 。 下 面 的 定理 确 
保 我 们 可 以 使 用 贪心 算法 求 出 总 惩罚 最 大 的 独立 任务 集 A。 

定理 16.13 如果 S 是 一 个 给 定 了 截止 时 间 的 单位 时 间 任 务 集合 ,， 工 是 所 有 独立 任务 集合 的 
集合 ， 则 对 应 的 系统 (S，Z) 是 一 个 拟 阵 。 

证 明 每 个 独立 任务 集合 的 子 集 必 然 也 是 独立 的 。 为 了 证 明 交 换 性 质 ， 假 定 B 和 A 是 独立 
任务 集合 , 且 1381>1A4A1。 令 & 是 满足 N,(B) 委 六 (4A) 的 最 大 的 女 这 样 上 肯定 是 存在 的 ， 因 为 
N,(A)=N,(B)=0). HFN,(BD=!|Bl|ANACA=!/Al, I|BIl|>IlAl, KEX k+1< 
jen lA j, VRA kR<n RN; (BSN (A). Al, BEABEEZRIEEA k +1 WE 
务 。 令 a; 为 B 一 A 中 截止 时 间 为 十 1 的 任务 , 4 A'=AU la}. 

下 面 利用 引 理 16. 12 的 性 质 2 证 明 A 必然 是 独立 的 。 因 为 A BH, MOSK, RNA 
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N(AD=N (A)<t, AW B 是 独立 的 ， 对 < 二 n, RA N (AD<SN, B) <t. 因此，A 是 独 
立 的 ， 从 而 得 证 (S，Z) 是 一 个 拟 阵 。 m 
由 定理 16. 11， 我 们 可 以 用 贪心 算法 求 出 一 个 最 大 权重 的 独立 任务 集 A。 然 后 可 以 创建 一 个 
最 优 调度 方案 ， 以 A 中 任务 为 提前 任务 。 这 个 算法 是 求解 单 处 理 器 上 带 截 止 时 间 和 惩罚 的 单位 
时 间 任 务 调度 问题 的 一 种 高 效 算法 。 使 用 GREEDY 的 运行 时 间 为 O(w )， 因 为 算法 共 进行 了 
O(n) 独 立 性 检查 ， 每 次 花费 O(n) 时 间 ( 参 见 练习 16. 5-2) 。 思 考题 16-4 给 出 了 一 个 更 快 的 实现 。 
图 16-7 给 出 了 单 处 理 器 上 带 截止 时 间 和 生 罚 任务 
的 单位 时 间 任 务 调度 问题 的 一 个 例子 。 在 此 例 
中 ， 贪心 算法 按 顺 序 选 择 任务 Ais A29 U3 和 C4， 70 60 50 40 30 20 10 
然后 拒绝 a (因为 N, (a, A29 Q39 Q49 as })=5) 
和 ag (因为 N((w，aw，aw，w，w))=5)， 最 后 “图 16-7 单 处 理 器 上 带 截止 时 间 和 惩罚 的 单位 
接受 。 ， 最 终 的 最 优 调 度 为 时 间 任 务 调度 问题 的 一 个 实例 
(az 9Q4 yQ1yQ3 347 05 9 06 ) 


总 惩罚 为 Wes +w, =50, 


练习 

16.5-1 对 图 16-7 给 出 的 调度 问题 的 实例 ， 将 每 个 惩罚 值 w FRA 80 一 w:， 求 解 修改 后 的 
问题 。 

16.5-2 ”说明 如 何 利用 引 理 16. 12 的 性 质 2 在 OC(|A|) 时 间 内 确定 一 个 给 定 任务 集合 A 是 独 
立 的 。 

思考 题 


16-1 〈( 找 零 问题 ) 考虑 用 最 少 的 硬币 找 n 美 分 零钱 的 问题 。 假 定 每 种 硬币 的 面额 都 是 整数 。 
a. 设计 贪心 算法 求解 找 零 问题 ,假定 有 25 美 分 、10 美 分 、5 美 分 和 1 美 分 4 种 面额 的 硬 
币 。 证 明 你 的 算法 能 找到 最 优 解 。 
b. 假定 硬币 面额 是 c WE, BURA co, cy oe, OC, CMR 为 整数 ，c>>1，&R 之 1。 证 明 : 
贪心 算法 总 能 得 到 最 优 解 。 
c 设计 一 组 硬币 面额 ， 使 得 贪心 算法 不 能 保证 得 到 最 优 解 。 这 组 硬币 面额 中 应 该 包含 1 美 
分 ， 使 得 对 每 个 零钱 值 都 存在 找 零 方 案 。 
d. 设计 一 个 OC(nk) 时 间 的 找 零 算法 ， 适 用 于 任何 种 不 同 面额 的 硬币 ,假定 总 是 包含 1 美 
分 硬币。 
16-2 (最 小 平均 完成 时 间 调 度 问题 ) 假定 给 定 任务 集合 S 二 (al ，as，…，a,}， 其 中 任务 a 在 
启动 后 需要 p: 个 时 间 单 位 完成 。 你 有 一 台 计 算 机 来 运行 这 些 任务 ， 每 个 时 刻 只 能 运行 一 
个 任务 。 令 c 表示 任务 a; 的 完成 时 间 ， 即 任务 a 被 执行 完 的 时 间 。 你 的 目标 是 最 小 化 平 


均 完 成 时 间 ， 即 最 小 化 A/D de o 例如 ， 假定 有 两 个 任务 a 和 az, Pi=3, p55, 如 


R U2 首先 运行 ， 然后 运行 Ul， 则 C =3, = 8, 平均 完成 时 间 为 (5 十 8)/2 王 6. Ja 如 果 Ul 

先 于 az 执行 ， 则 c= 二 3，cs 王 8， 平 均 完 成 时 间 为 (3 十 8)/2 王 5. 5。 

a 设计 算法 ， 求 平均 完成 时 间 最 小 的 调度 方案 。 任 务 的 执行 都 是 非 抢占 的 ， 即 一 旦 a; F 
始 运行 ， 它 就 持续 运行 p; 个 时 间 单 位 。 证 明 你 的 算法 能 最 小 化 平均 完成 时 间 ， 并 分 析 
算法 的 运行 时 间 。 

b. 现在 假定 任务 并 不 是 在 任意 时 刻 都 可 以 开始 执行 ， 每 个 任务 都 有 一 个 释放 时 间 x;， 在 此 
时 间 之 后 才 可 以 开始 。 此 外 假定 任务 执行 是 可 以 抢占 的 (preemption)， 这 样 任务 可 以 被 
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16-3 


16-4 


16-5 
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挂 起 ， 稍 后 再 重新 开始 。 例 如 ， 一 个 任务 a; 的 运行 时 间 为 p; 二 6， 释 放 时 间 为 +;==1， 
它 可 能 在 时 刻 1 开始 运行 ， 在 时 刻 4 被 抢占 。 然 后 在 时 刻 10 恢复 运行 ， 在 时 刻 11 再 次 
被 抢占 ， 最 后 在 时 刻 13 恢复 运行 ， 在 时 刻 15 运行 完毕 。 任 务 a 共 运 行 了 6 个 时 间 单 
位 ， 但 运行 时 间 被 分 割 成 三 部 分 。 在 此 情况 下 ，a; 的 完成 时 间 为 15。 设 计算 法 ， 对 此 
问题 求解 平均 运行 时 间 最 小 的 调度 方案 。 证 明 你 的 算法 确实 能 最 小 化 完成 时 间 ， 分 析 
算法 的 运行 时 间 。 


(ARF A) 


a 一 个 无 癌 图 CG=(， 鳌 ) 的 关联 和 矩阵 (incidence matrix) 是 一 个 |V | X| E] WEM, 
BW e RRF v, M MM = 二 1， 否 则 M. =0. WHE M 的 一 个 列 集合 在 整数 模 2 的 域 
上 线性 无 关 当 且 仅 当 对 应 的 边 集 无 环 。 

b 假定 我 们 对 一 个 无 问 图 G 二 (V，E) 的 每 条 边 都 关联 一 个 非 负 权 重 w(e) 。 设 计 一 个 高 效 
算法 ， 求 权重 之 和 最 大 的 无 环 边 集 。 

ce 令 G 二 (V，E) 是 任意 的 有 向 图 ， 定义 (E, 工 ) 满 足 AEI 当 有 目 仅 当 A 不 包含 任何 有 向 环 。 
给 出 一 个 有 向 图 G 的 例子 ， 使 得 关联 的 系统 (下 ，Z) 不 是 一 个 拟 阵 。 指 出 定义 中 哪个 条 
件 使 得 系统 (EE， 工 ) 不 是 拟 阵 。 

d 无 自 环 的 有 癌 图 G 二 (V，E) 的 关联 和 矩 阵 是 一 个 | V | Xx | 五 | KERM, F8 e AMA 
v 发 出 ， 则 M,.== 一 1， FA e AA v, 则 M,.=1, 否则 M,=0. WEAR: 如 果 M 的 
一 个 列 集合 线性 无 关 ， 那 么 对 应 的 边 集 不 包含 有 回环 。 

. 练习 16. 4-2 告诉 我 们 任意 矩阵 M 的 线性 无 关 的 列 集 合 的 集合 构成 一 个 拟 阵 。 仔 细 解 释 
(c) 和 (Ce) 的 结果 为 什么 不 矛盾 。 什 么 情况 下 边 集 无 环 与 关联 和 矩阵 中 对 应 列 集合 线性 无 关 
这 两 个 问题 间 没 有 完美 的 对 应 关系 ? 

(调度 问题 变形 ) 对 16.5 节 中 带 截止 时 间 和 惩罚 的 单位 时 间 任 务 调 度 问 题 ， 考 虑 如 下 算 

法 。 初 始 时 令 n SABA, NA? ANKE, ARTA i. RTT 

单调 递减 的 顺序 处 理 所 有 任务 。 当 处 理 任务 a; 时 ， 如 果 存 在 不 晚 于 a 的 截止 时 间 d; 的 空 

时 间 槽 ， 则 将 aj 分 配 到 其 中 最 晚 的 那个 。 如 果 不 存在 这 样 的 时 间 槽 ， 将 a; 分 配 到 最 晚 的 

空 时 间 槽 。 

a. 证 明 : 此 算法 总 能 得 到 最 优 解 。 

b. 利用 21. 3 节 提 出 的 快速 不 相交 集合 森林 来 高 效 实现 此 算法 。 假 定 输入 任务 集合 已 经 按 
惩罚 值 单调 递减 的 顺序 排序 。 分 析 实 现 程序 的 运行 时 间 。 

(BREA) 现代 计算 机 使 用 缓存 技术 将 少量 数据 保存 于 快速 内 存 中 。 虽 然 程 序 可 能 访问 

大 量 数据 ， 但 通过 将 主 存 中 少量 数据 保存 在 缓存 (cache) 一 一 容量 小 但 更 快 的 内 存 中 ， 还 

是 可 以 大 幅度 降低 访问 时 间 。 当 一 个 计算 机 程序 运行 时 ， 它 对 内 存 进 行 n 次 内存 访问 《ri， 

Tis Sy Ths 每 个 请 求 访 问 一 个 特定 数据 元 素 。 例如 ， 一 个 程序 访问 4 个 不 同 元 素 {a， b, 

c，d) ,访问 请 求 序列 为 (d,b，d, b,，d， a，c，d，4b，a，c，b)。 令 上 为 缓存 的 规模 。 当 

缓存 已 经 保存 了 个 元 素 ， 而 程序 访问 第 (& 十 1) 个 元 素 时 ， 系 统 必须 决定 ， 对 于 此 访问 请 

求 及 之 后 的 请 求 ， 要 将 哪 个 元 素 保存 在 缓存 中 。 更 准确 地 ， 对 每 个 请 求 r;:， 缓 存 管理 算 

法 检查 元 素 n 已 经 在 缓存 中 。 如 果 已 在 ， 就 产生 一 次 缓存 命中 Ccache hit); 否则 ， 产 生 一 

次 缓存 未 命中 (cache miss)。 奉 产生 缓存 未 命中 ， 系 统 从 主 存 中 提取 xr;， 同 时 缓存 管理 算 

法 必须 决定 是 否 将 r 保留 在 缓存 中 。 如 果 算 法 决定 保留 r 且 缓 存 中 已 经 保存 了 上 & 个 元 素 ， 

则 它 必须 将 某 个 元 素 逐 出 缓存 来 为 7; 腾 出 空间 。 缓 存 管 理 算法 逐 出 数据 的 目标 是 在 处 理 整 

个 访问 请 求 序列 的 过 程 中 缓存 未 命中 的 次 数 最 少 。 

通常 ， 缓 存 管 理 是 一 个 在 线 问题 。 也 就 是 说 ， 我 们 在 决定 将 哪些 数据 保留 在 缓存 中 
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时 ， 并 不 知道 未 来 的 访问 请 求 是 什么 。 但 是 ， 我 们 这 里 考虑 此 问题 的 离线 版 本 ， 即 预先 知 
道 完整 的 请 求 序列 (包含 ”个 访问 请 求 ) 及 缓存 规模 &， 目 标 仍 是 最 小 化 缓存 未 命中 次 数 。 
我 们 可 以 用 一 种 称 为 将 来 最 远 (furthest-in-future) 的 贪心 策略 求解 离线 缓存 问题 ， 此 

策略 选择 逐 出 缓存 的 数据 的 方法 是 选择 在 请 求 序列 中 下 一 次 访问 距离 最 远 的 数据 。 
a 编写 使 用 将 来 最 远 策略 的 缓存 管理 器 的 伪 代 码 。 输 入 是 请 求 序 列 《ri1 ，r; ，…，r, ;和缓 

存 规模 &， 输 出 为 决策 结果 序列 一 一 处 理 每 个 请 求 时 逐 出 缓存 的 是 哪个 数据 (如 果 需 要 

逐 出 ) 。 分 析 算 法 的 运行 时 间 。 
b 证 明 ， 离 线 缓存 问题 具有 最 优 子 结构 性 质 。 
c 证 明 : 将 来 最 远 策略 可 以 保证 最 小 缓存 未 命中 次 数 。 

本 章 注 记 

读者 可 以 在 Lawler[224 |] 及 Papadimitriou 和 Steiglitz[ 271 | 的 书 中 找到 更 多 关于 贪心 算法 和 拟 
阵 的 内 容 。 

虽然 拟 阵 理论 早 在 WhitneyL355j」1935 年 的 文章 中 就 已 出 现 ， 但 贪心 算法 最 早 用 于 组 合 优化 
问题 的 文献 是 Edmonds| 101] 1971 年 的 文章 。 

本 书 中 关于 活动 选择 问题 的 贪心 算法 正确 性 的 证 明基 于 GavrilL131j] 的 证 明 ; Lawler 在 文献 
[224 |], Horowitz, Sahni 和 Rajasekaran 在 文献 [181 |, Brassard 和 Bratley 在 文献 [54 | 4 #8 
研究 过 任务 调度 问题 。 

赫 夫 曼 编码 是 1952 年 发 明 的 [185 ]; Lelewer 和 Hirschberg 在 文献 [231 中 综述 了 1987 年 之 
前 的 数据 压缩 算法 。 

Korte 和 LovaszL 216 一 219 最 早 提出 了 广义 拟 阵 (greedoid) 理 论 ， 这 是 拟 阵 理论 的 一 种 扩展 ， 
极 大 地 推广 了 本 章 中 介绍 的 拟 阵 理 论 。 450 
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摊 还 分 本 


在 摊 还 分 析 (amortized analysis) 中 ， 我 们 求 数 据 结构 的 一 个 操作 序列 中 所 执行 的 所 有 操作 的 
平均 时 间 ， 来 评价 操作 的 人 代价。 这样， 我 们 就 可 以 说 明 一 个 操作 的 平均 代价 是 很 低 的 ， 即 使 序列 
中 某 个 单一 操作 的 代价 很 高 。 摊 还 分 析 不 同 于 平均 情况 分 析 ， 它 并 不 涉及 概率 ， 它 可 以 保证 最 坏 
情况 下 每 个 操作 的 平均 性 能 。 

本 章 前 三 节 介 绍 了 摊 还 分 析 中 最 常用 的 三 种 技术 。17.1 节 介 绍 聚 合 分 析 (aggregate 
analysis) ， 这 种 方法 用 来 确定 一 个 nn 个 操作 的 序列 的 总 代价 的 上 界 T(n)。 因 而 每 个 操作 的 平均 
代价 为 TC(n)/n。 我 们 将 平均 代价 作为 每 个 操作 的 挫 还 代价 ， 因 此 所 有 操作 具有 相同 的 摊 还 代价 。 

17. 2 市 介绍 核算 法 (accounting method) ， 用 来 分 析 每 个 操作 的 摊 还 代价 。 当 存在 不 止 一 种 操 
作 时 ， 每 种 操作 的 摊 还 代价 可 能 是 不 同 的 。 核 算法 将 序列 中 某 些 较 早 的 操作 的 “余额 ” 
(overcharge) 作 为 “预付 信用 ”(prepaid credit) 储存 起 来 ， 与 数据 结构 中 的 特定 对 象 相 关联 。 在 操 
作 序 列 中 随后 的 部 分 ， 储 存 的 信用 即 可 用 来 为 那些 缴费 少 于 实际 代价 的 操作 支付 差额 。 

17. 3 节 讨 论 势 能 法 (potential method) ， 与 核算 法 类 似 ， 势 能 法 也 是 分 析 每 个 操作 的 摊 还 代价 ， 而 
且 也 是 通过 较 早 操作 的 余额 来 补偿 稍 后 操作 的 差额 。 势 能 法 将 信用 作为 数据 结构 的 “势能 ”储存 起 来 ， 
与 核算 法 不 同 ， 它 将 势能 作为 一 个 整体 储存 ， 而 不 是 将 信用 与 数据 结构 中 单个 对 象 关联 分 开 储 存 。 

我 们 将 使 用 两 个 例子 来 介绍 这 三 种 方法 。 一 个 例子 是 带 有 额外 MULTIPOP 操作 的 栈 ， 该 操 
作 一 次 性 从 栈 中 弹出 多 个 对 象 。 另 一 个 例子 是 二 进 制 计 数 咽 ， 它 从 0 开始 计数 ， 通 过 
INCREMENT 操作 实现 计数 。 

当 学 习 本 章 时 ， 要 记 住 在 摊 还 分 析 中 赋予 对 象 的 费用 仅仅 是 用 来 分 析 而 已 ， 不 需要 也 不 应 
该 出 现在 程序 中 。 例 如 ， 在 利用 核算 法 进行 分 析 时 ， 如 果 我 们 将 一 定 的 信用 赋予 对 象 z， 那 么 并 
不 需要 在 程序 中 将 相应 的 值 赋予 对 象 的 某 个 属性 ， 如 x. credit. 

通过 做 摊 还 分 析 ， 通 常 可 以 获得 对 某 种 特定 数据 结构 的 认识 ， 这 种 认识 有 助 于 优化 设计 。 例 
如 ， 在 17.4 节 中 ， 我们 将 用 势能 法 分 析 一 个 动态 扩充 和 收缩 的 表 。 


17.1 聚合 分 析 


利用 聚合 分 析 ， 我 们 证 明 对 所 有 n， 一 个 nn 个 操作 的 序列 最 坏 情 况 下 花费 的 总 时 间 为 荆 (n)。 
因此 ， 在 最 坏 情 况 下 ， 每 个 操作 的 平均 代价 ， 或 摊 还 代价 为 T(n)/n。 注 意 ， 此 挫 还 代价 是 适用 
于 每 个 操作 的 ， 即 使 序列 中 有 多 种 类 型 的 操作 也 是 如 此 。 本 章 中 ， 我 们 将 要 学 习 的 另外 两 种 方 
法 一 一 核算 法 和 势能 法 ， 对 不 同类 型 的 操作 可 能 赋予 不 同 的 摊 还 代价 。 

栈 操 作 

第 一 个 聚合 分 析 的 例子 是 分 析 扩 充 了 新 操作 的 栈 。10. 1 节 提 出 了 两 种 基本 的 栈 操作 ， 时 间 
复杂 性 均 为 O): 

PUSH(S, x): 将 对 象 工 压 人 栈 S P. 

POP(S): 将 栈 S 的 栈 顶 对 象 弹出 ， 并 返回 该 对 象 。 对 空 栈 调用 POP 会 产生 一 个 错误 。 

由 于 两 个 操作 都 是 O(1) 时 间 的 ， 我 们 假定 其 代价 均 为 1。 因 此 一 个 2 个 PUSH 和 POP 操作 
的 序列 的 总 代价 为 x， 而 nn 个 操作 的 实际 运行 时 间 为 O(n). 

我 们 现在 增加 一 个 新 的 栈 操作 MULTIPOP(S,，k)， 它 删除 栈 S 栈 顶 的 下 个 对 象 ， 如 果 栈 中 
对 象 数 少 于 &， 则 将 整个 栈 的 内 容 都 弹出 。 当 然 ， 我 们 假定 & 是 正 整数 ， 否 则 MULTIPOP 会 保 
持 栈 不 变 。 在 下 面 的 伪 代 码 中 ，STACK-EMPTY 在 当前 栈 中 没有 任何 对 象 时 返回 TRUE, Fi 
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返回 FALSE。 

MULTIPOP(S, &) 

1 while not STACK-EMPTY(S) and k>0 

2 POP(S) 

3 k=k-1 

图 17-1 给 出 了 MULTIPOP 的 一 个 例子 。 

在 一 个 包含 个 对 象 的 栈 上 执行 MULTIPOP(S， 忆 操作 的 运行 时 间 应 该 是 怎样 的 呢 ? 真正 的 运 
行 时 间 是 与 实际 执行 的 POP 操作 的 次 数 呈 线 
性 关系 的 ， 因 此 ， 我 们 可 以 用 PUSH 和 POP 
操作 的 抽象 代价 1 来 分 析 描 述 MULTIPOP 的 
代价 。while 循环 执行 的 次 数 等 于 从 栈 中 弹出 a a 
的 对 象 数 ， 等 于 min(s，&) 。 每 个 循环 步调 用 
一 次 POP( 第 2 行 )。 因 此 ，MULTIPOP 的 总 


SPS vo oo ah 图 17-1 对 栈 S 进行 MULTIPOP 操作 ， 栈 的 初始 
代价 为 min(s，A) ， 而 真正 的 运行 时 间 为 此 代 格局 如 (Ca) 所 示 。 通 过 MULTIPOP(S, 4) 


价 的 线性 函数 。 弹出 栈 顶 4 个 对 象 ， 结 果 如 (b) 所 示 。 因 
我 们 来 分 析 一 下 一 个 由 2 个 PUSH, POP 为 栈 中 剩 下 的 对 象 不 足 7 个 ， 下 一 个 操作 
和 MULTIPOP 组 成 的 操作 序列 在 一 个 空 栈 上 MULTIPOP(S，7) 将 栈 清空 ， 如 (c) 所 示 


的 执行 情况 。 序 列 中 一 个 MULTIPOP 操作 的 最 坏 情况 代价 为 O(n)， 因 为 栈 的 大 小 最 大 为 x。 因 
i, 任意 一 个 栈 操作 的 最 坏 情 况 时 间 为 O(n)， 从 而 一 个 nn 个 操作 的 序列 的 最 坏 情况 代价 为 
OC )， 因 为 序列 可 能 包含 O(n) MULTIPOP 操作 ， 每 个 的 执行 代价 为 O(n)。 虽 然 这 个 分 析 是 
正确 的 ， 但 我 们 通过 单独 分 析 每 个 操作 的 最 坏 情况 代价 得 到 的 操作 序列 的 最 坏 情况 时 间 OC’) , 
并 不 是 一 个 确 界 。 

通过 使 用 聚合 分 析 ， 我 们 考虑 整个 序列 的 个 操作 ， 可 以 得 到 更 好 的 上 界 。 实 际 上 ， 虽 然 一 
个 单独 的 MULTIPOP 操作 可 能 代价 很 高 ,但 在 一 个 空 栈 上 执行 n 个 PUSH, POP 和 
MULTIPOP 的 操作 序列 ， 代 价 至 多 是 O(n)。 这 是 为 什么 呢 ?” 当 将 一 个 对 象 压 入 栈 后 ， 我 们 至 多 
将 其 弹出 一 次 。 因 此 ， 对 一 个 非 空 的 栈 ， 可 以 执行 的 POP 操作 的 次 数 ( 包 括 了 MULTIPOP 中 调 
用 POP 的 次 数 ) 最 多 与 PUSH REM RBM, Re nk. A, SERN nh, ERT 
2 个 PUSH、POP 和 MULTIPOP 组 成 的 操作 序列 ， 最 多 花费 OC) 时间。 一 个 操作 的 平均 时 间 为 
O(n)/n 二 OC(1)。 在 聚合 分 析 中 ， 我 们 将 每 个 操作 的 挫 还 代价 设 定 为 平均 人 代价。 因此， 在 此 例 中 ， 
所 有 三 种 栈 操作 的 挫 还 代价 都 是 OWL). 

再 次 强调 ， 虽 然 我 们 已 经 证 明 一 个 栈 操作 的 平均 代价 ， 也 就 是 平均 运行 时 间 为 O(1)， 但 并 
未 使 用 概率 分 析 。 我 们 实际 上 得 出 的 是 一 个 =” 个 操作 的 序列 的 最 坏 情 况 运行 时 间 O(z) ， 再 除 以 7 
得 到 了 每 个 操作 的 平均 代价 ， 或 者 说 摊 还 代价 。 

二 进 制 计数 器 递增 

作为 聚合 分 析 的 另 一 个 例子 ， 我 们 来 看 一 个 & 位 二 进 制 计 数 器 递增 的 问题 ， 计 数 器 的 初 值 为 
0。 我 们 用 一 个 位 数组 ALO. .& 一 1 作为 计数 器 ， 其 中 A. length= 二 &。 当 计数 器 中 保存 的 二 进 制 值 


为 z 时 ，z 的 最 低位 保存 在 A[0] 中 ， 而 最 高 位 保存 在 A[4 一 1] 中 ， 因 此 xz = SACs] 。2: 。 初 始 
时 z 王 0， 因 此 对 所 有 ;一 0，1，…，& 一 1，A[Li=0。 为 了 将 工 ( 模 笃 ) 加 到 计数 器 的 值 上 ， 我 们 使 
用 如 下 过 程 : 


INCREMENT(A) 
1 i=0 
2 while ; < A. length and A[i]==1 
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3 Ali ]=0 

4 i=i+1 

5 if i <A. length 
6 A[i]=1 


图 17-2 显示 了 将 一 个 二 进 制 计数 天 递增 16 次 的 情况 ， 初 始 值 为 0， 最 终 变 为 16。 当 每 次 开 
始 执 行 第 2~~4 行 的 while 循环 时 ， 我 们 希望 将 1 加 在 第 i 位 上 。 如 果 A[Lij==1， 那么 加 1 操作 会 将 
第 ;位 翻转 为 0， 并 产生 一 个 进位 一 一 在 下 一 步 循 环 迭 代 时 将 1 加 到 第 ;十 1 ik. BW, BRA 
R, EHEAR ;<A， 我 们 知道 ALij] 二 0， 因 此 第 6 行将 1 加 到 第 i 位 上 一 一 将 第 i 位 翻转 为 1。 每 
次 INCREMENT 操作 的 代价 与 翻转 的 二 进 制 位 的 数目 呈 线 性 关系 。 

与 上 一 个 关于 栈 的 例子 类 似 ， 对 此 算法 的 运行 时 间 进 行 粗略 的 分 析 会 得 到 一 个 正确 但 不 紧 
的 界 。 最 坏 情 况 下 INCREMENT 执行 一 次 花费 @(&) 时 间 ， 最 坏 情 况 当 数组 A 所 有 位 都 为 1 时 发 
生 。 因 此 ， 对 初 值 为 0 的 计数 需 执 行 2 个 INCREMENT 操作 最 坏 情 况 下 花费 OC(nk) 时 间 。 


















计数 器 值 ALT] 4[6] AtS] 4[4] ABB) 4[2] an 4[0 总 代价 
0 0 0 0 0 0 0 ) Oh 0 
1 0 0 0 0 OS 1 
2 0 0 0 0 3 
3 0 0 0 0 4 
4 0 0 0 0 7 
5 0 0 0 0 8 
6 0 0 0 0 10 
7 0 0 0 0 2 11 
8 0 0 0 0 15 
9 0 0 0 0 16 
10 0 0 0 0 18 
11 0 0 0 0 19 
12 0 0 0 0 22 
13 0 0 0 0 23 
14 0 0 0 0 25 
15 0 0 0 WES 26 
16 0 0 0 1 31 


图 17-2 一 个 8 位 的 二 进 制 计数 器 ， 经 过 16 次 的 INCREMENT 操作 ， 其 值 从 0 增长 到 16。 发 生 翻 转 
而 取得 下 一 个 值 的 位 加 了 阴影 。 右 边 给 出 了 位 翻转 所 需 的 运行 代价 。 注 意 总 代价 始终 不 超过 
INCREMENT 操作 总 次 数 的 2 倍 


对 于 ”个 INCREMENT 操作 组 成 的 序列 ， 我 们 可 以 得 到 一 个 更 紧 的 界 一 一 最 坏 情 况 下 代价 
为 O(n)， 因 为 不 可 能 每 次 INCREMENT 操作 都 翻转 所 有 的 二 进 制 位 。 如 图 17-2 所 示 ， 每 次 调 
用 INCREMENT 时 ALoj 确 实 都 会 翻转 。 而 下 一 位 AL1j， 则 只 是 每 两 次 调用 翻转 一 次 ， 这 样 ， 
对 一 个 初 值 为 0 的 计数 器 执行 一 个 2 个 INCREMENT 操作 的 序列 ， 只 会 使 A[L1j 翻 转 | n/2 j 次 。 
类 伏地 ，AL2J 每 4 次 调用 才 翻 转 一 次 ， 即 执行 一 个 ”个 INCREMENT 操作 的 序列 的 过 程 中 翻转 
Ln/4 次 。 一 般 地 ， 对 一 个 初 值 为 0 的 计数 器 ， 在 执行 一 个 由 2 个 INCREMENT 操作 组 成 的 序列 
的 过 程 中 ，A[ 门 会 翻转 | n/2’ | 次 (i 二 0，1，…，& 一 1)。 对 i 宇 &£，A[ 汪 不 存在 ， 因 此 也 就 不 会 翻 
转 。 因 此 ， 由 公式 (A. 6) 知 ， 在 执行 INCREMENT 序列 的 过 程 中 进行 的 翻转 操作 的 总 数 为 


lal<a} ge = 2 
因此 ， 对 一 个 初 值 为 0 的 计数 器 ， 执 行 一 个 ”个 INCREMENT 操作 的 序列 的 最 坏 情 况 时 间 为 
OCn)。 每 个 操作 的 平均 代价 ， 即 挫 还 代价 为 O(n) /n=O001). 


练习 
17.1-1 如果 栈 操作 包括 MULTIPUSH 操作 ， 它 将 & 个 数据 项 压 人 栈 中 ， 那 么 栈 操作 的 摊 还 代 
价 的 界 还 是 O(1) 吗 ? 
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17. 1-2 证 明 : 如 果 & 位 计数 器 的 例子 中 允许 DECREMENT E, IA ”个 操作 的 运行 时 间 可 
能 达到 @(nk)。 

17. 1-3 ”假定 我 们 对 一 个 数据 结构 执行 一 个 由 个 操作 组 成 的 操作 序列 ， 当 :严格 为 2 OAT 
第 ;个 操作 的 代价 为 ?， 否 则 代价 为 1。 使 用 聚合 分 析 确 定 每 个 操作 的 摊 还 代价 。 


17.2 核算 法 


用 核算 法 (accounting method) 进 行 摊 还 分 析 时 ， 我 们 对 不 同 操作 赋予 不 同 费 用 ， 赋 予 某 些 操 
作 的 费用 可 能 多 于 或 少 于 其 实际 代价 。 我 们 将 赋予 一 个 操作 的 费用 称 为 它 的 摊 还 代价 。 当 一 个 
操作 的 挫 还 代价 超出 其 实际 代价 时 ， 我 们 将 差额 存 人 数据 结构 中 的 特定 对 象 ， 存 入 的 差额 称 为 
信用 。 对 于 后 续 操作 中 挫 还 代价 小 于 实际 代价 的 情况 ， 信 用 可 以 用 来 支付 差额 。 因 此 ， 我 们 可 以 
将 一 个 操作 的 摊 还 代价 分 解 为 其 实际 代价 和 信用 ( 存 人 的 或 用 掉 的 ) 。 不 同 的 操作 可 能 有 不 同 的 
摊 还 代价 。 这 种 方法 不 同 于 聚合 分 析 中 所 有 操作 都 赋予 相同 摊 还 代价 的 方式 。 

我 们 必须 小 心地 选择 操作 的 摊 还 代价 。 如 果 我 们 和 希望 通过 分 析 摊 还 代价 来 证 明 每 个 操作 的 
平均 代价 的 最 坏 情 况 很 小 ， 就 应 确保 操作 序列 的 总 摊 还 代价 给 出 了 序列 总 真实 代价 的 上 界 。 而 
且 ， 与 聚合 分 析 一 样 ， 这 种 关系 必须 对 所 有 操作 序列 都 成 立 。 如 果 用 c; 表示 第 i 个 操作 的 真实 代 
Or, Fac; 表示 其 挫 还 代价 ， 则 对 任意 ”个 操作 的 序列 ， 要 求 
3 —_ ae (17. 1) 


i=] 


数据 结构 中 存储 的 信用 恰好 等 于 总 摊 还 代价 与 总 实际 代价 的 差 值 ， 即 3 Ee > 由 不 等 


式 (17.1) 知 ， 数 据 结构 所 关联 的 信用 必须 一 直 为 非 负 值 。 如 果 在 某 个 步骤 ， 我 们 允许 信用 为 负 值 
(前 面 操作 缴费 不 足 ， 承 诺 在 随后 补 齐 账户 从 费 )， 那 么 当时 的 总 摊 还 代价 就 会 低 于 总 实际 代价 ， 
对 于 到 那个 时 刻 为 止 的 操作 序列 ， 总 摊 还 代价 就 不 再 是 总 实际 代价 的 上 界 了 。 因 此 ， 我 们 必须 注 
意 保 持 数据 结构 中 的 总 信用 永远 为 非 负 值 。 

栈 操 作 

为 了 说 明 摊 还 分 析 的 核算 法 ， 我 们 回 到 栈 的 例子 。 回 顾 前 面 的 内 容 ， 操 作 的 实际 代价 为 

PUSH 1 


POP 1 

MULTIPOP min(k, s) 
其 中 & 是 提供 给 MULTIPOP 的 参数 ，* 是 调用 时 栈 的 规模 。 我 们 为 这 些 操作 赋予 如 下 摊 还 
代价 : 

PUSH 2 

POP 0 

MULTIPOP 0 


注意 ，MULTIPOP 的 摊 还 代价 是 一 个 常数 (0) ， 而 其 实际 代价 是 变量 。 在 此 例 中 ， 所 有 三 个 摊 还 
代价 都 是 常数 。 一 般 来 次， 所 考虑 的 操作 的 摊 还 代价 可 能 各 不 相同 ， 渐 近 性 也 可 能 不 同 。 

我 们 将 证 明 ， 通 过 按 摊 还 代价 缴费 ， 我 们 可 以 支付 任意 的 栈 操作 序列 (的 实际 代价 ) 。 假 定 使 
用 1 美元 来 表示 一 个 单位 的 代价 。 我 们 从 一 个 空 栈 开始 。 回 忆 10. 1 节 中 数据 绪 构 栈 和 自助餐 店 
里 一 要 盘子 间 的 类 比 。 当 将 一 个 盘子 放 在 一 要 盘子 的 最 上 面 ， 我 们 用 1 美元 支付 压 栈 操作 的 实际 
代价 ， 将 剩余 的 1 美元 存 为 信用 ( 共 缴 费 2 美元 ) 。 在 任何 时 间 点 ， 栈 中 的 每 个 盘子 都 存储 了 与 之 
对 应 的 1 美元 的 信用 。 

每 个 盘子 存储 的 1 美元 ， 实 际 上 是 作为 将 来 它 被 弹出 栈 时 代价 的 预付 费 。 当 执行 一 个 POP 
操作 时 ， 并 不 缴纳 任何 费用 ， 而 是 使 用 存储 在 栈 中 的 信用 来 支付 其 实际 代价 。 为 了 弹出 一 个 盘 
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子 ， 我 们 取出 此 盘子 的 1 美元 的 信用 来 支付 POP 操作 的 实际 代价 。 因 此 ， 通 过 为 PUSH 操作 多 
缴 一 点 费 ， 我 们 可 以 在 POP 时 不 缴纳 任何 费用 。 

mH. Xt MULTIPOP 操作 ， 我 们 也 可 以 不 缴纳 任何 费用 。 为 了 弹出 第 一 个 盘子 ， 我 们 将 
其 1 美元 信用 取出 来 支付 此 POP 操作 的 实际 代价 。 为 了 弹出 第 二 个 盘子 ， 我 们 再 次 取出 盘子 的 1 
美元 信用 来 支付 此 POP 操作 的 实际 代价 ， 依 此 类 推 。 因此， 预付 的 费用 总 是 足够 支付 
MULTIPOP 操作 的 代价 。 换 句 话 说， 由 于 栈 中 的 每 个 盘子 都 存 有 1 美元 的 信用 ， 而 栈 中 的 盘子 
数 始终 是 非 负 的 ， 因 此 可 以 保证 信用 值 也 总 是 非 负 的 。 因 此 ， 对 任意 n 个 PUSH, POP, 
MULTIPOP 操作 组 成 的 序列 ， 总 摊 还 代价 为 总 实际 代价 的 上 界 。 由 于 总 摊 还 代价 为 O(n), At 
总 实际 代价 也 是 。 

二 进 制 计数 器 递增 

作为 核算 法 的 另 一 个 例子 ， 我 们 分 析 在 一 个 从 0 开始 的 二 进 制 计数 器 上 执行 INCREMENT 
操作 。 如 我 们 之 前 所 观察 到 的 ， 此 操作 的 运行 时 间 与 翻转 的 位 数 成 正比 ， 因 此 对 此 例 ， 可 以 将 翻 
转 的 位 数 作为 操作 的 代价 。 我 们 再 次 使 用 1 美元 表示 一 个 单位 的 代价 (在 此 例 中 是 翻转 1 位 )。 

在 摊 还 分 析 中 ， 对 一 次 置 位 操作 ， 我 们 设 其 摊 还 代价 为 2 美元 。 当 进行 置 位 时 ， 用 1 美元 支 
付 置 位 操作 的 实际 代价 ， 并 将 另外 1 美元 存 为 信用 ， 用 来 支付 将 来 复位 操作 的 代价 。 在 任何 时 
刻 ， 计 数 器 中 任何 为 1 的 位 都 存 有 1 美元 的 信用 ， 这 样 对 于 复位 操作 ， 我 们 就 无 需 缴纳 任何 费 
用 ， 使 用 存储 的 1 美元 信用 即 可 支付 复位 操作 的 代价 。 

现在 可 以 确定 INCREMENT 的 摊 还 代价 。while 循环 中 复位 操作 的 代价 用 该 位 储存 的 1 美元 
来 支付 。INCREMENT 过 程 至 多 置 位 一 次 (第 6 行 )， 因 此 ， 其 摊 还 代价 最 多 为 2 美元 。 计 数 器 
中 1 的 个 数 永远 不 会 为 负 ， 因 此 ， 任 何 时 刻 信用 值 都 是 非 负 的 。 所 以 ， 对 于 2 个 INCREMENT 
操作 ， 总 摊 还 代价 为 O(n)， 为 总 实际 代价 的 上 界 。 


练习 

17.2-1 假定 对 一 个 规模 永远 不 会 超过 的 栈 执 行 一 个 栈 操作 序列 。 执 行 个 操作 后 ， 我 们 复制 
整个 栈 来 进行 备份 。 通 过 为 不 同 的 栈 操作 赋予 适合 的 摊 还 代价 ,证明 : 2” 个 栈 操作 ( 包 
括 复制 栈 ) 的 代价 为 ON. 

17. 2-2 用 核算 法 重 做 练习 17. 1-3。 

17.2-3 ”假定 我 们 不 仅 对 计数 器 进行 增 1 操作 ， 还 会 进行 置 0 操作 (即将 所 有 位 复位 )。 设 检测 或 
修改 一 个 位 的 时 间 为 @6(1)， 说 明 如 何 用 一 个 位 数组 来 实现 计数 器 ， 使 得 对 一 个 初 值 为 0 
的 计数 器 执行 一 个 由 任意 2 个 INCREMENT 和 RESET 操作 组 成 的 序列 花费 时 间 OC). 
(提示 : 维护 一 个 指针 一 直 指 向 最 高 位 的 1。) 


17.3 势能 法 

势能 法 挫 还 分 析 并 不 将 预付 代价 表示 为 数据 结构 中 特定 对 象 的 信用 ， 而 是 表示 为 “势能 ”"， 或 
简称 “ 势 "， 将 势能 释放 即 可 用 来 支付 未 来 操作 的 代价 。 我 们 将 势能 与 整个 数据 结构 而 不 是 特定 对 
象 相关 联 。 

势能 法 工作 方式 如 下 。 我 们 将 对 一 个 初始 数据 结构 Do 执行 2 个 操作 。 对 每 个 ;一 1，2，…， 
n， 令 ci 为 第 i 个 操作 的 实际 代价 ， 令 D: 为 在 数据 结构 Di-: 上 执行 第 ;个 操作 得 到 的 结果 数据 结 
构 。 势 函数 王将 每 个 数据 结构 D; 映射 到 一 个 实数 B(D;)， 此 值 即 为 关联 到 数据 结构 D; 的 势 。 第 
i 个 操作 的 摊 还 代价 c; HARR 多 定义 为 : 

ĉ& = c; BD.,) — Dam) (17. 2) 

因此 ， 每 个 操作 的 摊 还 代价 等 于 其 实际 代价 加 上 此 操作 引起 的 势能 变化 。 由 公式 (17. 2), n PR 
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作 的 总 摊 还 代价 为 
= Dt BD) YD)) = Dat BD) — OD) (17. 3) 


第 二 个 等 式 是 根据 公式 (A 9) 推 导出 来 的 ， 因为 OD, BIER, 可 以 消去 。 
如 果 能 定义 一 个 势 函 数 中， 使 得 B(D,) 宇 BC(D,)， 则 总 挫 还 代价 > c: 给 出 了 总 实际 代价 


de 的 一 个 上 界 。 实 际 中 ， 我 们 不 是 总 能 知道 将 要 执行 多 少 个 操作 。 因 此 ， 如 果 对 所 有 i RN 


BR 8(D,) 宇 B(D,)， 则 可 以 像 核 算法 一 样 保证 总 能 提前 支付 。 我 们 通常 将 下 (Du) 简 单 定 义 为 0， 
然后 说 明 对 所 有 i， 有 BCD,;) 宇 0。( 处 理 的 一 种 简单 方法 参见 练习 17. 3-1， 其 中 ®B(D,) 关 0.) 

直觉 上 ， 如 果 第 i 个 操作 的 势 差 B(D;) 一 B®B(D;_1) 是 正 的 ， 则 摊 还 代价 6: 表示 第 i 个 操作 多 付 
费 了 ， 数 据 结 构 的 势 增加 。 如 果 势 差 为 负 ， 则 摊 还 代价 表示 第 i 个 操作 少 付 费 了 ， 势 减少 用 于 支 
付 操作 的 实际 代价 。 

公式 (17.2) 和 公式 (17. 3) 定 义 的 摊 还 代价 依赖 于 势 函 数 © 的 选择 。 不 同 的 势 函 数 会 产生 不 
同 的 摊 还 代价 ， 但 摊 还 代价 仍 为 实际 代价 的 上 界 。 在 选择 势 函数 时 ， 我 们 常常 发 现 可 以 做 出 一 定 
的 权衡 ， 是 否 使 用 最 佳 势 函数 依赖 于 对 时 间 界 的 要 求 。 

栈 操作 

为 了 展示 势能 法 ， 我 们 再 次 回 到 栈 操作 PUSH, POP 和 MULTIPOP 的 例子 。 我 们 将 一 个 栈 
的 势 函数 定义 为 其 中 的 对 象 数量 。 对 于 初始 的 空 栈 Du ， 我 们 有 O(D)=0. AFR PMR AK 
远 不 可 能 为 负 ， 因 此 ， 第 i 步 操 作 得 到 的 栈 D; 具有 非 负 的 势 ， 即 

BD.,) >0 = BD,) 

因此 ， 用 下 定义 的 2 个 操作 的 总 摊 还 代价 即 为 实际 代价 的 一 个 上 界 。 

下 面 计 算 不 同 栈 操作 的 摊 还 代价 。 如 果 第 ;个 操作 是 PUSH 操作 ， 此 时 栈 中 包含 s 个 对 象 ， 
则 势 差 为 

®(D;) — (Da) = (s+1)—s=1 
则 由 公式 (17. 2), PUSH 操作 的 摊 还 代价 为 
ĉ& = c +D) — BD 1)=1+1=2 
假设 第 i 个 操作 是 MULTIPOP(S, k), 将 有 =min(k&，s) 个 对 象 弹出 栈 。 对 象 的 实际 代价 为 &'， 
势 差 为 
®(D;) — (D) =—k 
因此 ，MULTIPOP 的 摊 还 代价 为 
6 = c; +CD) — Da) =k —k' = 0 

类 似 地 ， 普 通 POP 操作 的 摊 还 代价 也 为 0。 

每 个 操作 的 摊 还 代价 都 是 O(1)， 因 此 ， 个 操作 的 总 挫 还 代价 为 OCln)。 由 于 我 们 已 经 论证 
T ECD)>@(D)， 因 此 ，72 个 操作 的 总 摊 还 代价 为 总 实际 代价 的 上 界 。 所 以 2 个 操作 的 最 坏 情 
况 时 间 为 O(n)。 

二 进 制 计数 器 递增 

作为 势能 法 的 另 一 个 例子 ， 我 们 再 次 分 析 二 进 制 计数 器 递增 问题 。 这 一 次 ， 我 们 将 计数 器 执 
ÍT i 次 INCREMENT 操作 后 的 势 定义 为 & 一 一 : 次 操作 后 计数 器 中 1 的 个 数 。 

我 们 来 计算 INCREMENT 操作 的 扒 还 代价 。 假 设 第 i 个 INCREMENT 操作 将 个 位 复位 ， 
则 其 实际 代价 至 多 为 十 1， 因 为 除了 复位 个 位 之 外 ， 还 至 多 置 位 1 位。 如果 5b: 二 0， 则 第 i 个 
操作 将 所 有 & UR T, AIE b-i =t5k, MR >0, Mo=—b-.—-t4+1. 无论 哪 种 情况 ， 

bibi titl, BHA 
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®C(D;) — CD) < (b —t; +1) mb = 1— t; 
因此 ， 摊 还 代价 为 
& = ca + ®(D;) — BPD) < @; tH) 一 2 

如 果 计 数 器 从 0 FPR, OCD) =0. AFANA i WA OCD) >0, 因此, 一 个 nn 个 
INCREMENT 操作 的 序列 的 总 摊 还 代价 是 总 实际 代价 的 上 界 ， 所 以 ”个 INCREMENT 操作 的 最 
坏 情 况 时 间 为 O(n)。 

势能 法 给 出 了 分 析 计 数 器 问题 的 一 个 简单 方法 ， 即 使 计数 器 不 是 从 0 开始 也 可 以 分 析 。 计 数 
器 初始 时 包含 2 个 1， 经 过 7 个 INCREMENT 操作 后 包含 六 +1, HOD, b, <k (E ER 
X, & 是 计数 器 二 进 制 位 的 数目 ) 。 于 是 可 以 将 公式 (17. 3) 改 写 为 


Ya = X) 4-8.) + BD,) (17. 4) 


对 所 有 l<i<n, REE. 由 于 BCD,)— =b H ®(D,)=b,, n^ INCREMENT 操作 的 总 实际 
代价 为 


Da ae ba +b) = 2n—b, + bo 


特别 要 注意 ， 由 于 <k, 因此 只 4 要 k= O(n), 总 实际 代价 就 是 O(n) 。 换 句 话 说， 如果 至 少 执行 
n=0(k)“* INCREMENT 操作 ， 不 管 计数 器 初 值 是 什么 ， 总 实际 代价 都 是 OM). 


练习 

17.3-1 假定 有 势 函 数 O, MAA i 满足 B(D;) 宇 8(D,), 但 OCD.) 40. WEA: FERRA D, 
使 得 @ (D,) 二 0， 对 所 有 1 满足 B'(D;) 宇 9， 且 使 用 B' 的 摊 还 代价 与 使 用 日 的 摊 还 代 
价 相 同 。 

17.3-2 使 用 势能 法 重 做 练习 17. 1-3。 

17.3-3 ”考虑 一 个 包含 ”个 元 素 的 普通 二 叉 最 小 堆 数据 结构 ， 它 支持 INSERT 和 EXTRACT-MIN 
操作 ， 最 坏 情况 时 间 均 为 O(lgz) 。 给 出 一 个 势 函 数 ©, 1878 INSERT 操作 的 摊 还 代价 为 
Ogn), mi EXTRACT-MIN 操作 的 摊 还 代价 为 O(1)， 证 明 它 是 正确 的 。 

17.3-4 执行 2 个 PUSH、POP 和 MULTIPOP 栈 操作 的 总 代价 是 多 少 ? 假定 初始 时 栈 中 包含 s 
个 对 象 ， 结 束 后 包含 s, 个 对 象 。 

17.3-5 ”假定 计数 器 初 值 不 是 0， 而 是 包含 5 个 1 的 二 进 制 数 。 证 明 : Æ n=), WAIT nS 
INCREMENT 操作 的 代价 为 On). (REBRE b EAE.) 

17.3-6 GEA: 如 何 用 两 个 普通 的 栈 实现 一 个 队列 (练习 10. 1-6)， 使 得 每 个 ENQUEUE 和 
DEQUEUE 操作 的 摊 还 代价 为 O(1) 。 

17. 3-7 为 动态 整数 多 重 集 S( 允 许 包含 重复 值 ) 设 计 一 种 数据 结构 ， 支 持 如 下 两 个 操作 : 
INSERT(S, xz) 将 z 插 入 S 中 。 
DELETE-LARGER-HALF(S) 将 最 大 的 [| S| /2 | 个 元 素 从 S 中 删除 。 
解释 如 何 实现 这 种 数据 结构 ， 使 得 任意 mm 个 INSERT #1 DELETE-LARGER-HALF 操作 的 
序列 能 在 OCm) 时 间 内 完成 。 还 要 实现 一 个 能 在 OC| S| ) 时 间 内 输出 所 有 元 素 的 操作 。 


17. 4 ”动态 表 

对 某 些 应 用 程序 ， 我 们 可 能 无 法 预先 知道 它 会 将 多 少 个 对 象 存储 在 表 中 。 我 们 为 一 个 表 分 
配 一 定 的 内 存 空间 ， 随 后 可 能 会 发 现 不 够 用 。 于 是 必须 为 其 重新 分 配 更 大 的 空间 ， 并 将 所 有 对 象 
从 原 表 中 复制 到 新 的 空间 中 。 类 似 地 ， 如 果 从 表 中 删除 了 很 多 对 象 ， 可 能 为 其 重新 分 配 一 个 更 小 
的 内 存 空 间 就 是 值得 的 。 在 本 节 中 ， 我 们 研究 这 种 动态 扩张 和 收缩 表 的 问题 。 我 们 将 使 用 摊 还 分 
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析 证 明 ， 虽 然 插入 和 删除 操作 可 能 会 引起 扩张 或 收缩 ， 从 而 有 较 高 的 实际 代价 ， 但 它们 的 摊 还 代 
价 都 是 O(1) 。 而 且 ， 我 们 将 看 到 如 何 保证 动态 表 中 的 空闲 空间 相对 于 总 空间 的 比例 永远 不 超过 
一 个 常量 分 数 。 

我 们 假定 动态 表 支 持 TABLE-INSERT 和 TABLE-DELETE 操作 。TABLE-INSERT 将 一 个 
数据 项 插入 表 中 ， 它 占用 一 个 槽 (slot) ， 即 保存 一 个 数据 项 的 空间 。 同 样 ，TABLE-DELETE 从 
表 中 删除 一 个 数据 项 ， 从 而 释放 一 个 槽 。 用 什么 样 的 数据 结构 来 组 织 动态 表 并 不 重要 : 我 们 可 以 
使 用 栈 (10.1 节 )、 堆 (第 6 章 ) 或 者 散 列 表 ( 第 11 章 ) 。 我 们 也 可 以 使 用 数组 或 数组 集 来 实现 对 象 
的 存储 ， 如 10. 3 节 中 的 方法 。 

我 们 会 发 现 ， 分 析 散 列 方法 时 (第 11 章 ) 引 入 的 一 个 概念 用 于 本 节 可 以 方便 摊 还 分 析 。 我 们 
将 一 个 非 空 表 工 的 装载 因子 a (了) 定义 为 表 中 存储 的 数据 项 的 数量 除 以 表 的 规模 ( 权 的 数量 )。 我 
们 赋予 空 表 ( 没 有 数据 项 ) 的 规模 为 0， 并 将 其 装载 因子 定义 为 1|。 如 果 一 个 动态 表 的 装载 因子 被 
限定 在 一 个 常量 之 下 ， 则 其 空闲 空间 相对 于 总 空间 的 比例 永远 也 不 会 超过 一 个 常数 。 

我 们 首先 分 析 只 允许 插入 数据 项 的 情况 ， 然 后 考虑 既 人 允许 插入 也 允许 删除 的 一 般 情况 。 


17.4.1 家 扩张 


我 们 假定 表 的 存储 空间 是 一 个 槽 的 数组 。 当 所 有 槽 都 已 被 使 用 时 ， 表 被 填 满 ， 此 时 装载 因子 
为 1 。 在 某 些 软件 环境 中 ， 当 试图 向 一 个 满 的 表 揪 人 一 个 数据 项 时 ， 唯 一 的 选择 是 报错 退出 。 
但 我 们 假定 ， 我 们 的 软件 环境 与 很 多 现代 软件 系统 一 样 ， 提 供 了 一 个 内 存 管 理 系统 ， 可 以 根据 要 
求 分 配 和 释放 内 存 块 。 因 此 ， 当 试图 向 一 个 满 的 表 插 和 人 一 个 数据 项 时 ， 我 们 可 以 扩张 表 一 一 分 配 
一 个 包含 更 多 槽 的 新 表 。 由 于 我 们 总 是 需要 表 位 于 连续 的 内 存 空 间 中 ， 因 此 必须 为 更 大 的 新 表 
分 配 一 个 新 的 数组 ， 然 后 将 数据 项 从 旧 表 复制 到 新 表 中 。 
一 个 常用 的 分 配 新 表 的 启发 式 策略 是 ， 为 新 表 分 配 2 倍 于 旧 表 的 槽 。 如 果 只 人 允许 揪 人 操作， 
那么 装载 因子 总 是 保持 在 1/2 以 上 上， 因此， 浪费 的 空间 永远 不 会 超过 总 空间 的 一 半 。 
在 下 面 的 伪 代 码 中 ， 我 们 假定 工 是 一 个 对 象 ， 对 应 表 。 属 性 T. table 保存 指向 表 的 存储 空间 
的 指针 ，T. num 保存 表 中 的 数据 项 数量 ，T size 保存 表 的 规模 ( 槽 数 )。 初 始 时 令 表 为 空 : 
T. num= T. size=0, 
TABLE-INSERT(T, x) 
if T. size==0 
allocate T. table with 1 slot 
T. size =1 


if T. nun==T. size 


1 
2 
3 
4 
5 allocate newrtable with 2 « T. size slots 
6 insert all items in T. table into neurtable 
7 free T. table 

8 T. table=neurtable 

9 T. size =2 °¢ T. size 

10 insert Z into T. table 

11 = T.num=T. num+1 


注意 ， 此 处 有 两 个 “插入 ”过 程 ，TABLE-INSERT 自身 及 第 6 行 和 第 10 行 的 基本 插入 
(elementary insertion) 过 程 。 我 们 可 以 将 每 次 基本 插入 操作 的 代价 设 定 为 1， 然 后 用 基本 插入 操 
作 的 次 数 来 描述 TABLE-INSERT 的 运行 时 间 。 假 定 TABLE-INSERT 的 实际 运行 时 间 与 插入 数 


O ”在 某 些 情况 下 ， 例 如 在 一 个 开 地 址 的 散 列 表 中 ， 我 们 可 能 将 表 满 定义 为 装载 因子 等 于 某 个 严格 小 于 1 的 常数 ( 参 
见 练习 17. 4-1). 
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据 项 的 时 间 呈 线 性 关系 ， 即 第 2 行 分 配 初始 表 的 开销 为 常量 ， 而 第 5 行 和 第 7 行 分 配 与 释放 内 存 
空间 的 开销 是 由 第 6 行 的 数据 复制 代价 决定 的 。 我 们 称 第 5~9 行 执行 了 一 次 扩张 动作 。 

接 下 来 ， 我 们 分 析 对 一 个 空 表 执行 x 个 TABLE-INSERT 操作 的 代价 。 第 i 个 操作 的 代价 c 
是 怎样 的 呢 ? 如 果 当前 的 表 有 空间 容纳 新 的 数据 项 (或 者 这 是 第 一 个 插入 操作 )， 则 “一 1， 因 为 
只 需 执行 一 次 基本 插入 操作 (第 10 行 )。 但 如 果 当 前 表 满 ， 会 发 生 一 次 扩张 , 则 = 第 10 行 
基本 插入 操作 的 代价 为 1， 再 加 上 第 6 行将 数据 项 从 旧 表 复制 到 新 表 的 代价 ;一 1。 如 果 执 行 个 
操作 ， 一 个 操作 的 最 坏 情况 时 间 为 O(n) ， 从 而 可 得 ”个 操作 总 运行 时 间 的 上 界 OCz)。 

这 不 是 一 个 紧 确 界 ， 因 为 在 执行 nA TABLE-INSERT 操作 的 过 程 中 ， 扩 张 操作 是 很 少 的 。 
具体 地 说 , 仅 当 i 一 1 恰 为 2 的 寡 时 ， 第 ;个 操作 才 会 引起 一 次 扩张 。 一 次 插 和 人 操作 的 摊 还 代价 实 
际 上 是 O01)， 我 们 可 以 用 聚合 分 析 来 证 明 这 一 点 。 第 ;个 操作 的 代价 为 

E 
1 其 他 
因此 ， 个 TABLE-INSERT 操作 的 总 代价 为 


> <nt+ Se <n+2n = 3n 


由 于 包含 至 多 个 代价 为 ] 的 操作 ， 而 其 他 操作 的 代价 形成 一 个 等 比 数列 ， 所 以 我 们 得 到 了 上 述 结 
果 。 由 于 ”个 TABLE-INSERT 操作 的 总 代价 以 3n 为 上 界 ， 因 此 ， 单 一 操作 的 挫 还 代价 至 多 为 3。 
通过 使 用 核算 法 ， 我 们 会 对 为 什么 一 次 TABLE-INSERT 操作 的 摊 还 代价 应 该 为 3 有 一 点 感 
党 。 直 观 上 ， 处 理 每 个 数据 项 要 付出 3 次 基本 插入 操作 的 代价 : 将 它 插入 当前 表 中 ， 当 表 扩 张 时 
移动 它 ， 当 表 扩 张 时 移动 男 一 个 已 经 移动 过 一 次 的 数据 项 。 例 如 ， 假定 表 的 规模 在 一 次 扩张 后 变 
为 m， 则 表 中 保存 了 m/2 个 数据 项 ， 且 它 当 前 没有 储存 任何 信用 。 我 们 为 每 次 插入 操作 付 3 美 
元 。 立 刻 发 生 的 基本 插入 操作 花 去 1 美元 。 我 们 将 另外 1 美元 储存 起 来 作为 插入 数据 项 的 信用 
我 们 将 最 后 1 美元 储存 起 来 作为 已 在 表 中 的 m/2 个 数据 项 中 某 一 个 的 信用 ， 这 样 ， 当 表 中 保存 
了 m 个 数据 项 已 满 时 ， 每 个 数据 项 都 储存 了 1 美元 ， 用 于 支付 扩张 时 基本 插入 操作 的 代价 。 

我 们 也 可 以 用 势能 法 来 分 析 ”个 TABLE-INSERT 操作 的 序列 ， 我 们 还 将 在 17.4.2 节 中 用 
势能 法 设计 一 个 摊 还 代价 为 O(1) 的 TABLE-DELETE 操作 。 我 们 定义 一 个 势 函 数 ©, LED KR 
作 之 后 其 值 为 0， 而 表 满 时 其 值 为 表 的 规 禾 ， 这 样 就 可 以 用 势能 来 支付 下 次 扩张 的 代价 。 势 函数 
定义 为 

CT) = 2° T. mm — T. size (17.5) 
可 以 满足 上 述 要 求 。 当 一 次 扩张 后 ， 我 们 有 T. num=T. size/2, AK @(T)= 二 0。 而 扩张 之 前 ,我 
们 有 T. num=T. size, Al @B( 了 T= 二 T.num。 势 的 初 值 为 0， 且 表 总 是 至 少 半 满 的 ， 即 T. zz 之 
T. size/2， 于 是 8( 了 T) 总 是 非 负 的 。 因 此 ，n 个 TABLE-INSERT 操作 的 摊 还 代价 之 和 给 出 了 实际 
代价 之 和 的 上 界 。 

为 了 分 析 第 i 个 TABLE-INSERT 操作 的 摊 还 代价 ， 我 们 令 num 表示 第 i 个 操作 后 表 中 数据 
项 的 数量 ，size; 表示 第 i 个 操作 后 表 的 总 规模 ，@; 表示 第 i 个 操作 后 的 势 。 初 始 时 ， 我 们 有 
num, =Q, size 二 0 及 p =0. 

如 果 第 i 个 TABLE-INSERT 操作 没有 触发 扩张 ， 那么 有 size; 二 size;_! ， 此 操作 的 摊 还 代价 为 

Ci 一 C; + @; 一 中 -1 
= 1 + (2 e num; — size;) — (2 ° mm — size) 
= ] + (2 « num; — size;) — (2 (num; — 1) — size;) 
= 3 
如 果 第 i 个 TABLE-INSERT 操作 触发 了 一 次 扩张 ， 则 有 size, =2 © size, 及 size; = num; = 
num; 一 1]， 这 意味 着 size; =2 * (num,—1). A, 此 操作 的 摊 还 代价 为 
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Ci 一 c +6; — Oa 
= num; + (2 © num; 一 size;) — (2 * mm; — size ) 
= mum, + (2 © num; — 2 e (num; — 1)) — (2Cmm, — 1) — (num; — 1)) 
= num; + 2— (mum; — 1) 
= 3 
图 17-3 画 出 了 num;, size; 和 ©; 随 i 变化 的 情况 。 注 意 势 是 如 何 累 积 来 文 付 表 扩 张 代 价 的 。 
32 
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图 17-3 执行 个 TABLE-INSERT 操作 过 程 中 ， 表 中 数据 项 数量 num;、 表 规模 size RH O,=2 » 
num, — size; 的 变化 ， 每 个 值 都 是 在 第 i 个 操作 后 测量 。 细 线 显 示 了 num 的 变化 ， 虚 线 显 示 了 
size; 的 变化 ， 粗 线 显示 了 © 的 变化 。 注 意 ， 在 一 次 扩张 前 ， 势 变 为 表 中 数据 项 的 数量 ， 因 此 可 
以 用 来 支付 将 所 有 数据 项 移动 到 新 表 所 和 需 的 代价 。 而 扩张 之 后 ， 势 变 为 0， 但 会 立即 变 为 2 一 一 
引起 扩张 的 那个 数据 项 被 插入 表 中 


17.4.2 表 扩 张 各 收缩 


为 了 实现 TABLE-DELETE 操作 ， 将 指定 数据 项 从 表 中 删除 是 很 简单 的 。 但 为 了 限制 浪费 
的 空间 ， 我 们 可 以 在 装载 因子 变 得 太 小 时 对 表 进 行 收缩 操作 。 表 收缩 与 表 扩 张 是 类 似 的 操作 ， 当 
表 中 的 数据 项 数量 下 降 得 太 少 时 ， 我 们 分 配 一 个 新 的 更 小 的 表 ， 然 后 将 数据 项 从 旧 表 复制 到 新 
表 中 。 之 后 可 以 释放 旧 表 占用 的 内 存 空 间 ， 将 其 归还 内 存 管理 系统 。 理 想 情 况 下 ， 我 们 希望 保持 
两 个 性 质 : 

。 动态 表 的 装载 因子 有 一 个 正 的 常数 的 下 界 。 

。 一 个 表 操 作 的 摊 还 代价 有 一 个 常数 上 界 。 

我 们 假定 用 基本 插入 、 删 除 操作 的 次 数 来 衡量 动态 表 操 作 的 代价 。 

你 可 能 认为 当 插 入 一 个 数据 项 到 满 表 时 应 该 将 表 规 模 加 倍 ， 那 么 当 删 除 一 个 数据 项 导致 表 
空间 利用 率 不 到 一 半 时 就 应 该 将 表 规模 减 半 。 此 策略 可 以 保证 表 的 装载 因子 永远 不 会 低 于 1/2, 
但 遗憾 的 是 ， 这 会 导致 操作 的 挫 还 代价 过 大 。 考 虑 如 下 场景 。 我 们 对 一 个 表 工 执行 n 个 操作 ， 
其 中 恰好 是 2 AR. Bl n/2 个 操作 是 插入 ， 由 之 前 的 分 析 可 知 ， 其 总 代价 为 8(n)。 在 插入 序 
列 结 束 时 ，T. num=T. size 二 n/2。 接 下 来 的 n/2 个 操作 是 这 样 的 : 

fo A. GPR. BR. FRAY 1A, WE. BR. TA. AY, 

第 一 个 插入 操作 导致 表 规模 扩张 至 n。 接 下 来 两 个 删除 操作 导致 表 规 模 收缩 至 n/2。 接 下 来 两 个 
插入 操作 引起 另 一 次 扩张 ， 依 此 类 推 。 每 次 扩张 和 收缩 的 代价 为 @(n)， 而 收缩 和 扩张 的 次 数 为 
O(n). Al, n 个 操作 的 总 代价 为 6(x? ) ， 使 得 每 个 操作 的 摊 还 代价 为 O(n). 
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此 策略 的 缺点 是 很 明显 的 : 在 表 扩 张 之 后 ， 我 们 无 法 删除 足够 多 的 数据 项 来 为 收缩 操作 支 
付费 用 ; 类 似 地 ， 在 表 收 缩 之 后 ， 我 们 无 法 插入 足够 多 的 表 项 来 支付 扩张 操作 。 

我 们 可 以 改进 此 策略 ， 人 允许 表 的 装载 因子 低 于 1/2。 具 体 地 ， 当 向 一 个 满 表 插入 一 个 新 数据 
项 时 ， 我 们 仍然 将 表 规 模 加 倍 ， 但 只 有 当 装 载 因 子 小 于 1/4 而 不 是 1/2 时 ， 我 们 才 将 表 规 模 减 
半 。 因 此 装载 因子 的 下 界 为 1/4。 

可 能 我 们 直觉 上 认为 装载 因子 为 1/2 比较 理想 ， 而 表 的 势 此 时 应 该 为 0。 随 着 装载 因子 偏离 
1/2， 势 应 该 增长 ， 使 得 当 扩 张 或 收缩 表 时 ， 表 已 经 储存 了 足够 的 势 来 支付 复制 所 有 数据 项 至 新 
表 的 代价 。 因 此 ， 我 们 需要 这 样 一 个 势 函 数 ， 当 装载 因子 增长 为 1 或 下 降 为 1/4 时 ， 势 函数 值 增 
长 为 T.num。 而 表 扩 张 或 收缩 之 后 ， 装 载 因子 重新 变 为 /2， 而 表 的 势 降 回 0。 

我 们 略 过 TABLE-DELETE 的 代码 ， 因 为 它 与 TABLE-INSERT 完全 类 似 。 对 于 分 析 ， 我 们 
需要 假定 无 论 何 时 表 中 数据 项 数量 下 降 为 0， 都 会 将 表 占 用 的 内 存 空间 释放 掉 。 也 就 是 说 ， 若 
T. num 二 0， 则 T. size=0, 

现在 我 们 用 势能 法 分 析 ”个 TABLE-INSERT #1 TABLE-DELETE 操作 组 成 的 序列 的 代价 。 
首先 定义 一 个 势 函数 多， 在 扩张 或 收缩 操作 之 后 其 值 为 0， 而 当 装 载 因子 增长 到 1 或 降低 到 1/4 
时 ， 累 积 到 足够 支付 扩张 或 收缩 操作 代价 的 值 。 我 们 将 非 空 表 工 的 装载 因子 定义 为 a(T) = 
T. mm/T. size 。 由 于 对 空 表 T. num=T. size 二 0 且 a(T) 二 1 ， 因 此 ， 无 论 表 是 否 为 空 ， 我 们 总 
EA T. num = a(T)。T. size 。 定 义 势 函数 如 下 : 

2°T.mm—T.size #alT) >1/2 
= 人 size/2—T.mm #alT)<1/2 oe 
观察 到 空 表 的 势 为 0， 且 势 永远 不 可 能 为 负 。 因 此 ， 用 势 函 数 更 定义 的 操作 序列 的 总 摊 还 代价 是 
总 实际 代价 的 上 界 。 

在 进行 精确 分 析 之 前 ， 我 们 先 观察 图 17-4 所 示 的 势 函 数 的 一 些 特性 ， 注意 到 ， 当 装载 因子 
为 1/2 时 ， 势 为 0。 当 装载 因子 为 1 时 ，T., size=T. num, BRE OCT) = T. num ， 因 此 ， 势 足 
够 支付 插 人 操作 引起 的 表 扩 张 的 代价 。 当 装载 因子 为 1/4 时 ， 我 们 有 T. size=4° T. num, XE 
RE OCT) = T. num ， 因 此 ， 势 也 足够 支付 删除 操作 引起 的 表 收 缩 的 代价 。 
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图 17-4 执行 2 个 TABLE-INSERT 和 TABLE-DELETE 操作 的 过 程 中 ， 表 中 数据 项 数量 num; 、 
表 规 模 size: 及 势 的 变化 情况 ， 其 中 势 的 定义 为 
= | e num; 一 size; Fa; > 1/2 
size;/2 — num; #a; < 1/2 
每 个 值 都 是 在 第 ; 个 操作 后 测量 得 到 的 。 细 线 显示 了 num; 的 变化 ， 虚 线 显示 了 size; 的 变化 ， 
粗 线 显 示 了 ©; 的 变化 。 注 意 ， 在 一 次 扩张 前 ， 势 累积 到 表 中 数据 项 的 数量 ， 因 此 可 以 用 来 
支付 扩张 过 程 中 数据 项 移动 的 代价 。 同 样 ， 在 一 次 收缩 前 ， 势 也 累积 到 表 中 数据 项 的 数量 
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为 了 分 析 n^ TABLE-INSERT 和 TABLE-DELETE 操作 的 序列 ， 令 c 表示 第 i 个 操作 的 实 
际 代价 ，6; 为 用 势 函 数 © 定义 的 挫 还 代价 ，num; 表示 表 中 第 i 个 操作 后 存储 的 数据 项 的 数量 ， 
size; 表示 第 ; 个 操作 后 表 的 规模 ，w 表示 第 i 个 操作 后 的 装载 因子 ，@; 表示 第 i 个 操作 后 的 势 。 
初始 时 ，numo 二 0，sizeo =O, aa =l, B=0. 
首先 分 析 第 i 个 操作 为 TABLE-INSERT 的 情况 。 A a-1221/2, 分 析 与 17. 4. 1 节 表 扩张 的 
分 析 相 同 。 无 论 玫 是否 扩张 ， 操 作 的 摊 还 代价 c; 至 多 为 3。 帮 -~:<1/2， 则 第 i 个 操作 并 不 能 令 
表 扩 张 ， 因 为 只 有 当 ai =1NRASI RK. Aa 也 小 于 1/2， 则 第 ;个 操作 的 摊 还 代价 为 
Ci = ci + ®; 一 Bi; 1 
= 1+ (size;/2 —num;) — (size;-,/2 — num) 
= 1+ (size;/2 — num;) — (size;/2 — (num; — 1)) 
— (0 3 
4G amı <1/2 (Ah a1/2, Ml 
Ci = ci + ®; — Pi 
=1+ (2+ num; — size;) — (size_,/2 — num) 
= 1+ (2(num_,, +1) — size.) — (size /2 — num; ) 


I os 
= 3 e num; — —size;, +3 


2 


. s Se 
= 3a size — > size; +3 


2 
< Š sizer = Š size: +3 
= 3 
因此 ， 一 个 TABLE-INSERT 操作 的 摊 还 代价 至 多 为 3。 
我 们 现在 来 分 析 第 i 个 操作 是 TABLE-DELETE 的 情况 。 在 此 情况 下 ，num; 二 numi_1 一 1。 
者 w-:<1/2， 则 必须 考虑 删除 操作 是 否 引 起 表 收 缩 。 如 果 未 引起 表 收 缩 操 作 ， 则 size; = size H. 
操作 的 摊 还 代价 为 
Ci 一 Ci + ®; — Öm 
= 1+ (size;/2 —num;) — (size; /2 — num) 
一 1 十 (szzei/2 — num;) — (size;/2 — (num; +1)) 
= 2 
AT ai- <1/2 且 第 i 个 操作 触发 了 收缩 操作 ， 则 操作 的 实际 代价 为 c; 二 num; 十 1， 因 为 我 们 删除 了 
一 个 数据 项 ， 又 移动 了 num, 个 数据 项 。 我 们 知道 size;/2= sizei_1/4 二 numi-i 二 numi; 十 1， 因 此 操 
作 的 挫 还 代价 为 
Ci = ci 十 四 — 
= (num; +1) 十 (size;/2 — num;) — (size; /2 一 72U112; 1 ) 
= (num; +1) + CCnum; +1) — num;) — (C2 « num; 十 2) — (num; 1)) 
= 1 
当 第 i 个 操作 是 TABLEDELETE H. a;_ 1 之 1/2 时 ， 摊 还 代价 上 界 是 一 个 常数 ， 我 们 将 这 个 分 析 
过 程 留 作 练习 17. 4-2。 
总 之 ， 由 于 每 个 操作 的 摊 还 代价 的 上 界 是 一 个 常数 ， 在 一 个 动态 表 上 执行 任意 ”个 操作 的 实 
际 运行 时 间 是 O(n) 。 


练习 
17.4-1 假定 我 们 希望 实现 一 个 动态 的 开 地 址 散 列表 。 为 什么 我 们 需要 当 装 载 因子 达到 一 个 严格 
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17. 4-2 


17. 4-3 
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小 于 1 的 值 a 时 就 认为 表 满 ? 简要 描述 如 何 为 动态 开 地 址 散 列 表 设 计 一 个 插入 算法 ， 使 
得 每 个 插入 操作 的 摊 还 代价 的 期 望 值 为 O(1) 。 为 什么 每 个 插入 操作 的 实际 代价 的 期 望 
值 不 必 对 所 有 插入 操作 都 是 OO) ? 
证 明 : 如 果 动 态 表 的 amı >1/2 且 第 i 个 操作 是 TABLE-DELETE, 那么 用 势 函 数 
公式 (17. 6) 定 义 的 操作 的 挫 还 代价 的 上 界 是 一 个 常数 。 
假定 我 们 改变 表 收 缩 的 方式 ， 不 是 当 装 载 因子 小 于 1/4 时 将 表 规 模 减 半 ， 而 是 当 装 载 因 
子 小 于 1/3 时 将 表 规 模 变 为 原来 的 2/3。 使 用 势 函 数 

CT) = |2. T. num — T. size | 
HEAR: 使 用 此 策略 ，TABLE-DELETE 操作 的 摊 还 代价 的 上 界 是 一 个 常数 。 


思考 题 


17-1 


17-2 


(位 逆序 的 二 进 制 计 数 器 ) ”第 30 SPAT — HS RA RR SB EHR (Fast Fourier 
Transform，FFT) 的 重要 算法 。FFT 算法 的 第 一 步 是 对 一 个 输入 数组 ALO. .n— 1] 执行 一 
个 称 为 位 逆序 置换 (bit-reversal permutation) WE, BAA n=2', k 是 一 个 非 负 整 
数 。 这 个 置换 操作 将 下 标的 二 进 制 表示 互 为 逆序 的 数组 元 素 进 行 交 换 。 

我 们 将 每 个 下 标 a 表示 为 一 个 k 位 二 进 制 序列 (ar19 Ar-29 *'s Qo?» 其 中 a 一 


2 ai2' 。 我 们 定义 


rev; (lap 9Ap-2 9 °°° 9 Ay >) = (ao 9), 9°°° sai? 


因此 ， 
类 一 1 
rev,(a) 一 S aea 
i=0 


例如 ， 若 n= 二 16( 或 等 价 地 ，&= 二 4)， 则 rev (3) = 12 ， 因 为 3 的 4 位 二 进 制 表示 为 0011， 

其 逆序 为 1100， 是 12 的 4 位 二 进 制 表示 。 

a. 设计 一 个 运行 时 间 为 9(&) 的 函数 rew， 编 写 算法 在 OOk) 时 间 内 对 长 度 为 2 一 2 的 数 
组 执行 位 逆序 置换 。 

我 们 可 以 使 用 一 个 基于 摊 还 分 析 的 算法 来 改进 位 逆序 置换 操作 的 运行 时 间 。 我 们 可 

以 维护 一 个 “位 逆序 计数 器 ”， 并 设计 一 个 过 程 BIT-REVERSED-INCREMENT， 当 给 定 一 

个 位 道 序 计数 器 值 a， 该 过 程 能 得 到 revi (revy, (a) 十 1) 。 例 如 ， 若 二 4， 位 逆序 计数 器 从 

0 开始 ， 则 连续 调用 BIT-REVERSED-INCREMENT 会 得 到 序列 

0000,1000,0100,1100,0010,1010,… = 0,8,4,12,2,10.… 

b. 假定 你 的 计算 机 的 每 个 机 器 字 保 存 & 位 二 进 制 数 ， 而 一 个 机 器 字 中 的 值 进 行 一 次 任意 偏 
移 量 的 左 / 右 移 位 、 位 与 、 位 或 等 操作 只 需 单位 时 间 。 设 计 一 个 BIT-REVERSED- 
INCREMENT 过 程 ， 能 使 一 个 :个 元 素 的 数组 上 的 位 道 序 置换 操作 在 OC) 时 间 内 完成 。 

ce 假定 在 单位 时 间 内 你 只 能 完成 左 / 右 移 一 位 的 操作 。 还 可 能 实现 On) 时 间 的 位 逆序 置 
换 操 作 吗 ? 

(动态 二 分 查找 ) 有 序数 组 上 的 二 分 查找 花费 对 数 时 间 ， 但 揪 和 一 个 新 元 素 的 时 间 与 数组 

规模 呈 线 性 关系 。 我 们 可 以 通过 维护 多 个 有 序数 组 来 提高 插入 性 能 。 

具体 地 ， 假 定 我 们 希望 支持 n 元 集合 上 的 SEARCH il INSERT HE., Sk =[Ig(n +), 
令 n HZ h ER A Cn 9 Ng—29 °°*9 no ? o 我 们 维护 k 个 有 序数 组 Ao ’ Ay 9 °° 5 Ati 9 
Xt i=0, 1, =, k—1, XH A 的 长 度 为 2 。 每 个 数组 或 满 或 空 ， 取 决 于 nn 二 1 还 是 n= 


0。 因 此 ， 所 有 & 个 数组 中 保存 的 元 素 总 数 为 Dm? 一 ?2 。 虽 然 单 独 每 个 数组 都 是 有 序 的 ， 
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但 不 同 数组 中 的 元 素 之 间 不 存在 特定 的 大 小 关系 。 

a. 设计 算法 ， 实 现 这 种 数据 结构 上 的 SEARCH 操作， 分析 其 最 坏 情 况 运 行 时 间 。 

b. 设计 INSERT 算法 。 分 析 最 坏 情 况 运 行 时 间 和 摊 还 时 间 。 

c 讨论 如 何 实现 DELETE. 

( 摊 还 加 权 平 衡 树 ) ”考虑 扩充 普通 二 又 搜索 树 ， 为 每 个 结 点 z 增加 属性 z. size， 此 属性 给 

出 了 根 为 z 的 子 树 中 关键 字 的 数量 。 令 a 是 1/2 二 a 过 1 之 间 的 一 个 常数 。 当 xz. left. size< 

a* x. size H x. right. size 人 ag。 x. size 时 ， 我 们 称 结 点 工 是 ac 平衡 的 。 如 果树 中 每 个 结 点 都 

是 a 平衡 的 ， 则 称 树 整 体 是 o 平衡 的 。G. Varghese 提出 了 如 下 摊 还 方法 来 维护 加 权 平 

衡 树 。 

a. 在 某 种 意义 上 ， 一 棵 1/2 平 衡 树 达到 了 极限 的 平衡 。 给 定 任意 一 棵 二 又 搜索 树 中 的 一 个 
结 点 z， 证明 如 何 重建 以 z 为 根 的 子 树 ， 使 得 它 变 为 1/2 平衡 的 。 你 的 算法 的 运行 时 
间 应 该 为 Olr. size) ， 可 以 使 用 Olz. size) 的 辅助 空间 。 

b. 证 明 : 在 一 棵 个 结 点 的 a 平衡 二 又 搜索 树 中 执行 一 次 搜索 操作 的 最 坏 情 况 时 间 为 
O(lgn) 。 

对 于 本 问题 的 剩余 部 分 ,假定 常数 a 严格 大 于 1/2。 假定 你 实现 的 INSERT 和 
DELETE 算法 与 普通 nn 结 点 二 又 搜索 树 的 算法 是 一 样 的 ， 差 别 仅 在 于 ， 如 果 发 现 树 中 任何 
结 点 不 再 是 a 平衡 的 ， 则 在 最 高 的 不 平衡 结 点 ， 对 以 它 为 根 的 子 树 执行 “重建 ”， 使 其 变 为 
1/2 平衡 的 。 

我 们 用 势能 法 分 析 此 重建 方法 。 对 于 二 又 搜索 树 本 中 的 一 个 结 点 x， 定 义 

A(x) = |z. left. size — x. right. size | 

EX T A RBA 

T) =c >) Az) 


rE T: A(x) 22 


其 中 c 是 一 个 足够 大 的 常数 ， 它 依赖 于 a. 

c HER: 任意 二 又 搜索 树 的 势 都 是 非 负 的 ，1/2 平衡 树 的 势 为 0。 

d. 假定 m 个 单位 的 势 够 支付 重建 m 结 点 子 树 的 代价 。 相 对 于 a 来 说 ，c 应 该 多 大 才能 使 得 
重建 一 棵 非 a 平衡 的 子 树 的 挫 还 时 间 为 O(1) 。 

e 证 明 : 在 一 棵 nn 结 点 的 a 平衡 树 中 插入 一 个 结 点 或 删除 一 个 结 点 的 挫 还 时 间 为 Ol(lgn) 。 

( 重 构 红 黑 树 的 代价 )” 红 黑 树 有 4 种 基本 的 结构 性 修改 (structural modification) 操 作 : 结 

点 插入 、 结 点 删除 、 旋 转 及 更 改 颜色 。 我 们 已 经 看 到 RB-INSERT 和 RB-DELETE 操作 仅 

使 用 OC) 次 旋转 、 结 点 插入 和 结 点 删除 操作 来 维持 红 黑 树 的 性 质 ， 但 它们 可 能 需要 很 多 

次 更 改 颜色 操作 。 

a 设计 一 个 nn 结 点 的 合法 的 红 黑 树 ， 使 得 调用 RB-INSERT 添加 第 ”十 1 个 结 点 会 引起 
Agn 次 颜色 更 改 。 然 后 设计 一 个 n 结 点 的 合法 的 红 黑 树 ， 使 得 调用 RB-DELETE H 
除 一 个 特定 结 点 会 引起 Agn) 次 颜色 更 改 。 

虽然 每 个 操作 所 引起 的 颜色 更 改 的 最 坏 情 况 次 数 可 能 是 对 数 的 ， 但 我 们 可 以 证 

明 ， 在 一 个 空 红 黑 树 上 执行 任意 m^ RB-INSERT 和 RB-DELETE 操作 构成 的 序列 ， 

最 坏 情 况 也 只 会 引起 Om) 次 结构 性 修改 。 注 意 ， 我 们 将 每 次 颜色 更 改 都 计 为 一 次 结 

构 性 修改 。 

b. RB-INSERT-FIXUP 和 RB-DELETE-FIXUP 的 代码 的 主 循环 都 处 理 一 些 终结 性 的 情况 : 
一 旦 遇 到 这 些 情 况 ， 会 导致 循环 在 常数 次 操作 后 终止 。 对 于 RB-INSERT-FIXUP 和 RB- 
DELETE-FIXUP 中 人 处理 的 各 种 情况 ， 指 出 其 中 哪些 是 终结 性 的 ， 哪 些 不 是 。( 提 示 : 
参见 图 13-5、 图 13-6 和 图 13-7.) 
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我 们 首先 分 析 仅 仅 执 行 插入 操作 时 引起 的 结构 性 修改 。 令 工 为 一 棵 红 黑 树 ， 定 义 

BC 了) 是 全 中 红 结 点 数量 。 假 定 一 个 单位 的 势 可 以 支付 RB-INSERT-FIXUP 的 三 种 情况 的 

任意 一 种 所 引起 的 结构 性 修改 的 代价 。 

c. 令 工 表示 对 本 应 用 RB-INSERT-FIXUP 的 情况 1 得 到 的 结果 。 证 明 : T = OCD —1. 

d. {tH RB-INSERT 向 一 棵 红 黑 树 中 插入 一 个 结 点 时 ， 我 们 可 以 将 操作 分 解 为 三 部 分 。 
列 出 RB-INSERT 的 第 1 一 16 行 引起 的 结构 性 改变 和 势 的 变化 ， 以 及 RB-INSERT- 
FIXUP 的 非 终结 性 情况 引起 的 变化 和 终结 性 情况 引起 的 变化 。 

e 使 用 (d) 证 明 : 任意 一 次 RB-INSERT 执行 所 导致 的 结构 性 修改 的 摊 还 次 数 为 O(1) 。 

我 们 现在 希望 证 明 既 执行 插入 也 执行 删除 时 ， 所 引起 的 结构 性 修改 次 数 为 Omn) Xt 

每 个 结 点 zx， 我 们 定义 


0 若 工 是 红 结 点 
ioe 1 若是 黑 结 点 且 没 有 红 和 孩子 
0 若是 黑 结 点 且 有 一 个 红 孩 子 
2 车工 是 黑 结 点 且 有 两 个 红 和 孩子 
现在 定义 红 黑 树 T HARRA 
T) = Ds) 


HS T 为 对 工 应 用 RB-INSERT-EFIXUP 或 RB DELETE FIXUP 的 任意 非 终结 性 情况 后 的 

结果 。 

f. 证 明 : 对 RB-INSERT-FIXUP 的 任意 非 终结 性 情况 ， 有 OCT) <O(TD—1. 证明 RB- 

INSERT-FIXUP 的 任意 一 次 调用 所 引起 的 结构 性 修改 的 摊 还 次 数 为 O(1) 。 

证 明 : 对 RB-DELETE-FIXUP 的 任意 非 终 结 性 情况 ， 有 BC(T') 之 8B(T) 一 1 iE: 

RB-DELETE-FIXUP 的 任意 一 次 调用 所 引起 的 结构 性 修改 的 摊 还 次 数 为 O(1) 。 

h. WH: 任意 mm 个 RB-INSERT 和 RB-DELETE 操作 构成 的 序列 最 坏 情 况 下 执行 Om) 次 
结构 性 修改 。 

( 移 至 前 端 自 组 织 列表 的 竞争 分 析 )” 自 组 织 列表 是 ”个 元 素 的 链表 ， 每 个 元 素 有 一 个 唯一 

的 关键 字 。 当 我 们 在 列表 中 搜索 元 素 时 ， 需 要 给 定 一 个 关键 字 ， 我 们 搜索 的 是 具有 这 个 关 

键 字 的 元 素 。 
一 个 自 组 织 列表 有 两 个 重要 性 质 . 

1. 为 了 在 列表 中 查找 一 个 元 素 ， 我 们 必须 从 表 头 开始 遍历 列表 ， 直 至 遇 到 具有 给 定 关键 
字 的 元 素 位 置 。 如 果 此 元 素 是 列表 的 第 & 个 元 素 ， 则 查找 代价 为 k. 

2. 我 们 可 以 在 任意 一 个 操作 后 根据 给 定 规则 重 排列 表 元 素 ， 产 生 一 定 的 代价 。 我 们 可 以 
使 用 任何 我 们 吝 欢 的 启发 式 策略 来 决定 如 何 重 排列 表 。 

假定 从 一 个 给 定 的 个 元 素 的 列表 开始 ， 并 且 给 定 了 一 个 访问 序列 一 一 关键 字 搜 索 序 
列 co 一 (om ，o，…，om)。 序 列 的 代价 是 序列 中 单个 访问 的 代价 之 和 。 

在 多 种 可 能 的 列表 重 排 方 法 中 ， 本 i 
表 中 的 位 置 ， 一 次 转 置 的 代价 为 单位 时 间 。 你 可 以 用 势 函数 证 明 : 针对 移 至 前 端 列 表 的 重 
排 问 题 ， 一 种 特定 的 启发 式 策略 的 代价 最 坏 情 况 也 不 会 超过 任何 其 他 启发 式 策略 的 代价 的 
4 倍 ， 即 使 其 他 启发 式 策略 预先 知道 访问 序列 ! 我 们 称 这 种 分 析 为 竞争 分 析 。 

对 于 一 个 启发 式 策略 H 和 列表 的 一 个 给 定 的 初始 顺序 ， 我 们 将 序列 o 的 访问 代价 记 为 
Culo). S m 表示 oc 中 访问 的 数量 。 | 
a. 证 明 : 若 启发 式 策 略 H 预先 不 知道 访问 序列 ， 那 么 利用 HRA APS o 的 最 坏 情 

GARR A Culo) = Alm) 。 


ga 
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当 使 用 移 至 前 端 启 发 式 策略 时 ， 搜 索 到 元 素 二 后 ， 我 们 将 z 移动 到 列表 的 第 一 个 位 置 
〈 即 列表 的 前 端 ) 。 
$ rank, (xz) 表示 元 素 z 在 列表 上 中 的 序号 ， 即 z 在 工 中 的 位 置 。 例 如 ， 和 重工 是 工 中 
第 4 个 元 素 ， 那 么 rank, (z) 一 4 。 令 ci 表示 用 移 至 前 端 策略 处 理 访问 c; 的 代价 ， 包 括 在 
列表 中 查找 元 素 的 代价 和 通过 一 系列 相 邻 元 素 转 置 操作 将 其 移 至 列表 前 端的 代价 。 
b. 证 明 : 如 果 o 使 用 移 至 前 端 策略 在 工 中 访问 元 素 z， 则 ci = 2° rank,(z)—1, 
现在 我 们 比较 移 至 前 端 策略 与 其 他 任何 按照 上 述 两 个 性 质 处 理 访问 序列 的 启发 式 策略 
H。 策 略 H 可 能 按 任何 它 想 用 的 方式 转 置 列表 中 的 元 素 ， 它 甚至 可 能 预先 知道 整个 访问 
序列 。 
S Li 表示 使 用 移 至 前 端 策 略 处 理 访问 oa; 后 得 到 的 列表 ，Li 表示 使 用 策略 H 后 得 到 
的 列表 。 我 们 用 c; 表示 移动 前 端 策略 的 代价 ，c ”表示 策略 HKR. BERR H 在 处 理 
访问 c 时 执行 zi 次 转 置 。 
c 在 (b) 中 ， 你 证 明了 c = 2 e. rank, (2)—1. 。 现 在 证 明 : cr = ranks, (x) +2; 。 
我 们 定义 逆序 (inversion) 关 系 : Li 中 一 对 元 素 y Mz, HEL, Py Ez ZA, FEL, Pz 
在 y 之 前 。 假 定 处 理 完 访 问 序列 (om ，o, ，…，o;)，L; 中 有 gq; 个 道 序 关 系 。 然 后 ， 我 们 定 
义 一 个 势 函 数 ©, HEL, 映射 到 实数 OCL) = 2g; 。 例 如 ， 如 果 L; ATRE, c a, d, b), 
mL," 有 元 素 (c，a，6，d，e);， 那 么 上 L; 有 5 个 道 序 ((e,c)，,(e,a),(e,d),(e,b),(d,b))， 
因此 B(L;) = 10 。 观 察 到 对 所 有 i， 都 有 OL) 宇 0 ， 并 且 如 果 移 至 前 端 策略 和 策略 H 从 
相同 的 列表 Lo Fin, APL) = 二 0。 
d. 证 明 : 转 置 操 作 要 么 将 势 增 加 2， 要 么 减少 2。 
假定 访问 o 查找 元 素 z。 为 了 理解 势 是 如 何 根据 o 来 变化 的 ， 我 们 将 除 r 之 外 的 元 素 
划分 为 4 个 集合 ， 划 分 的 依据 是 在 第 i 次 访问 之 前 它们 在 列表 中 的 位 置 : 
。 集合 A 包含 在 L;_!1 和 工 ! 中 都 位 于 之 之 前 的 元 素 。 
。 集合 B 包 含 在 L;_; 中 位 于 xz 之 前 的 元 素 ， 在 工 二 :中 位 于 二 之 后 的 元 素 。 
。 集合 C 包 含 在 工 -: 中 位 于 z 之 后 的 元 素 ， 在 工 二 :中 位 于 工 之 前 的 元 素 。 
。 SF DASEL-. A L PMF r ZEKIK. 
e. WEAR: rank; (x) = |A| +IBI +1 H rank; (x) = |A|+]C] +1. 
f. WEAR: 处 理 访 问 o 会 引起 势 的 变化 
DL) — O(L;,) < 2(|A| — |B] +27) 
其 中 , ¢7 表示 用 局 发 式 策略 HED o: 期 间 执 行 的 转 置 操作 次 数 。 
我 们 定义 处 理 访问 o; 的 挫 还 代价 为 c; = c + OCL;) 一 OCL;1). 
g. 证 明 : 处 理 访 问 oi; 的 摊 还 代价 的 上 界 为 4c 。 
h. WEAR: 使 用 移 至 前 端 策略 处 理 访问 序列 o 的 代价 Cur (c) 至 多 是 用 其 他 任何 启发 式 策略 
H 处 理 cc 的 代价 Cu Co) 的 4 倍 ， 假定 两 种 启发 式 策略 都 是 从 相同 的 列表 开始 处 理 访 
问 序列 。 


本 章 注 记 
Aho, Hopcroft 和 Ullman [5 使 用 聚合 分 析 方 法 来 确定 不 相交 集合 森林 上 的 操作 的 运行 时 
间 ; 我 们 将 在 第 21 章 用 势能 法 来 分 析 这 种 数据 结构 。Tarjan [331j 考 察 了 摊 还 分 析 的 核算 法 和 势 


能 法 ， 并 提出 了 多 个 应 用 。 他 将 核算 法 的 提出 归功 于 多 位 作者 ， 包 括 M. R. Brown, 
R. E. Tarjan, S. Huddleston 和 K. Mehlhorn， 将 势能 法 归功 于 D. D. Sleator， 而 “ 摊 还 ”一 词 则 归 


274 。 第 四 部 分 高 级 设计 和 分 析 技 术 


IHF D. D. Sleator 和 R. E. Tarjan, 

势 函 数 对 证 明 某 些 特定 类 型 的 问题 的 下 界 也 很 和 有用。 对 问题 的 每 个 局 面 ， 我 们 定义 一 个 势 
盟 数 将 局 面 映 射 到 一 个 实数 。 接 着 确定 初始 局 面 的 势 Bs， 结束 局 面 的 势 Bsww 及 任何 步骤 引起 的 
最 大 势 变化 AB， 则 步骤 数 至 少 为 | Din ~ Dni | /| Pax | 。 这 方面 的 例子 包括 用 势能 法 证 明 I/O 
复杂 性 的 下 界 ， 出 现在 Cormen, Sundquist 和 Wisniewski179 | 的 工作 中 、Floyd [107j] 的 工作 中 及 
Aggarwal 和 Vitter [3j 的 工作 中 。Krumme、Cybenko 和 Venkataraman [221 | 将 势能 法 用 于 证 明 
流言 问题 的 下 界 , 在 一 个 图 中 从 每 个 顶点 传输 一 个 独一无二 的 数据 项 到 所 有 其 他 顶点 。 

思考 题 17-5 提 及 的 移 至 前 端 司 发 式 策略 在 实际 应 用 中 效果 非常 好 。 而 且 ， 当 我 们 查找 到 一 
个 元 素 时 ， 我 们 可 以 在 常量 时 间 内 将 它 从 列表 中 原来 位 置 抽 离 并 放置 在 列表 前 端 ， 我 们 可 以 证 
明 移 至 前 端 策略 的 代价 至 多 是 其 他 任何 局 发 式 策略 的 代价 的 2 倍 ， 再 次 重申 ， 即 使 其 他 策略 预先 

(478) ”知道 完整 的 访问 序列 也 是 如 此 。 
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这 部 分 再 回 过 来 讨论 支持 动态 数据 集 上 操作 的 数据 结构 ， 但 是 在 比 第 
三 部 分 更 高 的 层次 上 进行 。 例 如 ， 其 中 有 两 章 要 广泛 地 使 用 在 第 17 Bh 
介绍 的 摊 还 分 析 技 术 。 

第 18 章 介 绍 B 树 ， 这 是 为 磁盘 存储 而 专门 设计 的 一 类 平衡 搜索 树 。 由 
于 磁盘 操作 比 随 机 存 取 存储 器 要 慢 得 多 ， 因 此 度量 B 树 的 性 能 ， 不 仅 要 考 
虑 动态 集合 操作 消耗 了 多 少 计 算 时 间 ， 而 且 还 要 考虑 这 些 操作 执行 了 多 少 
次 磁盘 存 取 。 对 每 个 B 树 操作 ， 磁 盘存 取 的 次 数 随 着 B 树 的 高 度 增加 。 

第 19 章 给 出 一 种 可 合并 堆 的 实现 ， 它 支持 INSERT. MINIMUM, 
EXTRACT-MIN 和 UNION 操作 3 。UNION 操作 合并 两 个 堆 。 第 19 章 中 
介绍 的 数据 结构 一 一 斐 波 那 契 堆 还 支持 DELETE 和 DECREASE-KEY 操 
作 。 我 们 使 用 摊 还 时 间 界 来 度量 斐 波 那 契 堆 的 性 能 。 在 斐 波 那 契 堆 上 ， 
INSERT, MINIMUM 和 UNION 操作 仅 花 费 O(1) 的 实际 时 间 和 摊 还 时 
闻 ，EXTRACT-MIN 和 UNION 操作 要 花费 O(lgn) 的 挫 还 时 间 。 然 而 ， 
斐 疲 那 契 堆 的 最 显著 优点 是 DECREASE-KEY 操作 只 需 花 费 0(1) 的 摊 还 
时 间 。 正 是 由 于 该 操作 只 需 常 数 挫 还 时 间 ， 才 使 得 斐 波 那 契 堆 成 为 某 些 迄 
今 为 止 渐 近 最 快 的 图 问题 算法 的 核心 部 分 。 

注意 到 ， 当 关键 字 是 有 限 范围 内 的 整数 时 ， 排 序 算法 可 以 超越 O(n ign) 时 
HAJRA. S 20 章 提 出 了 这 样 一 个 问题 : 当 关 键 字 同 为 有 限 范 围 内 的 整数 时 ， 
是 否 可 以 设计 一 种 数据 结构 , 使 其 支持 动态 集 上 的 SEARCH, INSERT, 
DELETE、MINIMUM、MAXIMUN、SUCCESSOR 和 PREDECESSOR 
操作 仅 花 费 O(lgn) 时 间 。 答 案 告诉 我 们 可 以 做 到 ， 那 就 是 通过 使 用 一 种 
称 为 van Emde Boas 树 的 递归 数据 结构 。 如 果 关 键 字 是 唯一 整数 量 来 自 集 
合 {0，1，2，…，u 一 1|， 这 里 刀 怡 是 2 的 察 ， 那 么 van Emde Boas 树 就 能 





日 、 如 恩 考 题 10-2 中 一 样 ， 我 们 已 经 定义 了 支持 MINIMUM 和 EXTRACT-MIN 的 可 合并 堆 ， 因 此 可 以 把 它 称 为 可 


合并 的 最 小 堆 。 或 者 ， 如 果 它 支持 MAXIMUM 和 EXTRACT-MAX， 则 它 是 一 个 可 合并 的 最 大 堆 。 除 非 我 们 另 
外 指定 ， 可 合并 的 堆 默 认 就 是 可 合并 的 最 小 堆 。 
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在 O(lglgu) 的 时 间 内 完成 上 述 的 每 个 操作 。 

最 后 ， 第 21 章 介绍 用 于 不 相交 集合 的 一 些 数 据 结构 。 由 7 个 元 素 构 成 的 全 域 被 划分 成 若干 
动态 集合 。 开 始 时 ， 每 个 元 素 属 于 由 其 自身 所 构成 的 单元 集合 。 操 作 UNION 将 两 个 集合 进行 合 
并 ， 而 查询 操作 FIND-SET 则 可 以 确定 给 定 的 元 素 当 前 所 属 的 那个 集合 。 通 过 将 每 个 集合 表示 
为 一 棵 简单 有 根 树 的 方法 ， 就 可 以 得 到 一 些 惊 人 的 快速 的 操作 : 一 个 由 mm 个 操作 构成 的 序列 ， 
其 运行 时 间 为 O(ma(n)) ， 这 里 a(n) 是 一 个 增长 得 极 慢 的 图 数 一 一 在 任何 可 想象 的 应 用 中 eln) 
至 多 为 4。 证 明 这 个 时 间 界 的 挫 还 分 析 是 比较 复杂 的 ， 而 其 数据 结构 却 是 简单 的 。 

这 一 部 分 包含 的 主题 不 是 仅仅 上 面 提 到 的 这 几 种 “高 级 ”数据 结构 ， 还 包含 如 下 一 些 其 他 高 
级 数据 结构 : 


动态 树 ， 由 Sleator 和 Tarjan[L319] 引 入 ， 并 由 Tarjan[330] 所 论述 ， 它 维护 一 个 不 相交 的 
有 根 树 的 森林 。 每 棵 树 内 的 每 条 边 都 有 一 个 实数 值 的 代价 。 动 态 树 支 持 查询 双亲 、 根 、 
边 的 代价 ， 以 及 从 一 个 结 点 到 根 的 路 径 上 的 最 小 边 代价 的 查询 。 这 种 树 人 允许 的 操作 有 : 
割 边 ， 更 新 从 一 个 结 点 到 根 的 路 径 上 所 有 边 的 代价 ， 将 一 个 根 链接 到 另 一 棵 树 ， 以 及 将 
某 个 结 点 变 为 其 所 在 树 的 根 。 在 动态 树 的 一 种 实现 中 ， 对 每 种 操作 具有 O(lgz) 的 摊 还 时 
HA; 在 另 一 种 更 复杂 的 实现 中 ， 最 坏 情 况 时 间 界 为 O(lgn) 。 动 态 树 被 用 于 一 些 渐 近 最 
快 的 网 络 流 算法 中 。 

伸展 树 (splay trees), H Sleator 和 Tarjan[ 320 ] 发 展 而 来 ， 并 再 由 Tarjan[ 330 |] 所 论述 ， 
是 二 又 搜索 树 的 一 种 形式 。 在 其 上 进行 的 标准 搜索 树 操 作 的 摊 还 时 间 为 O(lgn) -o ERR 
的 应 用 之 一 是 简化 动态 树 。 

持久 数据 结构 允许 在 过 去 版 本 的 数据 结构 上 进行 查询 ， 甚 至 有 时 候 可 以 进行 更 新 。 
Driscoll, Sarnak, Sleator 和 Tarjan[ 97] 给 出 了 只 需 很 小 的 时 空 代 价 就 可 以 使 链 式 数据 结 
构 持久 化 的 技术 。 思 考题 13-1 给 出 一 个 持久 动态 集 的 简单 示例 。 

正如 在 第 20 章 中 介绍 的 ， 一些 数据 结构 人 允许 在 关键 字 的 一 个 带 限制 全 域 上 实现 一 个 更 快 的 字 
典 操 作 (INSERT、DELETE 和 SEARCH)。 利 用 这 些 限制 的 优点 ， 它 们 能 够 得 到 比 基 于 比较 
的 数据 结构 更 好 的 最 坏 情 况 渐 近 运 行 时 间 。Fredman 和 Willard [115]5| A T R & (fusion 
trees) ， 它 是 当 限 制 全 域 为 整数 时 ， 第 一 种 允许 更 快 的 字典 操作 的 数据 结构 。 他 们 说 明了 如 何 
在 O(lgn/lglgn) 时 间 内 实现 这 些 操作 。 几 个 后 来 的 数据 结构 ， 包 括 指数 搜索 树 [16]， 也 给 出 
某 些 或 全 部 字典 操作 的 改进 的 异 ， 本 书 的 章节 注 记 中 会 提 到 它们 。 

动态 图 数据 结构 在 允许 通过 插入 或 删除 顶点 或 边 的 操作 来 改变 图 结构 的 同时 ， 还 支持 各 种 
查询 。 支 持 查 询 的 例子 包括 顶点 连通 性 [166]、 边 连通 性 、 最 小 生成 树 [165]、 双 连通 性 ， 
以 及 传递 闭 包 [164]。 


本 书 的 章节 注 记 中 还 会 提 到 另外 一 些 数 据 结构 。 
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B 树 


B 树 是 为 磁盘 或 其 他 直接 存 取 的 辅助 存储 设备 而 设计 的 一 种 平衡 搜索 树 。B 树 类 似 于 红 黑 树 
(第 13 章 )， 但 它们 在 降低 磁盘 1/0 操作 数 方面 要 更 好 一 些 。 许 多 数据 库 系统 使 用 也 树 或 者 B 树 
的 变种 来 存储 信息 。 

B 树 与 红 黑 树 的 不 同 之 处 在 于 B 树 的 结 点 可 以 有 很 多 孩子 ， 从 数 个 到 数 千 个 。 也 就 是 说 ， 一 
个 B 树 的 “分 支 因 子 ” 可 以 相当 大 ， 尽 管 它 通 常 依赖 于 所 使 用 的 磁盘 单元 的 特性 。B 树 类 似 于 红 黑 
树 ， 就 是 每 棵 含有 7 个 结 点 的 B 树 的 高 度 为 O(lgz) 。 然 而 ， 一 棵 了 B 树 的 严格 高 度 可 能 比 一 棵 红 
黑 树 的 高 度 要 小 许多 ， 这 是 因为 它 的 分 支 因 子 ， 也 就 是 表示 高 度 的 对 数 的 底数 可 以 非常 大 。 因 
此 ， 我 们 也 可 以 使 用 BWER Oden) 内 完成 一 些 动 态 集合 的 操作 。 

B 树 以 一 种 自然 的 方式 推广 了 二 又 搜 索 树 。 图 18-1 给 出 了 一 棵 简单 的 B 树 。 如 果 B 树 的 一 
个 内 部 结 点 工 包 含 z.2 个 关键 字 ， 那 么 结 点 工 就 有 z.? 十 1 个 孩子 。 结 点 zx 中 的 关键 字 就 是 分 隔 
点 ， 它 把 结 点 z 中 所 处 理 的 关键 字 的 属性 分 隔 为 z. nn 十 1 个 子 域 ， 每 个 子 域 都 由 xz 的 一 个 孩子 处 
理 。 当 在 一 棵 B 树 中 查找 一 个 关键 字 时 ， 基 于 对 存储 在 xz 中 的 xz.n 个 关键 字 的 比较 ， 做 出 一 个 
(Zz. n 十 1) 路 的 选择 。 叶 结 点 的 结构 与 内 部 结 点 的 结构 不 同 ，18. 1 节 将 讨论 这 些 差别 。 


Troot 








图 18-1 RS A a E 
子 ， 所 有 叶 结 点 处 于 树 中 相同 的 深度 。 浅 阴影 的 结 点 是 在 查找 字母 RR 时 检查 过 的 结 点 

18.1 节 给 出 B 树 的 精确 定义 ， 并 证 明了 B 树 的 高 度 仅 随 它 所 包含 的 结 点 数 按 对 数 增长 。 
18. 2 节 介 绍 如 何在 B 树 中 查找 和 插入 一 个 关 主轴 l i 
键 字 ，18. 3 节 讨 论 删 除 操作 。 然 而 ， 在 开始 FU a R a o a i 
前 ， 需 要 和 弄 清楚 为 什么 针对 磁盘 设计 的 数 
据 结 构 不 同 于 针对 随机 访问 的 主 存 所 设计 的 
数据 结构 。 

辅 存 上 的 数据 结构 

计算 机 系统 利用 各 种 技术 来 提供 存储 能 
力 。 一 个 计算 机 系统 的 主 存 (primary memory 
或 main memory) 通 常 由 硅 存 储 芯 片 组 成 。 这 种 
技术 每 位 的 存储 代价 一 般 要 比 磁 存储 技术 
(如 磁带 或 磁盘 ) 高 不 止 一 个 数量 级 。 许 多 计 “图 18-2 一 个 典型 的 磁盘 驱动 器 。 它 包括 了 一 个 或 


外 机 系统 还 有 基于 磁盘 的 辅 存 (secondary AHALE AANRL A 





storage); 这 种 辅 存 的 容量 通常 要 比 主 存 的 写 。 这 些 磁 臂 围绕 着 一 个 共同 的 旋转 轴 旋 
容量 高 出 至 少 两 个 数量 级 。 转 。 当 读 / 写 磁头 静止 时 ， 由 它 下 方 经 过 的 


图 18-2 是 一 个 典型 的 磁盘 驱动 器 。 驱 动 磁盘 表面 就 是 一 个 磁道 
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器 由 一 个 或 多 个 盘 片 (platter) 组 成 ， 它 们 以 一 个 固定 的 速度 绕 着 一 个 共同 的 主轴 (spindle) 旋 转 。 
每 个 盘 的 表面 覆盖 着 一 层 可 磁化 的 物质 。 驱 动 顺 通过 磁 臂 (arm) 末 尾 的 磁头 (head) 来 读 / 写 盘 片 。 
磁 臂 可 以 将 磁头 向 主轴 移 近 或 移 远 。 当 一 个 给 定 的 磁头 处 于 静止 时 ， 它 下 面 经 过 的 磁盘 表面 称 
为 一 个 磁道 (track) 。 多 个 盘 片 增加 的 仅仅 是 磁盘 驱动 郁 的 容量 ， 而 不 影响 性 能 。 

尽管 磁盘 比 主 存 便宜 并 且 具 有 更 多 的 容量 ， 但 是 它们 比 主 存 慢 很 多 ， 因 为 它们 有 机 械 运 动 
的 部 分 ” 。 磁 盘 有 两 个 机 械 运 动 的 部 分 : 盘 片 旋转 和 磁 臂 移动 。 在 撰写 本 书 时 ， 商 用 磁盘 的 旋转 
速度 是 5 400~15 000 转 / 分 钟 (RPM)。 通 常 看 到 的 15 000RPM 的 速度 是 用 于 服务 器 级 的 驱动 器 
上 ，7 200RPM 的 速度 用 于 台式 机 的 驱动 器 上 ，5 400RPM 的 速度 用 于 笔记 本 的 驱动 器 上 。 尽 管 
7 200RPM 看 上 去 很 快 ， 但 是 旋转 一 圈 需 要 8. 33ms， 比 硅 存 储 的 常见 存 取 时 间 50ns 要 高 出 5 个 
数量 级 。 也 就 是 说 ， 如 果 不 得 不 等 待 一 个 磁盘 旋转 完整 的 一 圈 ， 让 一 个 特定 的 项 到 达 读 / 写 磁 头 
下 方 ， 在 这 个 时 间 内 ， 我 们 可 能 存 取 主 存 超过 100 000 次 。 平 均 来 讲 ， 只 需 等 待 半 图， 但 硅 存 储 
存 取 时 间 和 磁盘 存储 存 取 时 间 的 差距 仍然 是 巨大 的 。 移 动 磁 辟 也 要 耗费 时 间 。 在 撰写 本 书 时 ， 商 
用 磁盘 的 平均 存 取 时 间 在 8 一 1lms 范围 内 。 

为 了 挫 还 机 械 移动 所 花费 的 等 竺 时间， 磁盘 会 一 次 存 取 多 个 数据 项 而 不 是 一 个 。 信 息 被 分 
为 一 系列 相等 大 小 的 在 柱 面 内 连续 出 现 的 位 页 面 (page)， 并 且 每 个 磁盘 读 或 写 一 个 或 多 个 完整 的 
页 面 。 对 于 一 个 典型 的 磁盘 来 说 ， 一 页 的 长 度 可 能 为 2” ~2“ 字 节 。 一旦 读 / 写 磁头 正确 定位 ， 并 
且 盘 片 已 经 旋转 到 所 要 页 面 的 开头 位 置 ， 对 磁盘 的 读 或 写 就 完全 电子 化 了 (除了 磁盘 的 旋转 外 )， 
磁盘 能 够 快速 地 读 或 写 大 量 的 数据 。 

通常 ， 定 位 到 一 页 信息 并 将 其 从 磁盘 里 读 出 的 时 间 要 比 对 读 出 信息 进行 检查 的 时 间 要 长 得 
多 。 因 此 ， 本 章 将 对 运行 时 间 的 两 个 主要 组 成 成 分 分 别 加 以 考虑 : 

。 磁盘 存 取 次 数 。 

。 CPU( 计 算 ) 时 间 。 

我 们 使 用 需要 读 出 或 写 入 磁盘 的 信息 的 页 数 来 衡量 磁盘 存 取 次 数 。 注 意 到 ， 磁 盘存 取 时 间 
并 不 是 常量 一 一 它 依赖 于 当前 磁道 和 所 需 磁 道 之 间 的 距离 以 及 磁盘 的 初始 旋转 状态 。 但 是 ， 我 
们 仍然 使 用 读 或 写 的 页 数 作为 磁盘 存 取 总 时 间 的 主要 近似 值 。 

在 一 个 典型 的 BB 树 应 用 中 ， 所 要 处 理 的 数据 量 非常 大 ， 以 至 于 所 有 数据 无 法 一 次 装 入 主 存 。 
B 树 算法 将 所 需 页 面 从 磁盘 复制 到 主 存 ， 然 后 将 修改 过 的 页 面 写 回 磁盘 。 在 任何 时 刻 ，B 树 算法 
都 只 需 在 主 存 中 保持 一 定数 量 的 页 面 。 因 此 ， 主 存 的 大 小 并 不 限制 被 处 理 的 也 树 的 大 小 。 

用 以 下 的 伪 代 码 来 对 磁盘 操作 进行 建 模 。 设 z 为 指向 一 个 对 象 的 指针 。 如 果 该 对 象 正 在 主 
存 中 ， 那 么 可 以 像 平 常 一 样 引用 该 对 象 的 各 个 属性 : 如 x. Rey。 然 而 ， 如 果 工 所 指 回 的 对 象 驻 留 
在 磁盘 上 ， 那 么 在 引用 它 的 属性 之 前 ， 必 须 先 执行 DISK-READCz)， 将 该 对 象 读 人 主 存 中 。( 假 
HUR z 已 经 在 主 存 中 ， 那么 DISK-READ(zx) 不 需要 磁盘 存 取 ， 即 它 是 个 空 操作 。) 类 似 地 ， 操 
作 DISK-WRITE(z) 用 来 保存 对 象 = 的 属性 所 做 的 任何 修改 。 也 就 是 说 ， 一 个 对 象 操作 的 典型 模 
AWF: 

x = a pointer to some object 

DISK-READ(x) 

operations that access and/or modify the attributes of x 


DISK-WRITE(2x) // omitted if no attributes of x were changed 


other operations that access but do not modify attributes of x 


在 任何 时 刻 ， 这 个 系统 可 以 在 主 存 中 只 保持 有 限 的 页 数 。 假 定 系统 不 再 将 被 使 用 的 页 从 主 


O “在 撰写 本 书 时 ， 固 态 硬盘 刚刚 出 现在 消费 市 场 。 尽 管 它们 比 机 械 的 磁盘 驱动 器 快 ， 但 是 它们 每 GB 的 成 本 更 高 ， 


并 且 比 机 械 磁 盘 驱动 器 的 容量 更 小 。 
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存 中 换 出 ; 后 面 的 B 树 算法 会 忽略 这 一 点 。 

由 于 在 大 多 数 系统 中 ， 一 个 B 树 算法 的 运行 时 间 主 要 由 它 所 执行 的 DISK-READ 和 DISK- 
WRITE 操作 的 次 数 决定 ， 所 以 我 们 希望 这 些 操 作 能 够 读 或 写 尽 可 能 多 的 信息 。 因 此 , 一 个 B 树 
结 点 通常 和 一 个 完整 磁盘 页 一 样 大 ， 并 且 磁 盘 页 的 大 小 限制 了 一 个 B 树 结 点 可 以 含有 的 孩子 
个 数 。 

对 存储 在 磁盘 上 的 一 棵 大 的 B 树 ， 通常 看 到 分 支 因 子 在 50 一 2 000 之 间 ， 具 体 取 决 于 一 个 关 
键 字 相对 于 一 页 的 大 小 。 一 个 大 的 分 支 因 子 可 以 大 大 地 降低 树 的 高 度 以 及 查找 任何 一 个 关键 字 
所 需 的 磁盘 存 取 次 数 。 图 18-3 显示 的 是 一 棵 分 支 因子 为 1001、 高 度 为 2 的 BB 树 ， 它 可 以 存储 超 
过 10 亿 个 关键 字 。 不 过 ， 由 于 根 结 点 可 以 持久 地 保存 在 主 存 中 ， 所 以 在 这 棵 树 中 查找 某 个 关键 
字 至 多 只 需 两 次 磁盘 存 取 。 


IMR 
1 000 个 关键 字 


1 001 个 结 点 ， 
1001 000 个 关键 字 





1 002 001 个 结 点 ， 
1 002 001 000 个 关键 字 


图 18-3 ”一 棵 高 度 为 2 H BWES 10 亿 多 个 关键 字 。 显 示 在 每 个 结 点 xz 内 的 是 zx.n， 表 示 z 中 关键 
字 个 数 。 每 个 内 部 结 点 及 叶 结 点 包含 1000 个 关键 字 。 这 棵 B 树 在 深度 1 上 有 1001 个 结 
Mo ERE 2 上 有 超过 100 万 个 叶 结 点 


18.1 B 树 的 定义 na 

为 简单 起 见 ， 我 们 假定 ， 就 像 二 又 搜索 树 和 红 黑 树 中 一 样 ， 任 何 和 关键 字 相 联系 的 “卫星 数 
im (satellite information) 将 与 关键 字 一 样 存放 在 同一 个 结 点 中 。 实 际 上 ， 人 们 可 能 只 是 为 每 个 关 
键 字 人 存放 一 个 指针 ， 这 个 指针 指向 存放 该 关键 字 的 卫星 数据 的 磁盘 页 。 这 一 章 的 伪 代 码 都 隐 含 
地 假设 了 当 一 个 关键 字 从 一 个 结 点 移动 到 另 一 个 结 点 时 ， 无 论 是 与 关键 字 相 联系 的 卫星 数据 ， 
还 是 指向 卫星 数据 的 指针 ， 都 会 随 着 关键 字 一 起 移动 。 一 个 常见 的 B 树 变种 ， 称 为 B pB- 
tree)， 它 把 所 有 的 卫星 数据 都 存储 在 叶 结 点 中 ， 内 部 结 点 只 存放 关键 字 和 和 孩子 指针 ， 因 此 最 大 
化 了 内 部 绪 点 的 分 支 因子 。 

一 棵 B 树 工 是 具有 以 下 性 质 的 有 根 树 ( 根 为 T. root): 

1. 每 个 结 点 zz 有 下 面 属性 : 

a. x. n， 当 前 存储 在 结 点 x 中 的 关键 字 个 数 。 

bren T REFE G x. key,, x. keys, +, x. keynn VISE RE RAR, HE x. key, S 
Xe keys Rx. keys no 

c. x. leaf, 一 个 布尔 值 ， 如 果 x 是 叶 结 点 ， 则 为 TRUE; 如 果 工 为 内 部 结 点 ， 则 为 FALSE, 

2. 每 个 内 部 结 点 x 还 包含 x. n 十 1 个 指向 其 孩子 的 指针 xz. ca ，z co ，…，Z. Canio IMAR 
有 孩子， 所 以 它们 的 c; 属性 没有 定义 。 

3. REF x. key: 对 存储 在 各 子 树 中 的 关键 字 范 围 加 以 分 割 : 如 果 k 为 任意 一 个 存储 在 以 
x. c 为 根 的 子 树 中 的 关键 字 ， 那 么 

| kı S z. key) S kı Sx. hey, S e VI. ean S kan 
4. 每 个 叶 结 点 具有 相同 的 深度 ， 即 树 的 高 度 ho 
5. 每 个 结 点 所 包含 的 关键 字 个 数 有 上 界 和 下 界 。 用 一 个 被 称 为 B 树 的 最 小 度数 (minmum 
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degree) 的 固定 整数 t 宇 2 来 表示 这 些 界 . 

a. 除了 根 结 点 以 外 的 每 个 结 点 必须 至 少 有 1 一 1 个 关键 字 。 因 此 ， 除 了 根 结 点 以 外 的 每 个 内 
部 结 点 至 少 有 上 个 孩子 。 如 果树 非 空 ， 根 结 点 至 少 有 一 个 关键 字 。 

b 每 个 结 点 至 多 可 包含 2 一 1 个 关键 字 。 因 此 ， 一 个 内 部 结 点 至 多 可 有 t 个 孩子 。 当 一 个 
结 点 恰好 有 2: 一 1 个 关键 字 时 ， 称 该 结 点 是 满 的 (full) .9 

t 二 2 时 的 B 树 是 最 简单 的 。 每 个 内 部 结 点 有 2 个 、3 个 或 4 个 孩子 ， 即 一 棵 2-3-4 树 。 然 而 
在 实际 中 ，: 的 值 越 大 ，B 树 的 高 度 就 越 小 。 

B 树 的 高 度 

B 树 上 大 部 分 的 操作 所 需 的 磁盘 存 取 次 数 与 B 树 的 高 度 是 成 正比 的 。 现 在 来 分 析 B 树 最 坏 情 
况 下 的 高 度 。 

定理 18. 1 如 果 n 宇 1， 那 么 对 任意 一 棵 包含 nn 个 关键 字 、 高 度 为 h、 最 小 度数 t 二 2 的 BB 树 
T， 有 


十 1 
2 


证 明 B 树 工 的 根 至 少 包含 一 个 关键 字 ， 而 且 所 有 其 他 的 结 点 至 少 包 含 一 1 个 关键 字 。 因 
此 ， 高 度 为 h 的 B 树 工 在 深度 1 至 少 包 含 2 个 结 点 ， 在 深度 2 至 少 包含 2t 个 结 点 ， 在 深度 3 至 
少 包 含 2° 个 结 点 ， 等 等 ， 直 到 深度 hh 至 少 有 2 六 个 结 点 。 图 18-4 给 出 了 hh 二 3 时 的 一 棵 树 。 因 
此 ， 关 键 字 的 个 数 n 满足 不 等 式 ， 
n>1+ 0D) 2 = 1+20-1)(£=4) | 


由 简单 的 代数 变换 ， 可 以 得 到 关 科 (n 十 1)/2 。 两 边 取 以 上 为 底 的 对 数 就 证 明了 和 定理 。 Cd 


h < log,” 





T. root 





度 数 
=R FA 
eee fees qs | He Eee) oe ee ae Pees 3 2 2 
‘ie 1. z zE Br uon Bees es | Eh nt r he t 





18-4 一 棵 高 度 为 3 的 B 树 可 以 包含 的 最 小 可 能 关键 字 个 数 。 每 个 结 点 x 内 部 显示 的 是 xz. n 
与 红 黑 树 对 比 ， 这 里 我 们 看 到 了 B 树 的 能 力 。 尽 管 二 者 的 高 度 都 以 Ogn) 的 速度 增长 (注意 
t 是 个 常数 )， 但 对 B 树 来 说 ， 对 数 的 底 可 以 大 很 多 售 。 因 此 ， 对 大 多 数 树 的 操作 来 说 ， 要 检查 
的 结 点 数 在 B 树 中 要 比 在 红 黑 树 中 少 大 约 let 的 因子 。 由 于 在 一 棵 树 中 检查 任意 一 个 结 点 都 需要 
一 次 磁盘 访问 ， 所 以 B 树 避免 了 大 量 的 磁盘 访问 。 


练习 
18. 1-1 为 什么 不 允许 最 小 度数 t=1? 
18.1-2 ” 当 t 取 何 值 时 ， 图 18-1 所 示 的 树 是 一 棵 合法 的 B 树 ? 


O ” 另 一 个 常见 的 B 树 变种 称 为 B* 树 ， 它 要 求 每 个 内 部 结 点 至 少 是 2/3 满 的 ， 而 不 像 B 树 要 求 的 至 少 是 半 满 的 。 
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18. 1-3 ”请 给 出 表示 {1，2，3，4，5} 的 最 小 度数 为 2 的 所 有 合法 B 树 。 

18. 1-4 一 棵 高 度 为 h 的 B 树 中 ， 可 以 存储 最 多 多 少 个 关键 字 ? 用 最 小 度数 1 的 函数 表示 。 

18.15 如果 红 黑 树 中 每 个 黑 结 点 吸收 它 的 红色 孩子 ， 并 把 它们 的 孩子 并 人 作为 自己 的 孩子 ， 描 
述 这 个 结果 的 数据 结构 。 


18.2 B 树 上 的 基本 操作 
本 节 将 给 出 B-TREE-SEARCH、B-TREE-CREATE 和 BTREE-INSERT 操作 的 细节 。 在 这 
些 过 程 中 ， 我 们 采用 两 个 约定 : 
。 B 树 的 根 结 点 始终 在 主 存 中 ， 这 样 无 需 对 根 做 DISK-READ 操作 ; 然而 ， 当 根 结 点 被 改 
变 后 ， 需 要 对 根 结 点 做 一 次 DISK-WRITE 操作 。 
。 任何 被 当做 参数 的 结 点 在 被 传递 之 前 ， 都 要 对 它们 先 做 一 次 DISK-READ 操作 。 
我 们 给 出 的 过 程 都 是 “单程 ”算法 ， 即 它们 从 树 的 根 开 始 向 下 ， 没 有 任何 返回 向 上 的 过 程 。 
RR BH 
搜索 一 棵 BB 树 和 搜索 一 棵 二 又 搜索 树 很 相似 ， 只 是 在 每 个 结 点 所 做 的 不 是 二 叉 或 者 “两 路 ” 
分 支 选择 ， 而 是 根据 结 点 的 孩子 数 做 多 路 分 支 选 择 。 更 严格 地 说 ， 对 每 个 内 部 结 点 zx， 做 的 是 一 
个 (xz. n 十 1) 路 的 分 支 选择 。 
B-TREE-SEARCH 是 定义 在 二 又 搜索 树 上 的 TREE-SEARCH 过 程 的 一 个 直接 推广 。 它 的 输 
和 是 一 个 指向 某 子 树 根 结 点 xz 的 指针 ， 以 及 要 在 该 子 树 中 搜索 的 一 个 关键 字 《。 因 此 ， 顶 层 调用 
的 形式 为 BTREE-SEARCH(T. root，&) 。 如 果 & 在 了 B 树 中 ， 那 么 BTREE-SEARCH 返回 的 是 由 
结 点 y 和 使 得 y. key: 一 & 的 下 标 ; 组 成 的 有 序 对 (y， 引 ; 否则， 过 程 返回 NIL, 
B-TREE-SEARCH(z, k) 
(= 4 
while i < z. n and k > zx. key; 
i=itl 


if i < x. n and k == zx. key; 


1 
2 
3 
4 
5 return (z, 7) 
6 elseif x. leaf 
7 return NIL 
8 else DISK-READ(z, c.) 
9 return B-TREE-SEARCH (x. ci, k) 

利用 一 个 线性 搜索 过 程 ， 第 1~3 行 找 出 最 小 下 标 2 使 得 kz. Reyi， ERDA, ME i 为 
znati, $ 4~5 行 检查 是 否 已 经 找到 该 关键 字 ， 如 果 找到 ， 则 返回 否则 ， 第 6~9 行 结束 这 次 
不 成 功 查 找 ( 如 果 工 是 叶 绪 点 )， 或 者 在 对 孩子 结 点 执行 必要 的 DISK-READ JA, WARR zx 的 相 
应 子 树 。 

图 18-1 显示 了 B-TREE-SEARCH 的 操作 过 程 。 浅 阴影 的 结 点 是 在 搜索 关键 字 R 的 过 程 中 被 
检查 的 结 点 。 

就 像 二 又 搜索 树 的 TREE-SEARCH 过 程 一 样 ， 在 递归 过 程 中 所 遇 到 的 结 点 构成 了 一 条 从 树 
根 回 下 的 简单 路 径 。 因此， 由 B-TREE-SEARCH 过 程 访 问 的 磁盘 页 面 数 为 OCA) = Olog,n) ， 
其 中 履 为 了 B 树 的 高 ，2 为 也 树 中 所 含 关 键 字 个 数 。 由 于 xz.n 二 2:， 所 以 第 2 一 3 行 的 while 循环 在 
每 个 结 点 中 花费 的 时 间 为 O(t) ， 总 的 CPU 时 间 为 O(th)= 二 Olt log,n)。 

创建 一 棵 空 的 B 树 

为 构造 一 棵 BY T, wH B-TREE-CREATE 来 创建 一 个 空 的 根 结 点 ， 然 后 调用 B-TREE- 
INSERT 来 添加 新 的 关键 字 。 这 些 过 程 都 要 用 到 一 个 辅助 过 程 ALLOCATE-NODE， 它 在 O(1) 
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时 间 内 为 一 个 新 结 点 分 配 一 个 磁盘 页 。 我 们 可 以 假定 由 ALLOCATE-NODE 所 创建 的 结 点 并 不 
需要 DISK-READ， 因 为 磁盘 上 还 没有 关于 该 结 点 的 有 用 信息 。 

B-TREE-CREATE(T) 

1 z= ALLOCATE-NODE() 

2 zx.leaf = TRUE 

3 an=0 

4 DISK-WRITE(z) 
5 


T. root = x 


B-TREE-CREATE 需要 O(1) 次 的 磁盘 操作 和 OC) 的 CPU 时 间 。 

向 B 树 中 插入 一 个 关键 字 

B 树 中 插入 一 个 关键 字 要 比 二 又 搜索 树 中 插入 一 个 关键 字 复 杂 得 多 。 像 二 叉 搜 索 树 中 一 样 ， 
要 查找 插入 新 关键 字 的 叶 结 点 的 位 置 。 然 而 ， 在 B 树 中 ， 不 能 简单 地 创建 一 个 新 的 叶 结 点 ， 然 
后 将 其 插入 ， 因 为 这 样 得 到 的 树 将 不 再 是 合法 的 B 树 。 相 反 ， 我 们 是 将 新 的 关键 字 插 入 一 个 已 
经 存在 的 叶 结 点 上 。 由 于 不 能 将 关键 字 插 入 一 个 满 的 叶 结 点 ， 故 引入 一 个 操作 ， 将 一 个 满 的 结 点 
y( 有 21 一 1 个 关键 字 ) 按 其 中 间 关 键 字 (median key) y. key, 分 裂 (split) 为 两 个 各 含 一 1 个 关键 字 的 
结 点 。 中 间 关 键 字 被 提升 到 y 的 父 结 点 ， 以 标识 两 棵 新 树 的 划分 点 。 但 是 如 果 y 的 父 结 点 也 是 满 
的 ， 就 必须 在 择 人 新 的 关键 字 之 前 将 其 分 裂 ， 最 终 满 结 点 的 分 裂 会 沿 着 树 向 上 传播 。 

与 一 棵 二 又 搜索 树 一 样 ， 可 以 在 从 树 根 到 叶子 这 个 单程 向 下 过 程 中 将 一 个 新 的 关键 字 插 入 B 
树 中 。 为 了 做 到 这 一 点 ， 我 们 并 不 是 等 到 找 出 插入 过 程 中 实际 要 分 裂 的 满 结 点 时 才 做 分 裂 。 相 
反 ， 当 沿 着 树 往 下 查找 新 的 关键 字 所 属 位置 时 ， 就 分 裂 沿 途 遇 到 的 每 个 满 结 点 (包括 叶 结 点 本 
身 )。 因 此 ， 每 当 要 分 裂 一 个 满 结 点 y 时 ， 就 能 确保 它 的 父 结 点 不 是 满 的 。 

分 裂 B 树 中 的 结 点 

过 程 B-TREE-SPLIT-CHILD 的 输入 是 一 个 非 满 的 内 部 结 点 xz( 假 定 在 主 存 中 ) 和 一 个 使 z. c; 
(也 假定 在 主 存 中 ) 为 z 的 满 子 结 点 的 下 标 i。 该 过 程 把 这 个 子 结 点 分 裂 成 两 个 ， 并 调整 zx， 使 之 
包含 多 出 来 的 孩子 。 要 分 裂 一 个 满 的 根 ， 首 先 要 让 根 成 为 一 个 新 的 空 根 结 点 的 孩子 ， 这 样 才 能 使 
用 B-TREE-SPLIT-CHILD。 树 的 高 度 因此 增加 1; 分 裂 是 树 长 高 的 唯一 途径 。 

图 18-5 显示 了 这 个 过 程 。 满 结 点 y= a 按照 其 中 间 关 键 字 S 进行 分 裂 ，S 被 提升 到 y WR 
结 点 z。y 中 的 那些 大 于 中 间 关 键 字 的 关键 字 都 置 于 一 个 新 的 结 点 z 中 ， 它 成 为 工 的 一 个 新 的 
孩子 。 





Th 0 2 ee GE ae T LLT LRT T 
图 18-5 分裂 一 个 三 4 的 结 点 。 结 点 yr ci 分 为 两 个 结 点 y Az, y 的 中 间 关 
键 字 S 被 提升 到 y 的 父 结 点 中 


B-TREE-SPLIT-CHILD(z, i) 
1 z= ALLOCATE-NODE( 
2 y 一 T. Ci 


3 z.leaf = y.leaf 
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z n=t— 1 


for j = 1 toż — 1 


4 

5 

6 z. key; = y. keyjit, 
7 if not y. leaf 

8 for j = 1 tot 

9 Z. Cj 一 Yo Che 

10 yn=t—-1 

11 forj = x.n + 1 downto: + 1 
12 nC hee; 

13 £c z 

l4 forj = x. n downto i 

15 T. keyj+ı = x. key; 

16 x. key; = y. key, 

17 an=2ant1 

18 DISK-WRITECy) 

19 DISK-WRITE(Cz) 

20 DISK-WRITE(z) 


B-TREE-SPLIT-CHILD 以 直接 的 “剪贴 "方式 工作 。 这 里 z 是 被 分 裂 的 结 点 ，y 是 zx 的 第 i 个 
孩子 ( 见 第 2 行 )。 开 始 时 ， 结 点 y 有 2 个 孩子 (2 一 1 个 关键 字 ) ， 在 分 裂 后 减少 至 上 个 孩子 (: 一 1 
个 关键 字 ) 。 结 点 z 取 走 y 的 上 个 最 大 的 孩子 (一 1 个 关键 字 )， 并 且 = 成 为 z 的 新 孩子 ， 它 在 = 
的 孩子 表 中 仅 位 于 y 之 后 。y 的 中 间 关 键 字 上 升 到 z 中 ， 成 为 分 隔 y 和 >z 的 关键 字 。 

第 1 一 9 行 创 建 结 点 xz， 并 将 y 的 上 一 1 个 关键 字 以 及 相应 的 上 个 孩子 给 它 。 第 10 行 调 整 y 的 
关键 字 个 数 。 最 后 ， 第 11 一 17 行将 z 插 入 为 z 的 一 个 孩子 ， 并 提升 y 的 中 间 关 键 字 到 z KOR 
y 和 xz， 然后 调整 x 的 关键 字 个 数 。 第 18 一 20 行 写 出 所 有 修改 过 的 磁盘 页 面 。B-TREE-SPLIT- 
CHILD 占用 的 CPU 时 间 为 OG), ERR 5 一 6 行 和 第 8 一 9 行 的 循环 引起 的 。( 其 他 循环 执行 
OE) 次 迭代 。) 这 个 过 程 执 行 O(1) 次 磁盘 操作 。 

以 沿 树 单程 下 行 方式 向 B 树 插入 关键 字 

在 一 棵 高 度 为 h 的 B 树 荆 中 ， 以 沿 树 单程 下 行 方 式 插入 一 个 关键 字 & 的 操作 需要 OC(h) 次 磁 
盘存 取 。 所 需要 的 CPU 时 间 为 O( 圾 ) 二 O(zlog,n)。 过 程 BTREE-INSERT 利用 B-TREE-SPLIT- 
CHILD 来 保证 递归 始终 不 会 降 至 一 个 满 结 点 上 。 


B-TREE-INSERT(T, k) 
1 r= T.root 
2 ifr.n == 2t— 1 
3 s = ALLOCATE-NODE(Q 


4 T. root = s 

5 s. leaf = FALSE 
6 sn=0 

7 S$. C1 一 7 

8 


B-TREE-SPLIT-CHILD(s, 1) 
9 B-TREE-INSERT-NONFULL(s, k) 
10 else B-TREE-INSERT-NONFULL(;, k) 


第 3 一 9 行 处 理 了 根 结 点 > 为 满 的 情况 ， 原 来 的 根 结 点 被 分 裂 ， 一 个 新 的 结 点 *( 有 两 个 孩子 ) 
成 为 根 。 对 根 进行 分 裂 是 增加 B 树 高 度 的 唯一 途径 。 图 18-6 说 明了 这 种 情况 。 与 二 又 搜索 树 不 
同 ，B 树 高 度 的 增加 发 生 在 顶部 而 不 是 底部 。 过 程 通过 调用 B-TREE-INSERT-NONFULL 完成 
将 关键 字 太 插入 以 非 满 的 根 结 点 为 根 的 树 中 。B-TREE-INSERT-NONEULL 在 需要 时 沿 树 向 下 递 
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归 ， 在 必要 时 通过 调用 BTREE-SPLIT-CHILD 来 保证 任何 时 刻 它 所 递归 处 理 的 结 点 都 是 非 
满 的 。 


Troot 





T 1, T, 1, Ts D" Ts N T T, T, 5 Ts T, T 


图 18-6 “分裂 4 的 根 。 根 结 点 > 一 分 为 二 ， 并 创建 了 一 个 新 结 点 s。 新 的 根 包 含 了 r 的 中 间 关 
键 字 ， 且 以 ~ 的 两 半 作 为 孩子 。 当 根 被 分 裂 时 ，B 树 的 高 度 增加 1 


辅助 的 递归 过 程 BITREE-INSERT-NONFULL 将 关键 字 插 入 结 点 x， 要 求 假定 在 调用 该 过 程 
时 工 是 非 满 的 。 操 作 B-TREE-INSERT 和 递归 操作 B-TREE-INSERT-NONFULL 保证 了 这 个 假 
设 成 立 。 


B-TREE-INSERT-NONFULL(z, k) 
lian 
2 if x. leaf 
while i > 1 and k < z. key; 
x. keyi+1= =x. key; 


i=] 


an=antl 
DISK-WRITE(z) 
else while i => 1 and k < zx. key; 
10 i=i—l 
11 tt 


3 
4 
5 
6 zx. keyi+ı = k 
7 
8 
9 


12 DISK-READ(z. c;) 

13 if x. cp n == 2t— 1 

14 B-TREE-SPLIT-CHILD(<, i) 

15 if k > zx. key; 

16 i=itl 

17 B-TREE-INSERT-NONFULL(z. c;, k) 


tt B-TREE-INSERT-NONFULL 的 工作 方式 如 下 。 第 3~8 TH r 是 叶 结 点 的 情况 ， 将 
关键 字 插 入 zx。 如 果 工 不 是 叶 结 点 ， 则 必须 将 有 插入 以 内 部 结 点 为 根 的 子 树 中 适当 的 叶 结 点 
中 去 。 这 种 情况 下 ， 第 9 一 11 行 决 定向 z 的 哪个 子 结 点 递归 下 降 。 第 13 行 检查 是 否 是 递归 降 至 
了 一 个 满 子 结 点 上 ， 和 若是 ， 则 第 14 行 用 B-TREE-SPLIT-CHILD 将 该 子 结 点 分 裂 为 两 个 非 满 的 
孩子 ， 第 15 一 16 行 确定 向 两 个 孩子 中 的 哪 一 个 下 降 是 正确 的 。( 注 意 ， 在 第 16 行 中 i 增加 1 后 无 
需 做 DISK-READ(z. c) ， 因 为 这 种 情况 下 递归 会 降 至 一 个 刚刚 由 B-TREE-SPLIT-CHILD 创建 的 
子 结 点 上 。) 第 13 一 16 行 的 真正 作用 就 是 保证 该 程序 始终 不 会 降 至 一 个 满 结 点 上 。 然 后 第 17 行 递 
归 地 将 & 插 和 人 合适 的 子 树 中 。 图 18-7 说 明了 向 B 树 中 插入 关键 字 的 各 种 情况 。 

对 一 棵 高 度 为 h 的 B 树 来 说 ，B-TREE-INSERT 要 做 Oh) 次 磁盘 存 取 ， 因 为 在 每 次 调用 B- 
TREE-INSERT-NONFULL 之 间 ， 只 做 了 OC) 次 DISK-READ 和 DISK-WRITE 操作 。 所 占用 的 
总 CPU 时 间 为 OCA) = O(tlog,n) 。 因 为 B-TREE-INSERT-NONFULL 是 尾 递归 的 ， 所 以 它 也 
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可 以 用 一 个 while 循环 来 实现 ， 从 而 说 明了 在 任何 时 刻 ， 需 要 留 在 主 存 中 的 页 面 数 为 0(1) 。 
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图 18-7 向 B 树 中 插入 关键 字 。 这 棵 B 树 的 最 小 度数 1 为 3， 所 以 一 个 结 点 至 多 可 包含 5 个 关键 
字 。 在 插入 过 程 中 被 修改 的 结 点 由 浅 阴 影 标 记 。(a) 这 个 例子 初始 时 的 树 。(b) 向 初始 
树 中 插入 BB 后 的 结果 ; 这 是 一 个 对 叶 结 点 的 简单 插入 。(c) 将 Q@ 插 入 前 一 棵 树 中 的 结 
果 。 结 点 RSTUV 被 分 裂 为 两 个 分 别 包含 RS 和 UV WAER KEF TRENIE, 
Q 被 插入 两 半 的 最 左边 (RS 结 点 )。(d) 将 工 插 人 前 一 棵 树 中 的 结果 。 由 于 根 结 点 是 满 
的 ， 所 以 它 立 即 被 分 裂 ， 同 时 B 树 的 高 度 增 加 1。 然 后 上 被 插入 包含 JK 的 叶 结 点 中 。 
(e) 将 下 插入 前 一 棵 树 中 的 结果 。 在 将 下 插入 两 半 的 最 右边 (DE 结 点 ) 之 前 ， 结 点 
ABCDE 会 进行 分 裂 
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18.2-1 请 给 出 关键 字 FF、S、Q、 K.C LH, T, V. W. M,R, NY PY AY BY X, Y, 
D、Z、 互 依 序 插入 一 棵 最 小 度数 为 2 的 空 B 树 的 结果 。 只 要 画 出 在 某 些 结 点 分 裂 之 前 
的 结构 以 及 最 终 的 结构 。 

18.2-2 请 解释 在 什么 情况 下 (如 果 有 的 话 )， 在 调用 BTREE-INSERT 的 过 程 中 ， 会 执行 元 余 的 
DISK-READ 或 DISK-WRITE 操作 。( 所 谓 元 余 的 DISK-READ， 是 指 对 已 经 在 主 存 中 的 
某 页 做 DISK-READ。 元 余 的 DISK-WRITE 是 指 将 已 经 存在 于 磁盘 上 的 某 页 又 完全 相同 
地 重 写 一 遍 。) 

18. 2-3 ”请 说 明 如 何在 一 棵 BB 树 中 找 出 最 小 关键 字 ， 以 及 如 何 找 出 某 一 给 定 关 键 字 的 前 驱 。 
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*18. 2-4 ”假设 关键 字 {1，2，…，n} 被 插入 一 棵 最 小 度数 为 2 的 空 B 树 中 ， 那 么 最 终 的 B 树 有 多 


少 个 结 点 ? 
18.2-5 因为 叶 结 点 无 需 指向 孩子 结 点 的 指针 ， 那 么 对 同样 大 小 的 磁盘 页 面 ， 可 选用 一 个 与 内 部 


结 点 不 同 的 (更 大 的 )t 值 。 请 说 明 如 何 修改 B 树 的 创建 和 插入 过 程 来 处 理 这 个 变化 。 
18.2-6 ”假设 B-TREE-SEARCH 的 实现 是 在 每 个 结 点 内 采用 二 分 查找 ， 而 不 是 线性 查找 。 证 明 : 
无 论 怎样 选择 a 为 n 的 函数 )， 这 种 实现 所 需 的 CPU 时 间 都 为 Ogn 。 
18.2-7 假设 磁盘 硬件 允许 我 们 任意 选择 磁盘 页 面 的 大 小 ， 但 读 取 磁盘 页 面 的 时 间 是 ator, 
其 中 a 和 56 为 规定 的 常数 ，t 为 确定 磁盘 页 大 小 后 的 B 树 的 最 小 度数 。 请 描述 如 何 选 
择 t 以 (近似 地 ) 最 小 化 B 树 的 查找 时 间 。 对 a= 二 5ms 和 6 二 10ms， 请 给 出 i 的 一 个 最 
优 值 。 


18.3 从 B 树 中 删除 关键 字 


B 树 上 的 删除 操作 与 插入 操作 类 似 ， 只 是 略微 复杂 一 点 ， 因 为 可 以 从 任意 一 个 结 点 中 删除 一 
个 关键 字 ， 而 不 仅仅 是 叶 结 点 ， 而 且 当 从 一 个 内 部 结 点 删除 一 个 关键 字 时 ， 还 要 重新 安排 这 个 结 
点 的 孩子 。 与 插入 操作 一 样 ， 必 须 防 止 因 删 除 操作 而 导致 树 的 结构 违反 B 树 性 质 。 就 像 必 须 保 
证 一 个 结 点 不 会 因为 插入 而 变 得 太 大 一 样 ， 必 须 保证 一 个 结 反 不 会 在 删除 期 间 变 得 太 小 ( 根 结 点 
除外 ， 因 为 它 允 许 有 比 最 少 关键 字数 一 1 还 少 的 关键 字 个 数 )。 一 个 简单 插入 算法 ， 如 果 插 入 关 
键 字 的 路 径 上 结 点 满 ， 可 能 需要 向 上 回溯 ;与 此 类 似 ， 一 个 简单 删除 算法 ， 当 要 删除 关键 字 的 路 
径 上 结 点 ( 非 根 ) 有 最 少 的 关键 字 个 数 时 ， 也 可 能 需要 向 上 回 漳 。 

过 程 BTREE-DELETE 从 以 z 为 根 的 子 树 中 删除 关键 字 &。 我 们 设计 的 这 个 过 程 必须 保证 无 
论 何 时 ， 结 点 工 递 归 调 用 自身 时 ，z 中 关键 字 个 数 至 少 为 最 小 度数 上。 注意 到 ， 这 个 条 件 要 求 比 
通常 B 树 中 的 最 少 关键 字 个 数 多 一 个 以 上 ， 使 得 有 时 在 递归 下 降 至 子 结 点 之 前 ， 需 要 把 一 个 关 
键 字 移 到 子 结 点 中 。 这 个 加 强 的 条 件 允 许 在 一 趟 下 降 过 程 中 ， 就 可 以 将 一 个 关键 字 从 树 中 删除 ， 
无 需 任何 “向 上 回溯 ”( 有 一 个 例外 ， 后 面 会 解释 ) 。 对 下 面 的 B 树 上 删除 操作 的 规定 应 当 这 样 理 
解 ， 如 果 根 结 点 z 成 为 一 个 不 含 任何 关键 字 的 内 部 结 点 (这 种 情况 可 能 出 现在 图 18-8 中 的 情况 2c 
和 情况 3b 中 )， 那 么 z 就 要 被 删除 ，z 的 唯一 孩子 z. cl 成 为 树 的 新 根 ， 从 而 树 的 高 度 降低 1， 同 
时 也 维持 树 根 必须 包含 至 少 一 个 关键 字 的 性 质 ( 除 非 树 是 空 的 )。 

现在 我 们 来 简要 地 介绍 删除 操作 是 如 何 工作 的 ， 而 不 是 给 出 其 伪 代 码 。 图 18-8 描绘 了 从 B 
树 中 删除 关键 字 的 各 种 情况 。 

1. 如 果 关 键 字 在 结 点 zx P, HH z 是 叶 结 点 ， 则 从 z 中 删除 &。 

2. 如 果 关 键 字 在 结 点 xz P, HE z 是 内 部 结 点 ， 则 做 以 下 操作 : 

a 如 果 结 点 z 中 前 于 & 的 子 结 点 y 至 少 包含 i AREF, MIRE k EA y 为 根 的 子 树 中 的 前 
IK k'o SIIR k o HE z 中 用 代替 &。( 找 到 不 并 删除 它 可 在 沿 树 下 降 的 单 过 程 中 完成 。) 

b. 对 称 地 ， 如 果 > 有 少 于 上 个 关键 字 ， 则 检查 结 点 z 中 后 于 & 的 子 结 点 z。 如 果 z BPA 
个 关键 字 ， 则 找 出 在 以 z 为 根 的 子 树 中 的 后 继 & 。 递 归 地 删除 上 ， 并 在 PARE k GRE 
k 并 删除 它 可 在 沿 树 下 降 的 单 过 程 中 完成 。) 

c 否则 ， 如 果 y 和 z 都 只 含有 :一 1 个 关键 字 ， 则 将 上 和 >z 的 全 部 合并 进 >， 这 样 工 就 失去 了 
k 和 指向 z 的 指针 ， 并 且 y 现在 包含 2: 一 1 个 关键 字 。 然 后 释放 z 并 递归 地 从 y 中 删除 &。 

3. 如 果 关 键 字 k 当前 不 在 内 部 结 点 z 中 ， 则 确定 必 包 含 & 的 子 树 的 根 c. c OR k KER 
中 )。 如 果 z. c 只 有 :一 1 个 关键 字 ， 必 须 执行 步骤 3a 或 3b 来 保证 降 至 一 个 至 少 包含 i 个 关键 字 
的 结 点 。 然 后 ， 通 过 对 z 的 某 个 合适 的 子 结 点 进行 递归 而 结束 。 
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Cf) WEB: 情况 3a 


图 18-8 ”从 一 棵 B 树 中 删除 关键 字 。 这 棵 B 树 的 最 小 度数 :二 3， 因 此 一 个 结 点 ( 非 根 ) 包 含 的 关键 
字 个 数 不 能 少 于 两 个 。 被 修改 了 的 结 点 都 以 浅 阴 影 标 记 。(a) 图 18-7e PH BAY. CHBR 
F。 这 是 情况 1. 从 一 个 叶 结 点 中 进行 的 简单 删除 。(c) 删 除 M。 这 是 情况 2a: M 的 前 驱 
L 提升 并 占据 M 的 位 置 。(d) 删 除 C。 这 是 情况 2c: G 下 降 以 构成 结 点 DEGJK， 然 后 从 
这 个 叶 结 点 中 删除 G( 情 况 1) 。(e) 删 除 D。 这 是 情况 3b: 递归 不 能 降 至 结 点 CL， 因 为 它 
仅 有 两 个 关键 字 ， 所 以 将 P 下 降 并 与 CL 和 TX 合并 以 构成 CLPTX; 然后 将 DD 从 这 个 叶 
结 点 中 删除 (情况 1) 。(e ) 在 (e) 之 后 ， 根 结 点 被 删除 ， 树 的 高 度 减 小 1。( 了 DD 删除 B。 这 是 
情况 3a: 移动 C 以 填补 B 的 位 置 ， 移动 以 填补 C 的 位 置 
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a. 如果 zx. c; 只 含有 :一 1 个 关键 字 ， 但 是 它 的 一 个 相 邻 的 兄弟 至 少 包含 上 个 关键 字 ， 则 将 xz 
中 的 某 一 个 关键 字 降 至 z. c H, K z. c 的 相 邻 左 兄 弟 或 右 兄弟 的 一 个 关键 字 升 至 xz， 将 该 兄弟 
中 相应 的 孩子 指针 移 到 zx. c; 中 ， 这 样 就 使 得 xz. c; 增加 了 一 个 额外 的 关键 字 。 

b. 如 果 r. c UK ar. c 的 所 有 相 邻 兄弟 都 只 包含 1 一 1 个 关键 字 ， 则 将 x. ci 与 一 个 兄弟 合并 ， 
即将 z 的 一 个 关键 字 移 至 新 合并 的 结 点 ， 使 之 成 为 该 结 点 的 中 间 关 键 字 。 

由 于 一 棵 B 树 中 的 大 部 分 关键 字 都 在 叶 结 点 中 ， 我 们 可 以 预期 在 实际 中 ， 删 除 操作 最 经 常 
用 于 从 叶 结 点 中 删除 关键 字 。 这 样 BTREEDELETE 过 程 只 要 沿 树 下 降 一 趟 即 可 ， 不 需要 向 上 
回溯 。 然 而 ， 当 要 删除 某 个 内 部 结 点 的 关键 字 时 ， 该 过 程 也 要 沿 树 下 降 一 趟 ， 但 可 能 还 要 返回 删 
除了 关键 字 的 那个 结 点 ， 以 用 其 前 驱 或 后 继 来 取代 被 删除 的 关键 字 ( 情 况 2a 和 情况 2b) 。 

尽管 这 个 过 程 看 起 来 很 复杂 ， 但 对 一 棵 高 度 为 h 的 BB 树 ， 它 只 需要 OL) 次 磁盘 操作 ， 因 为 
在 递归 调用 该 过 程 之 间 ， 仅 需 O(1) 次 对 DISK-READ 和 DISK-WRITE 的 调用 。 所 需 CPU 时 间 
为 Oth) =O log,n) 。 


练习 


18.3-1 请 说 明 依 次 从 图 18-8(f) 中 删除 C、P 和 V 后 的 结果 。 
18. 3-2 ”请 写 出 BTREE-DELETE 的 伪 代 码 。 


思考 题 
18-1 ALR) 考虑 在 一 个 有 着 相对 少量 的 快速 主 存 但 有 着 相对 大 量 较 慢 的 磁盘 存储 空间 的 计 
算 机 上 实现 一 个 栈 的 问题 。 操 作 PUSH 和 POP 操作 的 对 象 为 单字 。 我 们 希望 计算 机 支持 的 栈 
可 以 增长 得 很 大 ， 以 至 于 无 法 全 部 装 入 主 存 中 ， 因 此 它 的 大 部 分 都 要 放 在 磁盘 上 。 
一 种 简单 但 低 效 的 栈 实现 方法 是 将 整个 栈 存放 在 磁盘 上 。 在 主 存 中 保持 一 个 栈 的 指 


针 ， 它 指向 栈 顶 元 素 的 磁盘 地 址 。 如 果 该 指针 的 值 为 »， 则 栈 顶 元 素 是 磁盘 的 之 | 页 上 的 


第 (pmodm) 个 字 ， 这 里 m 为 每 页 所 含 的 字数 。 

为 了 实现 PUSH 操作 ， 我 们 增加 栈 指针 ， 从 磁盘 将 适当 的 页 读 到 主 存 中 后 ， 复 制 要 被 
压 入 栈 的 元 素 到 该 页 上 适当 字 的 位 置 ， 最 后 将 该 页 写 回 到 磁盘 。POP 操作 与 之 类 似 。 我 们 
减 小 栈 指针 ， 从 磁盘 上 读 人 所 需 的 页 ， 再 返回 栈 顶 元 素 。 我 们 不 需要 写 回 该 页 ， 因 为 它 没 
有 被 修改 。 

因为 磁盘 操作 代价 相对 较 高 ， 我 们 统计 任何 实现 的 两 部 分 代价 ， 总 的 磁盘 存 取 次 数 和 
总 的 CPU 时 间 。 任 何 对 一 个 包含 m 个 字 的 页 面 的 磁盘 存 取 ， 都 会 引起 一 次 磁盘 存 取 和 
O(m) HY CPU 时 间 。 

a 从 渐 近 意义 上 看 ， 使 用 这 种 简单 实现 ， 在 最 坏 的 情况 下 ，z 个 栈 操作 需要 多 少 次 磁盘 存 
W? CPU 时 间 又 是 多 少 ? (用 m 和 nn 来 表示 这 个 问题 及 后 面 几 个 问题 的 答案 .) 

现在 考虑 栈 的 男 一 种 实现 ， 即 在 主 存 中 始终 保持 存放 栈 中 的 一 页 。( 还 用 少量 的 主 存 
来 记录 当前 哪 一 页 在 主 存 中 .) 只 有 相关 的 磁盘 页 驻 留 在 主 存 中 ， 才 能 执行 栈 操作 。 如 有 果 需 
要 ， 可 以 将 当前 主 存 中 的 页 写 回 磁盘 ， 并 且 可 以 从 磁盘 向 主 存 读 人 新 的 一 页 。 如 有 果 相 关 的 
磁盘 页 已 经 在 主 存 ， 那 么 就 无 需 任何 磁盘 存 取 。 

b. 最 坏 情况 下 ，n 个 PUSH 操作 所 需 的 磁盘 存 取 次 数 是 多 少 ? 所 需 的 CPU 时 间 是 多 少 ? 
c 最 坏 情 况 下 ，n 个 栈 操作 所 需 的 磁盘 存 取 次 数 是 多 少 ? 所 需 的 CPU 时 间 是 多 少 ? 

假设 现在 是 在 主 存 中 保持 栈 的 2 页 (此 外 还 有 少量 的 字 来 记录 哪些 页 在 主 存 中 ) 的 实现 。 

d 请 描述 如 何 管理 栈 页 ， 使 得 任何 栈 操作 的 摊 还 磁盘 存 取 次 数 为 O(1/m) ， 摊 还 CPU 时 
BA oa). 
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18-2 (连接 与 分 裂 2-3-4 树 ) 连接 操作 输入 两 个 动态 集合 S 和 S ， 以 及 一 个 元 素 zx， 使 得 对 任 

何 x'ES' 和 x ES ,有 Xx.key 过 x. key 二 x .key。 它 返回 一 个 集合 S 二 S U(z) US". A 

裂 操 作 就 像 一 个 “ 逆 ” 连 接 操 作 ， 给 定 一 个 动态 集合 S 和 一 个 元 素 x E€ S， 它 创建 了 一 个 集 

合 S ， 其 包含 S 一 {zx} 中 所 有 关键 字 小 于 x. key HICK; 同时 创建 了 一 个 集合 S ， 其 包含 

S 一 {x} 中 所 有 关键 字 大 于 xz. key 的 元 素 。 在 这 个 问题 中 ， 我 们 讨论 如 何在 2-3-4 树 上 实现 

这 些 操作 。 为 方便 起 见 ， 假 定 所 有 元 素 都 只 包含 关键 字 ， 并 且 所 有 的 关键 字 都 不 相同 。 

a. 对 2-3-4 树 中 的 每 个 结 点 z， 说 明 如 何 将 以 z 为 根 的 子 树 的 高 度 作为 一 个 属性 z. height 

来 维护 。 要 确保 所 给 出 的 实现 不 影响 查找 、 插 入 和 删除 的 渐 近 运行 时 间 。 
b. 说 明 如 何 实 现 连 接 操作 。 给 定 两 棵 2-3-4 树 T 5 T" 和 一 个 关键 字 《， 连 接 操作 应 在 
O+ |h — h" |) 运行 时 间 内 完成 ， 其 中 丸和 妈 分 别 是 树 T A THRE. 

e 考虑 从 一 棵 2-3-4 PY 工 的 根 到 一 个 给 定 关 键 字 & 的 简单 路 径 p， 丁 中 小 于 的 关键 字 集 
SS, URTPRFR 的 关键 字 集合 S 。 证 明 : p 将 S' 分 为 一 个 树 的 集合 {TT。， 
Ti E TT } 和 一 个 关键 字 的 集合 {ki „kz gees skm? ’ 且 对 任何 关键 字 ye Ts 和 zE T: 
(i=1, 2, e, m), 都 有 y<hk;'<z. Ti F T; 的 高 度 之 间 有 什么 关系 ? 请 说 明 p feu 
何 将 S 分 为 树 集合 和 关键 字 集合 的 。 

请 说 明 如 何 实现 工 上 的 分 裂 操作 。 利 用 连接 操作 将 S 中 的 关键 字 拼 成 一 棵 简单 的 2-3-4 
MT, 将 S 中 的 关键 字 拼 成 一 棵 简单 的 2-3-4 W T”"。 分 裂 操 作 的 运行 时 间 要 求 为 
Ollgn) ， 这 里 2 是 工 中 的 关键 字 个 数 。( 提 示 : 连接 的 代价 应 是 套 迭 的 ,) 
本 章 注 记 

Knuth[ 211], Aho, Hopcroft 和 Ullman[ 5], Æ Sedgewick[ 306 ] 给 出 了 平衡 树 方案 和 B 树 
的 进一步 讨论 。Comer[74j 提 供 了 B 树 的 一 个 综述 。Guibas 和 SedgewickL155] 讨 论 了 包括 红 黑 树 
和 2-3-4 树 在 内 的 各 种 平衡 树 方案 之 间 的 关系 。 

在 1970 Æ, J. E. Hopcroft 发 明了 2-3 树 ， 它 是 B 树 和 2-3-4 树 的 前 喘 ， 它 的 每 个 内 部 绪 点 都 
有 两 个 或 三 个 孩子 结 点 。Bayer 和 McCreight[L 35 在 1972 年 提出 了 B 树 ; 他们 并 没有 解释 为 什么 
要 取 这 个 名 字 。 

Bender, Demaine 和 Farach-Colton| 40 研究 了 面 对 存储 层次 影响 ， 如 何 让 B 树 的 操作 高 效 地 
执行 。 他 们 提出 了 一 个 缓存 无 关 (cache-oblivious) 算 法 ， 该 算法 可 以 在 不 用 显 式 地 了 解 存储 层次 
中 数据 传输 规模 的 情况 下 高 效 地 工作 。 
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斐 波 那 契 堆 数据 结构 有 两 种 用 途 。 第 一 种 ， 它 支持 一 系列 操作 ， 这 些 操作 构成 了 所 谓 的 “可 
合并 堆 ”。 第 二 种 ， 斐 波 那 契 堆 的 一 些 操作 可 以 在 常数 摊 还 时 间 内 完成 ， 这 使 得 这 种 数据 结构 非 
常 适 合 于 需要 频繁 调用 这 些 操 作 的 应 用 。 

可 合并 堆 

可 合并 堆 (mergeable heap) 是 支持 以 下 5 种 操作 的 一 种 数据 结构 ， 其 中 每 个 元 素 都 有 一 个 关键 字 : 

MAKE-HEAP(): 创建 和 返回 一 个 新 的 不 含 任何 元 素 的 堆 。 

INSERT(H, 2): 将 一 个 已 填 人 关键 字 的 元 素 zc HAE H H. 

MINIMUM(H): 返回 一 个 指向 堆 H 中 具有 最 小 关键 字 元 素 的 指针 。 

EXTRACT-MIN(H): ME H 中 删除 最 小 关键 字 的 元 素 ， 并 返回 一 个 指 回 该 元 率 的 指针 。 

UNIONCH,,.H,): 创建 并 返回 一 个 包含 堆 H AE H, 中 所 有 元 素 的 新 堆 。 堆 Hl ME H, 
由 这 一 操作 销毁 ”。 

除了 以 上 可 合并 堆 的 操作 外 ， 斐 波 那 契 堆 还 支持 以 下 两 种 操作 : 

DECREASE-KEY(H, x, k): HHE H 中 元 素 z 的 关键 字 赋 予 新 值 A。 假 定 新 值 & 不 大 于 当 
前 的 关键 字 。 

DELETE(H, x): WE H 中 删除 元 素 x. 

如 图 19-1 所 示 ， 如 果 没 有 UNION 操作 ， 如 同 堆 排序 (第 6 章 ) 中 使 用 的 普通 二 项 堆 ， 其 操作 
性 能 相当 好 。 除 了 UNION 操作 外 ， 二 项 堆 的 其 他 操作 均 可 在 最 坏 情 况 时 间 为 OU gn) 下 完成 。 





的 性 能 就 很 差 。 通 过 把 两 个 分 别 包 含 要 被 合并 (最 坏 情形 ) CHEE) 
二 项 堆 的 数组 进行 链接 ， 然 后 运行 BUILD | MAKE HEAP QU 
MIN-HEAP( 参 考 6. 3 节 ) 的 方式 来 实现 UNION | INSERT O(lg n) 

EREKE 4p MINIMUM @(1) 
操作 ， 其 最 坏 情 形 下 需要 OC) ATA. eae en 


Fi— Fi Hl, RARE FRE INSERT. | UNON aln) 
UNION 和 DECREASE-KEY， 比 起 二 项 堆 有 更 好 | DECREASE-KEY @(Ig n) 
的 渐 近 时 间 界 ， 而 对 于 剩 下 的 几 种 操作 ， 它 们 有 | DELETE Ql(lg n) 
相同 的 浙 近 运行 时 间 。 然 而 ， 注 意 ,图 191 中 区 图 19-1 可 合并 堆 的 两 种 实现 方式 下 各 操作 的 运 
波 那 契 堆 的 运行 时 间 是 摊 还 时 间 界 ， 而 不 是 每 个 行 时 间 。 在 操作 时 堆 中 的 项 数 用 ”表示 
操作 的 最 坏 情 形 时 间 界 。UNION 操作 在 斐 波 那 契 堆 中 仅仅 需要 常数 摊 还 时 间 ， 这 比 二 项 堆 的 最 坏 
情形 下 的 线性 时 间 要 好 得 多 (当然 ， 假 定 为 一 个 摊 还 时 间 界 )。 

理论 上 的 斐 波 那 契 堆 与 实际 中 的 斐 波 那 契 堆 

从 理论 角度 来 看 ， 当 EXTRACT-MIN 和 DELETE 数目 相 比 于 其 他 操作 小 得 多 的 时 候 ， 斐 波 
那 契 堆 尤 其 适用 。 这 种 情形 出 现在 许多 应 用 中 。 例 如 ， 一 些 图 问题 算法 可 能 每 条 边 调用 一 次 
DECREASE-KEY。 对 于 有 很 多 边 的 稠密 图 ， 每 次 调用 DECREASE-KEY 需要 9(1) 摊 还 时 间 ， 
相 比 起 二 项 堆 最 坏 情 况 时 间 @(gn)， 其 积累 起 来 是 个 很 大 的 改进 。 一 些 问题 (如 计算 最 小 生成 树 





O 正如 在 第 五 部 分 的 导言 中 提 到 的 ， 我们 默认 的 可 合并 堆 是 可 合并 最 小 堆 ， 因 此 ， 使 用 操作 MINIMUM, 
EXTRACT-MIN 和 DECREASE-KEY。 同 样 ， 我 们 可 以 定义 一 个 可 合并 最 大 堆 (mergeable max-heap)， 具 有 操 
作 MAXIMUM, EXTRACT-MAX 和 INCREASE-KEY。 
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(第 23 章 ) 和 寻找 单 源 最 短路 径 ( 第 24 章 )) 的 快速 算法 必 不 可 少 地 要 用 到 辈 波 那 契 堆 。 

然而 从 实际 角度 来 看 ， 除 了 某 些 需要 管理 大 量 数据 的 应 用 外 ， 对 于 大 多 数 应 用 ， 斐 波 那 契 堆 
的 常数 因子 和 编程 复杂 性 使 得 它 比 起 普通 二 项 (或 & 项 ) 扒 并 不 那么 适用 。 因 此 ， 对 辈 波 那 契 堆 的 
研究 主要 出 于 理论 兴趣 。 如 果 能 开发 出 一 个 简单 得 多 的 数据 结构 ， 而 且 它 的 摊 还 时 间 界 与 斐 波 
那 契 堆 相 同 ， 那 么 它 将 非常 实用 。 

SHE ASE EAB HE XT FF SEARCH 操作 的 支持 均 比 较 低 效 ; 可 能 需要 花费 一 段 时 间 才 能 找 
到 具有 给 定 关键 字 的 元 素 。 为 此 ， 涉 及 给 定 元 素 的 操作 (如 DECREASE-KEY 和 DELETE) 均 需 
要 一 个 指针 指向 这 个 元 素 ， 并 且 指 针 作 为 输入 的 一 部 分 。 正 如 6.5 节 对 优先 级 队列 的 讨论 中 所 
述 ， 当 在 应 用 中 使 用 一 个 可 合并 堆 时 ， 通 常 在 可 合并 堆 的 每 个 元 素 中 存储 一 个 句柄 指向 相关 应 
用 对 象 ， 同 样 在 每 个 应 用 对 象 中 也 存储 一 个 句柄 指向 可 合并 堆 中 相关 元 素 。 这 些 句 柄 的 确切 作 
用 依赖 于 应 用 和 它 的 实现 。 

如 同 所 看 到 的 一 些 其 他 数据 结构 ， 斐 波 那 契 堆 也 是 基于 有 根 树 的 。 我 们 把 每 一 个 元 素 表示 
成 树 中 的 一 个 结 点 ， 每 个 结 点 具有 一 个 key 属性 。 在 这 一 章 的 剩 下 部 分 ， 将 使 用 “ 结 点 ”来 代替 
“元 素 ”。 我 们 也 将 忽略 结 点 插入 之 前 和 删除 之 后 的 内 存 分 配 和 释放 问题 ， 而 不 是 假定 调用 堆 操 作 
的 代码 来 处 理 这 些 细节 问题 。 

19. 1 节 将 定义 斐 波 那 契 堆 ， 讨 论 如 何 表 示 它 ， 并 给 出 用 于 分 析 摊 还 时 间 的 势 函 数 。19. 2 节 
展示 怎样 实现 可 合并 扒 操 作 和 如 何 得 到 图 19-1 中 所 述 的 摊 还 时 间 界 。 剩 下 的 两 个 操作 
DECREASE-KEY 和 DELETE 是 19. 3 节 的 重点 。 最 后 ，19. 4 节 完 成 理论 分 析 的 主要 环节 ， 并 解 
释 这 个 数据 结构 名 字 的 由 来 。 


19.1 SERA REA 


一 个 斐 波 那 契 堆 是 一 系列 具有 最 小 堆 序 (min-heap ordered 的 有 根 树 的 集合 。 也 就 是 说 ， 每 
棵 树 均 遵循 最 小 堆 性 质 (min-heap property): 每 个 结 点 的 关键 字 大 于 或 等 于 它 的 父 结 点 的 关键 
字 。 图 19-2(a) 是 一 个 斐 波 那 契 堆 的 例子 。 


H.min 





图 19-2 《〈a) 一 个 包含 5 棵 最 小 堆 序 树 和 14 ZR SEAR SE. Mee SRE. HEP RR 
小 的 结 点 是 包含 关键 字 3 的 结 点 。 黑 色 的 结 点 是 被 标记 的 。 这 个 斐 波 那 契 堆 的 势 是 5 十 
2X3 王 11。(b) 一 个 更 加 完整 的 表示 ， 显 示 出 了 指针 pE), child FEA), 
le 产 和 7ighz( 横 向 箭头 )。 本 章 剩 下 的 图 省 略 了 这 些 细节 ， 因 为 该 图 中 显示 的 所 有 信息 
均 可 从 (a) 图 中 推断 出 来 
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如 图 19-2(b) 所 示 ， 每 个 结 点 工 包 含 一 个 指向 它 父 结 点 的 指针 x. p 和 一 个 指向 它 的 某 一 个 孩 
子 的 指针 x. child, x 的 所 有 和 孩子 被 链接 成 一 个 环形 的 双向 链表 ， 称 为 的 孩子 链表 (child list), 
孩子 链表 中 的 每 个 孩子 y 均 有 指针 y. left 和 yy.right， 分 别 指 问 y 的 左 兄 弟 和 右 兄 弟 。 如 果 y 是 
仅 有 的 一 个 孩子 ， 则 y. left=y. right 二 y。 孩 子 链表 中 各 兄弟 出 现 的 次 序 是 任意 的 。 

环形 双向 链表 (参考 10. 2 节 ) 应 用 在 斐 波 那 契 堆 中 有 两 个 优点 。 第 一 ， 可 以 在 O(1) 时 间 内 从 
一 个 环形 双向 链表 的 任何 位 置 插入 一 个 结 点 或 删除 一 个 结 点 。 第 二 ， 给 定 两 个 这 种 链表 ， 可 以 用 
OC) 时 间 把 它们 链接 (或 把 它们 “ 抢 接 ?在 一 起 ) 成 一 个 环形 双向 链表 。 在 斐 波 那 契 堆 操 作 的 描述 
中 ， 我 们 将 非 正式 地 提 到 这 些 操作 ， 实 现 细 节 留 给 读者 去 补充 。 

每 个 结 点 有 男 外 两 个 属性 。 把 结 点 x 的 孩子 链表 中 的 孩子 数目 储存 在 x. degree。 布 尔 值 属 
性 x. mark 指示 结 点 xz 自从 上 一 次 成 为 男 一 个 结 点 的 孩子 后 ， 是 否 失 去 过 孩子 。 新 产生 的 结 点 是 
未 被 标记 的 ， 并 且 当 结 点 z 成 为 男 一 个 结 点 的 孩子 时 ， 它 便 成 为 未 被 标记 结 点 。 直 到 19. 3 节 的 
DECREASE-KEY 操作 ， 我 们 才 把 所 有 的 mark 属性 值 设 为 FALSE, 

通过 指针 H. min 来 访问 一 个 给 定 的 斐 波 那 契 堆 互 ， 该 指针 指向 具有 最 小 关键 字 的 树 的 根 结 
点 ， 我 们 把 这 个 结 点 称 为 斐 波 那 契 堆 的 最 小 结 点 (minimum node) 。 如 果 不 止 一 个 根 结 点 具有 最 
小 关键 字 ， 那 么 这 些 根 结 点 中 的 任何 一 个 都 有 可 能 成 为 最 小 结 点 。 如 果 一 个 斐 波 那 契 堆 H 是 空 
的 ， 那 么 H. min NIL, 

在 斐 波 那 契 堆 中 ， 所 有 树 的 根 都 用 其 ieft 和 right 指针 链 成 一 个 环形 的 双 链 表 ， 该 双 链 表 称 
Fy SER AB SS HEY) AR HERR (root list)。 因 此 ， 指 针 H. min 指向 根 链表 中 关键 字 最 小 的 那个 结 点 。 根 
链表 中 的 树 次 序 可 以 任意 。 

我 们 还 要 用 到 斐 波 那 契 堆 互 的 另 一 个 属性 : Hen, Zeon 互 中 当前 的 结 点 数目 。 

势 函数 

正如 上 面 提 到 的 ， 将 使 用 17. 3 节 中 的 势 方法 来 分 析 斐 波 那 契 堆 操作 的 性 能 。 对 于 一 个 给 定 
的 斐 波 那 契 堆 H, FA 上 五 ) 来 表示 H PRR PMA. M mH) 来 表示 H 中 已 标记 的 结 点 
数目 。 然 后 ， 定 义 斐 波 那 契 堆 H 的 势 函 数 OCH) 如 下 : 

CH) = tH) + 2m(H) (19. 1) 

(19.3 节 会 给 出 这 样 定义 的 一 些 直观 解释 。) 例 如 ， 图 19-2 中 所 示 的 斐 波 那 契 堆 的 势 为 5 十 2X 3= 
11。 一 系列 斐 波 那 契 堆 的 势 等 于 各 个 斐 波 那 契 堆 势 的 和 。 假 定 势 的 一 个 单位 可 以 支付 常数 数目 的 
工作 ， 该 常数 要 足够 大 ， 能 够 支付 我 们 可 能 遇 到 的 任何 特定 的 常数 时 间 的 工作 。 

假定 斐 波 那 契 堆 应 用 开始 时 ， 都 没有 堆 。 因 此 ， 势 初始 值 为 0， 而 且 根 据 公 式 (19.1)， 势 在 
随后 的 任何 时 间 内 均 不 为 负 。 依 据 公 式 (17. 3) ， 对 于 某 一 操作 序列 来 说 ， 总 的 摊 还 代价 的 上 界 就 
是 其 总 的 实际 代价 的 上 界 。 

最 大 度数 

在 本 章 剩 下 几 节 中 ， 对 于 摊 还 分 析 均 假定 ， 在 一 个 ?个 结 点 的 斐 波 那 契 堆 中 任何 结 点 的 最 大 
度数 都 有 上 界 DC(n)。 在 此 我 们 不 证 明 这 一 假定 ， 但 是 如 果 仅 仅 是 支持 可 合并 堆 的 操作 ， 那 么 
Din) 过 Llgn」( 思 考题 19-2d 要 求 读 者 证 明 这 一 性 质 .) 在 19.3 节 和 19.4 节 中 ， 当 支持 
DECREASE-KEY 和 DELETE 操作 时 ， 也 要 求 Dln) = OUgn) 。 


19.2 可 合并 堆 操 作 


斐 波 那 契 堆 上 的 一 些 可 合并 堆 操作 要 尽 可 能 长 地 延 后 执行 。 不 同 的 操作 可 以 进行 性 能 平衡 。 
例如 ， 用 将 一 个 结 点 加 入 根 链表 的 方式 来 插 人 一 个 结 点 ， 这 样 仅 需 耗费 常数 时 间 。 如 有 果 从 空 的 裴 
波 那 奥 堆 开始 ， 插 入 & 个 结 点 ， 斐 波 那 契 堆 将 由 一 个 正好 包含 个 结 点 的 根 链表 组 成 。 如 采 在 右 波 
RHE 及 上 执行 一 个 EXTRACT-MIN 操作 ， 在 移 除 H. min 指向 的 结 点 后 ， 将 不 得 不 遍历 根 链表 
中 剩 下 的 一 1 个 结 点 来 找 出 新 的 最 小 结 点 ， 这 里 便 存在 性 能 平衡 问题 。 只 要 我 们 在 执行 EXTRACT 
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MIN 操作 中 遍历 整个 根 链表 ， 并 且 把 结 点 合并 到 最 小 堆 序 树 中 以 减 小 根 链表 的 规模 。 下 面 将 看 到 ， 
不 论 根 链表 在 执行 EXTRACT-MIN 操作 之 前 是 什么 样子 ， 执 行 完 该 操作 之 后 ， 根 链表 中 的 每 个 结 点 
要 求 有 一 个 与 根 链表 中 其 他 结 点 均 不 同 的 度数 ， 这 使 得 根 链表 的 规模 最 大 是 Din) 十 1 。 

创建 一 个 新 的 斐 波 那 契 堆 

创建 一 个 空 的 斐 波 那 契 堆 ，MAKE-FIB-HEAP 过 程 分 配 并 返回 一 个 斐 波 那 契 堆 对 象 H, 其 
H H. n=0 #4 H. min=NIL, H PREEN. AX tH =0M mH) =0, ， 空 斐 波 那 契 堆 的 势 为 
CH) 天 0 。 因 此 ，MAKE-FIB-HEAP 的 摊 还 代价 等 于 它 的 实际 代价 OCD 。 

插入 一 个 结 点 

下 面 的 过 程 将 结 点 xz 插入 莫 波 那 契 堆 电 中 ,假定 该 结 点 已 经 被 分 配 ，x. key 已 经 被 赋值 。 


FIB-HEAP-INSERT(H, zx) 
1 x. degree = 0 
2 x.p = NIL 
3 zx. child = NIL 
4 2x. mark = FALSE 
5 if H.min == NIL 
6 create a root list for H containing just x 
7 H. min = x 
8 else insert x into H’s root list 
9 if x. key < H. min. key 
10 H. min = x 
11 Hn=H.n+1 


第 1~4 行 初始 化 结 点 z 的 一 些 属性 。 第 TUS ARH HBAS. MRAZ, AA 
第 6 一 ?7 行使 得 z 成 为 互 的 根 链表 中 唯一 的 结 点 ， 并 将 H. min 指向 x; 否则 ,第 8 一 10 行将 结 点 
zA H 的 根 链表 中 ， 如 果 有 必要 ， 就 更 新 了 H. min。 最 后 ,第 11 行 昌 .n 增 1 来 反映 新 结 点 的 加 
人 。 图 19-3 展示 了 一 个 具有 关键 字 21 的 结 点 插入 图 19-2 所 示 的 斐 波 那 契 堆 中 。 


H.min H.min 





图 19-3 ”将 一 个 结 点 插入 斐 波 那 契 堆 。(a) 斐 波 那 契 堆 五 。(b) 插 人 关键 字 为 21 的 结 点 后 的 斐 波 
ASHE 五 。 该 结 点 自 成 一 棵 最 小 堆 序 树 ， 然 后 被 插入 根 链 表 中 ， 成 为 根 的 左 兄 弟 


为 了 确定 FIB-HEAP-INSERT 的 摊 还 代价 ， 设 互 是 输入 的 斐 波 那 契 堆 ， 五 ' 是 结果 斐 波 那 契 

HE. IA CH’) = H) +14 m(H') = mH) ， 并 且 势 的 增加 量 为 ; 
CCH) +1) + 2mCH)) — OCH) + 2mCH)) = 1 

由 于 实际 代价 为 0(1) ， 因 此 摊 还 代价 为 O(1) 十 1 = O(1) 。 

寻找 最 小 结 点 

斐 波 那 契 堆 的 最 小 结 点 可 以 通过 指针 H. min 得 到 。 因 此 ， 可 以 在 O(1) 的 实际 代价 内 找到 最 
小 结 点 。 由 于 互 的 势 没 有 发 生变 化 ， 因 此 该 操作 的 捧 还 代价 等 于 它 的 实际 代价 O(1) 。 

两 个 斐 波 那 契 堆 的 合并 

下 面 的 过 程 合并 斐 波 那 契 堆 H, MH, ， 并 在 该 过 程 中 销毁 H, 和 H,。 它 简单 地 将 H 和 H, 

的 根 链表 链接 ， 然 后 确定 新 的 最 小 结 点 。 之 后 ， 表 示 H M H, 的 对 象 将 不 再 使 用 。 
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FIB-HEAP-UNION(CH, , H2) 

H = MAKE-FIB-HEAP() 

H. min = H,. min 

concatenate the root list of H, with the root list of H 

if (H,. min = = NIL) or (H2. min ANIL and H;,. min. key < Hi. min. key) 
H. min = H,. min 

H.n = H,.n+ H,.n 


return H 


第 1 一 3 行将 H, 和 A, 的 根 链表 链接 成 为 H 的 新 根 链 表 。 第 2、4、5 行 设 定 H 的 最 小 结 点 ， 
第 6 行将 瓦 .” 设 为 所 有 结 点 的 个 数 。 第 7 行 返回 作为 结果 的 斐 波 那 契 堆 互 。 与 FIB-HEAP- 
INSERT 过 程 相同 ， 所 有 的 根 结 点 仍 为 根 结 点 。 

势 函 数 的 变化 为 : 
PCH) — (BH)+ ®CH,)) = OCH) +2m(H)) — CCH) + 2mCH,)) + CH) + 2m H,))) 

= 0 

因为 CH) = tCH,) +CH) 和 和 (万 ) = mH) +m(H,) ， 所 以 FIB-HEAP-UNION 的 摊 还 代价 
等 于 它 的 实际 代价 OO). 

抽取 最 小 结 点 

抽取 最 小 结 点 的 过 程 是 本 节 所 介绍 的 操作 中 最 为 复杂 的 一 个 。 这 里 还 要 介绍 前 面 提 到 的 在 
根 链表 中 合并 树 的 延 后 工作 。 下 面 的 伪 代 码 是 抽取 最 小 结 点 的 。 为 了 简便 该 代码 ， 假 定 当 一 个 结 
所 从 链表 中 移 除 后 ， 留 在 链表 中 的 指针 要 被 更 新 ， 但 是 抽取 出 的 结 点 中 的 指针 并 不 改变 。 该 代码 

还 调用 一 个 辅助 过 程 CONSOLIDATE， 稍 后 将 介绍 。 


FIB-HEAP-EXTRACT-MIN(H) 
l z= H. min 
2 ifz ANIL 
3 for each child x of z 
add zx to the root list of H © 
x. p = NIL 


NY Dm oO fF WH N 一 


remove z from the root list of H 


4 
5 
6 
7 if z = = z. right 
8 
9 


H. min = NIL 
else H. min = z. right 
10 CONSOLIDATE(H) 
11 H. n = H.n-1 


12 return z 


如 图 19-4 所 示 ，FIB-HEAP-EXTRACT-MIN 首先 将 最 小 结 点 的 每 个 孩子 变 为 根 结 点 ， 并 从 
根 链表 中 删除 该 最 小 结 点 。 然 后 通过 把 具有 相同 度数 的 根 结 点 合并 的 方法 来 链接 成 根 链表 ， 直 
到 每 个 度数 至 多 只 有 一 个 根 在 根 链 表 中 。 

首先 第 1 行 保存 一 个 指向 最 小 结 点 的 指针 z， 该 程序 最 后 返回 这 个 指针 。 如 果 z 为 NIL, Hf 
么 斐 波 那 契 堆 为 空 ， 可 以 结束 ; 否则， 在 第 3 一 5 行 中 让 z 的 所 有 孩子 成 为 互 的 根 结 点 (把 它们 
HARER), HER 6 行 从 根 链表 中 移 除 z, XAF z EAH 中 删除 了 。 执 行 完 第 6 行 之 后 ， 如 
果 z 是 它 自身 的 右 兄弟 ， 那 么 z 是 根 链表 中 仅 有 的 一 个 结 点 并 且 它 没有 孩子 结 点 。 这 样 所 有 和 狮 下 
的 工作 是 在 返回 之前， 第 8 行使 斐 波 那 兢 堆 成 为 空 堆 。 否则 ， 把 指针 H. min 指向 根 链表 中 除 > 
之 外 的 某 个 根 结 点 (这 里 是 z 的 右 兄弟 )， 该 根 结 点 没有 必要 一 定 是 FIB-HEAP-EXTRACT-MIN 
执行 完 后 的 新 的 最 小 结 点 。 图 19-4(b) 所 示 的 是 图 19-4(a) 执 行 完 第 9 行 之 后 的 斐 波 那 契 堆 。 
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图 19-4 FIB-HEAP-EXTRACT-MIN 的 执行 过 程 。(a) 斐 波 那 契 堆 互 。(b) 从 根 链表 中 移 除 最 小 结 点 z 
并 把 它 的 孩子 加 入 根 链表 后 的 情形 。(c) 一 (e) 过 程 CONSOLIDATE 中 第 4 一 14 行 for 循环 的 前 
三 次 迭代 中 ， 每 一 次 迭代 完 后 的 树 以 及 数组 A 的 情况 。 该 过 程 对 根 链表 的 处 理 是 从 互 . min 指 
向 的 结 点 开始 的 ， 并 沿 着 right 指针 的 方向 进行 。 每 个 图 都 显示 出 了 每 一 次 迭代 之 后 的 记 和 xz 
值 。( 纪 一 (bfor 循环 接 下 来 的 一 次 迭代 ， 显 示 了 第 7 一 13 行 的 while 循环 每 一 次 迭代 之 后 的 ww 
和 工 值 。 图 ( 旨 展 示 了 while 循环 第 一 次 执行 后 的 情形 。 关 键 字 为 23 的 结 点 被 链接 到 关键 字 为 7 
的 结 点 ， 后 者 也 是 z 当前 所 指向 的 结 点 。 图 (g) 中， 关键 字 为 17 的 结 点 被 链接 到 关键 字 为 7 的 
绪 氮 ， 后 者 仍 由 工 所 指向 。 图 (hb 中， 关键 字 为 24 的 结 点 被 链接 到 关键 字 为 7 的 结 点 。 由 于 之 
前 AL3J 没 有 指向 任何 结 点 ， 在 for 的 这 一 次 和 迭代 后 ，A[L3] 被 设 为 指向 结果 树 的 根 结 点 。(iD 一 
(CD for 循环 剩 下 的 4 次 迭代 中 每 一 次 迭代 后 的 情形 。(m) 依 据 数组 A 重 构 根 链表 以 及 确定 新 的 
H. min 指针 后 的 斐 波 那 契 堆 H 
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下 一 步 是 合并 (consolidating) 互 的 根 链表 ， 通 过 调用 CONSOLIDATE( 五 ) 来 减少 斐 波 那 契 堆 
中 树 的 数目 。 合 并 根 链表 的 过 程 为 重复 执行 以 下 步 又， 直到 根 链 表 中 的 每 一 个 根 有 不 同 的 度数 。 
1. 在 根 链表 中 找到 两 个 具有 相同 度数 的 根 zx 和 y。 不 失 一 般 性 ， 假 定 x. heyy. key. 
2. 把 y ERr: 从 根 链表 中 移 除 y， 调 用 FIB-HEAP-LINK 过 程 ， 使 > 成 为 z 的 孩子 。 该 
过 程 将 x. degree 属性 增 1， 并 清除 > 上 的 标记 。 
过 程 CONSOLIDATE 使 用 一 个 辅助 数组 ALO.. DCH. n)] 来 记录 根 结 点 对 应 的 度数 的 轨迹 。 
WR A[ij = y ， 那 么 当前 的 y 是 一 个 具有 y. degree=i 的 根 。 当 然 ， 为 了 分 配 数组 必须 知道 如 何 
计算 最 大 度数 的 上 界 DCA. n) ， 但 这 些 将 在 19. 4 节 中 介绍 。 


CONSOLIDATE(H) 
1 let ALO.. D(H. n)] be a new array 
2 for: = 0 to D(H. n) 
3 ALi ]=NIL 
4 for each node w in the root list of H 
9 x= w 
6 d = zx. degree 
7 while A[d] = NIL 
8 y = Ald] // another node with the same degree as x 
9 


if x. key > y. key 


10 exchange x with y 

11 FIB-HEAP-LINK(H,y, x) 
12 ALdj= NIL 

13 d=d+1 


14 Aldj= =z 
15 H.min = NIL 
16 fori = 0 to D(H. n) 


17 if ALi] = NIL 

18 if H. min == NIL 

19 create a root list for H containing just ALi] 
20 H. min = Ali] 

21 else insert A[i] into H’s root list 

22 if ALi]. key < H. min. key 

23 H. min = Ali] 


FIB-HEAP-LINK(H, y, x) 

1 remove y from the root list of H 

2 make ya child of x, incrementing x. degree 

3 y.mark = FALSE 

具体 地 说 ，CONSOLIDATE 过 程 工 作 如 下 。 第 1 一 3 行 分 配 数组 A， 并 将 数组 A 的 每 个 元 素 
初始 化 为 NIL。 第 4 一 14 行 的 for 循环 处 理 根 链表 中 的 每 个 根 结 点 w。 由 于 要 把 根 链接 起 来 ， 因 
此 也 可 能 被 链接 到 其 他 的 结 点 上 ， 不 再 是 一 个 根 。 然 而 ， 也 必然 在 以 某 个 结 点 Z ARYA, x 可 
能 是 也 可 能 不 是 w 本身 。 因 为 想 要 每 个 根 都 有 不 同 的 度数 ， 所 以 查找 数组 A 来 确定 是 否 有 茶 个 
根 y 与 x 有 相同 度数 。 如 果 有 ， 则 把 根 z Ay 链接 起 来 ， 并 保证 链接 完 后 z 仍然 是 一 个 根 。 也 就 
是 说 ， 如 果 y 的 关键 字 小 于 z 的 关键 字 ， 则 先 交换 指向 这 两 个 根 的 指针 ， 再 把 y 链接 到 zx。 在 y 

516) 链接 到 zz 以 后 ，z 的 度数 增加 1， 继 续 执行 这 个 过 程 ， 把 x 和 另 一 个 与 z 的 新 度数 相同 的 根 链接 ， 

直到 处 理 过 的 根 没有 与 zx 有 相同 的 度数 。 然 后 ， 将 A 的 相应 关 元 素 指 向 zx。 这 样 处 理 后 续 根 时 ， 
已 经 记录 z 是 已 处 理 过 的 根 中 具有 该 度数 的 唯一 根 。 当 这 个 for 循环 结束 时 ， 每 个 度数 下 至 多 只 
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有 一 个 根 ， 数 组 A 指向 每 个 剩 下 的 根 。 

第 7 一 13 行 的 while 循环 重复 地 将 包含 结 点 包 的 以 z 为 根 的 树 与 和 >z 度数 相同 的 根 相 链接 ， 
直到 没有 其 他 的 根 与 x 有 相同 的 度数 。 这 个 while 循环 维持 了 如 下 的 不 变 式 : 

在 while 循环 的 每 次 迭代 开始 处 ，d 一 二 degree 

使 用 这 一 循环 不 变 式 如 下 : 

初始 化 : 第 6 行 确 保 第 一 次 进入 该 循环 时 ， 该 循环 不 变 式 成 立 。 

保持 : 在 while 循环 的 每 一 次 迭代 中 ，ALagj 指 向 某 个 根 yo AA d=x. degree=y. degree, W 
此 要 链接 z Aly. PE xc Aly 中 哪个 具有 更 小 的 关键 字 ， 链 接 操 作 之 后 ， 该 结 点 成 为 为 一 个 结 点 
的 父 结 点 ， 因 此 如 有 必要 ， 第 9 一 10 行 交 换 指 向 x 和 y 的 指针 。 接 下 来 ， 在 第 11 行 通过 调用 
FIB-HEAP-LINK(H, y, x)4@ y 链接 到 x。 这 个 调用 增加 了 x. degree É, M y degree ind. 
结 点 y 不 再 是 一 个 根 结 点 ， 因 此 第 12 行 从 数组 A 中 删除 指向 它 的 指针 。 由 于 调用 FIB-HEAP- 
LINK 增加 了 x. degree 的 值 ， 第 13 行 恢 复 不 变 式 d=z. degree. 

终止 : BR while 循环 直到 AL4j= 二 NIL， 在 这 种 情形 下 ， 没 有 其 他 的 根 与 xz 有 相同 的 度数 。 

while 循环 结束 后 ， 在 第 14 行将 ALARA x, HT for 循环 的 下 一 轮 和 迭代 。 

图 19-4(c) 一 (e) 示 出 了 第 4 一 14 行 for 循环 前 三 轮 和 迭代 后 的 数组 A 和 结果 树 。 在 for 循环 的 
下 一 轮 迭 代 中 ， 发 生 了 三 次 链接 ， 它 们 的 结果 如 图 19-4( 纪 一 (h) 所 示 。 图 19-40) ~() eas 了 for 
循环 接 下 来 4 轮 迭 代 后 的 结果 。 

其 余 的 工作 就 是 清理 。 一 旦 第 4~14 行 的 for 循环 完成 ,第 15 行 清空 根 链 表 ， 第 16 一 23 行 
依据 数组 A 来 重 构 根 链表 。 最 后 得 到 的 斐 波 那 契 堆 如 图 19-4(m) 所 示 。 根 链表 合并 完 后 ，FIB- 
HEAP-EXTARCT-MIN 在 第 11 行 减 小 H. n, ÆR 12 行 返回 指 癌 被 删除 的 结 点 z 的 指针 ， 然 后 
结束 程序 。 

现在 来 证 明 从 一 个 个 结 点 的 斐 波 那 契 堆 中 抽取 最 小 结 点 的 摊 还 代价 为 OCLD(n)) . KAR 
示 执 行 FIB-HEAP-EXTARCT-MIN 操作 之 前 的 斐 波 那 契 堆 。 

首先 给 出 抽取 最 小 结 点 的 实际 代价 。FIB-HEAP-EXTRACT-MIN 最 多 处 理 最 小 结 点 的 DOn) 
个 孩子 ， 再 加 上 CONSOLIDATE 中 第 2 一 3 行 和 第 16 一 23 行 的 工作 ， 合 计 需 要 的 时 间 代 价 为 
O(D(n)) 。 剩 下 的 是 分 析 CONSOLIDATE 中 第 4 一 14 行 的 for 循环 代价 ， 这 一 部 分 我 们 使 用 聚 
合 分 析 。 因 为 原始 的 根 链表 中 有 (H) 个 结 点 ， 减 去 抽取 出 的 结 点 ， 再 加 上 抽取 出 的 结 点 的 孩子 
结 点 (至 多 为 D(n)) ， 所 以 调用 CONSOLIDATE 时 根 链表 的 大 小 最 大 为 Din) +t(H)—-1. 4 
第 4 一 14 行 for 循环 的 一 轮 迭 代 中 ， 第 7 一 13 FT while 循环 的 迭代 次 数 取决 于 根 链表 。 但 是 我 
们 知道 每 次 调用 while 循环， 总 有 一 个 根 结 点 被 链接 到 另 一 个 上 ， 因 此 for 循环 的 所 有 迭代 中 ， 
while 循环 的 总 次 数 最 多 为 根 链表 中 根 的 数目 。 因 此 ，for 循环 的 总 工作 量 最 多 S D(n) +CH) 成 
正比 。 所 以 ， 抽 取 最 小 结 点 的 总 实际 工作 量 为 OC(D(n) +H) 。 

抽取 最 小 结 点 之 前 的 势 为 t¢CH)+2m(A) ， 因 为 最 多 有 D(z) 十 1 个 根 留 下 且 在 该 过 程 中 没有 
任何 结 点 被 标记 ， 所 以 在 该 操作 之 后 势 最 大 为 (Din) 十 1) 十 2m( 晶 ) 。 所 以 摊 还 代价 最 多 为 : 

OCD) + tCH)) + CDn) 十 1) + 2mCA)) — CH) + 2mCA)) 
= OCD(n)) + O@(H)) — t( H) 
© = O0CD()) 

因为 可 以 增 大 势 的 单位 来 支配 隐藏 在 OCH) 中 的 常数 。 直 观 上 讲 ， 由 于 每 次 链接 操作 均 
把 根 的 数目 减 小 1， 因 此 每 次 链接 操作 的 代价 可 以 由 势 的 减 小 来 支付 。 我 们 将 在 19.4 节 中 看 到 
D(n) = OUgn) ， 因 此 抽取 最 小 结 点 的 挫 还 代价 为 OUgn) 。 


练习 
19.2-1 给 出 图 19-4(m) 中 的 韭 波 那 契 堆 调用 FIB-HEAP-EXTRACT-MIN 后 得 到 的 斐 波 那 契 堆 。 
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19.3 关键 字 减 值 和 删除 一 个 结 点 


本 节 介 绍 如 何在 O(1) 的 摊 还 时 间 内 减 小 斐 波 那 契 堆 中 某 个 结 点 的 关键 字 的 值 ， 以 及 如 何在 
OCD(n)) 挫 还 时 间 内 从 一 个 个 结 点 的 辈 波 那 契 堆 中 删除 一 个 结 点 。19. 4 市 将 证 明 最 大 度数 
D(n) Æ OUgn) ， 这 可 以 推出 FIB-HEAP-EXTRACT-MIN 和 FIB-HEAP-DELETE 能 在 Ol(lgn) 
的 摊 还 时 间 代 价 内 完成 。 

关键 字 减 值 

在 下 面 FIB-HEAP-DECREASE-KEY 操作 的 伪 代 码 中 ， 与 前 面 一 样 假定 从 一 个 链表 中 移 除 
一 个 结 点 不 改变 被 移 除 的 结 点 的 任何 结构 属性 。 

FIB-HEAP-DECREASE-KEY(H, z, k) 

l ifk > x. key 

2 error “new key is greater than current key” 

3 xz key=k 

4 y=u2up 

5 if y # NIL and z. key < y. key 

6 CUT(H, zx, y) 

7 CASCADING-CUT(H, y) 

8 if x. key = H. min. key 

9 H. min= x 

CUT(H, zx, y) 

1 remove z from the child list of y, decrementing y. degree 
2 add z to the root list of H 

3 2p = NIL 

4 2z.mark = FALSE 
CASCADING-CUT(H, y) 

l z= yp 

2 ifz Æ NIL 

3 if y. mark = = FALSE 

4 y. mark = TRUE 

5 else CUT(H, y, z) 

6 CASCADING-CUT(H,z ) 


FIB-HEAP-DECREASE-KEY 过 程 工作 如 下 。 第 1 一 3 行 保证 新 的 关键 字 不 比 z 的 当前 关键 
字 大 ， 然 后 把 新 的 关键 字 赋 值 给 x。 如 果 z 是 根 结 点 ， 或 者 如 果 x. key>y. key， 此 处 yr HL 
结 点 ， 那 么 不 需要 进行 结构 上 的 任何 改变 ， 因 为 没有 违反 最 小 堆 序 。 第 4 一 5 行 即 为 测试 这 一 
条 件 。 

如 果 违 反 了 最 小 堆 序 ， 那 么 需要 进行 很 多 改变 。 首 先 在 第 6 行 切断 (cuting)z。CUT 过 程 切 
B's 与 其 父 结 点 y CMBR, Bir 成 为 根 结 点 。 

我 们 使 用 mark 属性 来 得 到 需要 的 时 间 界 。 该 属性 记录 了 每 个 结 点 的 一 小 段 历史 。 假 定 下 面 
的 步骤 已 经 发 生 在 结 点 x 上: 

1. 在 某 个 时 刻 ，z FEAR 

2. 然后 z 被 链接 到 另 一 个 结 点 (成 为 孩子 结扎 )。 

3. 然后 工 的 两 个 孩子 被 切断 操作 移 除 。 

一 旦 失掉 第 二 个 孩子 ， 就 切断 z 与 其 父 结 点 的 链接 ， 使 它 成 为 一 个 新 的 根 。 如 果 发 生 了 第 1 
步 和 第 2 步 且 z 的 一 个 孩子 被 切 掉 ， 那 么 属性 x. mark 为 TRUE。 因 此 ， 由 于 CUT 过 程 执行 了 
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第 1 步 ， 所 以 它 在 第 4 行 清除 x. mark。( 现 在 我 们 知道 了 为 什么 FIB-HEAP-LINK 中 第 3 行 清除 
y. mark; 因为 结 点 y 正 被 链接 到 另 一 个 结 点 上 ， 即 上 面 的 第 2 步 正 被 执行 。 下 一 次 如 果 y 的 一 
个 孩子 被 切 掉 ， 则 y. mark BIA TRUE.) 

我 们 的 工作 还 没有 完成 ， 因 为 z 可 能 是 其 父 结 点 y 被 链接 到 男 一 个 结 点 后 被 切 掉 的 第 二 个 孩 
子 。 因 此 ，FIB-HEAP-DECREASE-KEY 的 第 7 行 尝试 在 结 点 y 上 执行 一 次 级 联 切 断 (cascading- 
cut) 操 作 。 如 果 y 是 一 个 根 结 点 ， 那 么 CASCADING-CUT 的 第 2 行 测试 将 使 得 该 过 程 返回 。 如 
R y 是 未 被 标记 的 结 点 ， 既 然 它 的 第 一 个 孩子 已 经 被 切 掉 ， 那 么 该 过 程 在 第 4 行 标记 它 ， 并 返 
回 。 然 而 ， 如 果 y 是 被 标记 过 的 ， 则 y 刚刚 失去 了 它 的 第 二 个 孩子 ， 那 么 y 在 第 5 行 被 切 掉 ， 且 
第 6 行 CASCADING-CUT 递归 调用 它 本 身 来 处 理 y 的 父 结 点 z。CASCADING-CUT 过 程 沿 着 树 
一 直 递 归 向 上 ， 直 到 它 遇 到 根 结 点 或 者 一 个 未 被 标记 的 结 点 。 

一 旦 所 有 的 级 联 切 断 都 完成 ， 如 果 有 必要 ，FIB-HEAP-DECREASE-KEY 的 第 8 一 9 行 就 更 
新 H. min， 然 后 结束 程序 。 唯 一 一 个 关键 字 发 生 改 变 的 结 点 是 关键 字 被 减 小 的 结 点 z。 因 此 ， 新 
的 最 小 结 点 要 么 是 原来 的 最 小 结 点 ， 要 么 是 结 点 z。 

图 19-5 展示 了 两 次 调用 FIB-HEAP-DECREASE-KEY 的 执行 过 程 ， 初 始 的 韭 波 那 契 堆 如 
图 19-5(a) 所 示 。 图 19-5(b) 所 示 的 是 第 一 次 调用 ， 其 中 不 涉及 任何 级 联 切断 。 图 19-5(c)~Ce) 
所 示 的 是 第 二 次 调用 ， 其 中 引发 了 两 次 级 联 切断 。 


H.min H.min 





图 19-5 FIB-HEAP-DECREASE-KEY 的 两 次 调用 。(a) 初 始 的 斐 波 那 契 堆 。(b) 关 键 字 为 46 的 
结 点 将 关键 字 减 小 到 15。 该 结 点 成 为 一 个 根 结 点 ， 它 的 父 结 点 (具有 关键 字 24) 之 前 没 
有 被 标记 ， 现 在 被 标记 了 。(c) 一 (e) 关 键 字 为 35 的 结 点 将 关键 字 减 小 到 5。 图 (c) 中 ， 
该 结 点 的 关键 字 已 经 为 5， 变 为 根 结 点 。 它 的 父 结 点 (关键 字 为 26) 是 被 标记 过 的 ， 因 
此 需要 调用 一 个 级 联 切 断 操作 。 关 键 字 为 26 的 结 点 被 从 父 结 点 上 剪 切 下 来 ， 成 为 
图 Cd) 中 的 一 个 未 被 标记 的 根 。 另 一 个 级 联 切断 操作 需要 执行 ， 因 为 关键 字 为 24 的 结 
点 也 已 经 被 标记 。 该 结 点 被 从 它 的 父 结 点 上 剪 切 下 来 ， 成 为 图 (e) 中 的 一 个 未 被 标记 的 
根 。 因 为 关键 字 为 7 的 结 点 是 个 根 ， 所 以 级 联 切断 操作 在 此 结束 。( 即 使 这 个 结 点 不 是 
根 ， 级 联 操作 也 会 结束 ， 因 为 它 未 被 标记 。) 图 (e) 展 示 了 FIB-HEAP-DECREASE-KEY 
操作 后 的 结果 ， 其 中 H. min 指向 了 新 的 最 小 结 点 
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现在 来 证 明 FIB-HEAP-DECREASE-KEY 的 摊 还 代价 为 O(1) 。 先 来 推导 它 的 实际 代价 。 
FIB-HEAP-DECREASE-KEY 过 程 需 要 OC) SEY |B], BRT ERD ERE AT IA). (EE 
给 定 的 FIB-HEAP-DECREASE-KEY 调用 中 ， 要 调用 c 次 CASCADING-CUT ( FIB-HEAP- 
DECREASE-KEY 中 第 7 行 的 调用 引发 了 CASCADING-CUT 的 c 一 1 次 递归 调用 )。 
CASCADING-CUT 的 每 一 次 调用 (不 包括 递归 调用 ) 需 要 O(1) 的 时 间 。 因 此 ， 包 含 所 有 的 递归 调 
用 后 ，FIB-HEAP-DECREASE-KEY 的 实际 代价 为 O(c) 。 

接 下 来 计算 势 的 变化 。 设 H Æ FIB-HEAP-DECREASE-KEY 操作 执行 之 前 的 斐 波 那 契 堆 。 
FIB-HEAP-DECREASE-KEY 的 第 6 行 调用 CUT 创建 了 一 棵 以 结 点 z 为 根 的 新 树 ， 并 清除 了 x 
的 标记 位 (该 标记 位 可 能 已 经 是 FALSE)。 除 了 最 后 一 次 调用 ， 其 他 每 一 次 调用 CASCADING- 
CUT， 均 切 掉 一 个 标记 过 的 结 点 并 清除 该 结 点 的 标记 位 。 此 后 ， 斐 波 那 契 堆 包含 CH) +c RH 
(原来 的 CH) 棵 数 ，c 一 1 棵 被 级 联 切 断 操作 产生 的 树 ， 以 及 以 结 点 z 为 根 的 树 )， 而 且 最 多 有 
ml 日) 一 c 十 2 个 被 标记 的 结 点 Cc 一 1 个 结 点 被 级 联 切 断 操 作 清除 标记 ， 最 后 一 次 调用 
CASCADING-CUT 可 能 又 标记 了 一 个 结 点 )。 因 此 势 的 变化 最 多 为 : 

((tCH) +c) + 2¢mCH) —c+2)) — aH) +2m(H)) =4—c 
lit, FIB-HEAP-DECREASE-KEY 的 摊 还 代价 至 多 是 
O(c) +4—¢ = O) 
因为 可 以 将 势 的 单位 增 大 到 能 文 配 OCc) 中 隐藏 的 常数 。 

现在 读者 应 该 清楚 为 什么 在 定义 势 函 数 时 ， 要 包含 一 个 2 倍 于 标记 结 点 数目 的 项 。 当 一 个 标 
记 的 结 点 > 被 一 个 级 联 切断 操作 切 掉 时 ， 它 的 标记 位 被 清空 ， 这 使 得 势 减 小 2。 一 个 单位 的 势 支 
付 切 断 和 标记 位 的 清除 ， 另 一 个 单位 补偿 了 因为 结 点 y 变 成 根 而 增加 的 势 。 

删除 一 个 结 点 

下 面 的 伪 代 码 在 ODM) 的 挫 还 时 间 内 从 一 个 具有 7 个 结 点 的 斐 波 那 契 堆 中 删除 一 个 结 点 。 
假定 在 斐 波 那 契 堆 中 任何 关键 字 的 当前 值 均 不 为 一 oo。 

FIB-HEAP-DELETE(H, x) 


1 FIB-HEAP-DECREASE-KEY(H, zx,~—o°°) 
2 FIB-HEAP-EXTRACT-MIN(HA) 


FIB-HEAP-DELETE 把 唯一 的 最 小 关键 字 一 oo 赋予 z， 将 xz BASE RARE PR). 
然后 FIB-HEAP-EXTRACT-MIN 过 程 从 斐 波 那 契 堆 中 移 除 z。FIB-HEAP-DELETE 的 摊 还 时 间 
为 FIB-HEAP-DECREASE-KEY 的 OCL) 摊 还 时 间 与 FIB-HEAP-EXTRACT-MIN 的 OC(D(n)) 捧 
还 时 间 之 和 。 因 为 在 19. 4 节 中 将 证 明 D = OU gn) ， 所 以 FIB-HEAP-DELETE 的 摊 还 时 间 为 
OUgn) 。 


练习 

19.3-1 假定 斐 波 那 契 堆 中 一 个 根 x 被 标记 了 。 解 释 z 是 如 何 成 为 一 个 被 标记 的 根 的 。 试 说 明 > 
是 否 被 标记 对 分 析 并 没有 影响 ， 即 使 它 不 是 一 个 先 被 链接 到 为 一 个 结 点 ， 后 又 丢失 了 一 
个 孩子 的 根 。 

19. 3-2 ”使 用 聚合 分 析 来 证 明 FIB-HEAP-DECREASE-KEY 的 OC) 摊 还 时 间 是 每 一 个 操作 的 平 
均 代 价 。 


19.4 最 大 度数 的 界 
要 证 明 FIB-HEAP-EXTARCT-MIN 和 FIB-HEAP-DELETE 的 挫 还 时 间 为 OUgn) ， 必 需 证 
明 一 个 具有 ?7 个 结 点 的 斐 波 那 契 堆 中 任意 结 点 的 度数 的 上 界 DM 为 Ol(gn) 。 特 别 地 ， 要 证 明 
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Din) <S Llog yn}, RE $ ATK. 24) 中 定义 的 黄金 分 割 率 : 
$ = (1 十 V5)/2 一 1.61803… 

这 个 分 析 的 关键 如 下 。 对 于 斐 波 那 契 堆 中 的 每 个 结 点 z， 定 义 size(z) 为 以 并 为 根 的 子 树 中 
包括 zz 本 身 在 内 的 结 点 个 数 ( 注 意 z 并 不 是 必须 在 根 链 表 中 ， 它 可 以 是 任意 的 结 点 。) 我 们 将 证 明 
size(x) 是 x. degree WE. BIC: x. degree 始终 是 z 的 度数 的 准确 计数 。 

引 理 19.1 设 工 是 斐 波 那 契 堆 中 的 任意 结 点 ， 并 假定 x. degree=k, KR» yor so MRD 
工 的 孩子 ， 并 以 它们 链 入 工 的 先后 顺序 排列 ， 则 ,degree 过 0， 且 对 于 ;一 2，3，…，A&， 有 
Yi. degree=i—2, 

WEAR 显然 ，y1. degree 之 0。 对 于 ;之 2， 注 意 到 当 Ji RHA x 的 时 候 ， Mo dor hs Ya 
经 是 z 的 孩子 ， 因 此 一 定 有 x. degree 之 ;一 1。 因 为 结 点 y 只 有 在 z. degree—y,. degree 的 时 候 ， 
Ty BEA z( 执 行 操作 CONSOLIDATE)， 此 时 也 一 定 有 y: degree 之 i 一 1。 从 这 之 后 ， 结 后 Y 
最 多 失去 一 个 孩子 ， 因 为 如 果 它 失去 了 两 个 孩子 ， 它 将 被 从 工 中 前 切 掉 (执行 操作 CASCADING- 
CUT). ZE, y: depgree 之 1 一 2。 ie 

我 们 终于 可 以 解释 “ 斐 波 那 契 堆 ”" 这 个 名 字 的 由 来 了 。 回 顾 3.2 7, MP k50, 1, 2, 0, 
第 4 个 斐 波 那 契 数 被 定义 为 如 下 递归 式 ， 


0 wR k=0 
F HF wRRS?2 


下 面 的 引 理 给 出 了 另 一 种 表示 F, 的 方法 。 
引 理 19.2 ”对 于 所 有 的 整数 kO, 


k 
| Fue = 1+ oF 
证 明 对 & 进 行 归纳 。 当 & 王 0 时 ， 
1+ DF, =14+F, =1+0=F, 


现 做 归纳 假设 Ra = 1+ D2) Fi, BAA 


k-] k 
Rw =FR Fma =R+(1+>)F) =14+ OF m 


引 理 19.3 ”对 于 所 有 的 整数 & 之 0， 斐 波 那 契 数 的 第 & 十 2 个 数 满足 Fat. 

证 明 ”对 进行 归纳 。 归 纳 基 础 是 二 0 和 &==1 的 情形 。 当 ==0 时 ， 有 二 1 一 加， 并 且 当 
k=1 时 ， 有 FF 二 2 这 1. 619 守 办。 归纳 步 是 对 于 & 宇 2， 假 定 对 于 i 二 0，1，…, & 一 1]， 有 F> 
P. E y EFAG. 23) 盖 一 z 十 1 的 正 根 。 因 此 ， 有 


Fre = Fen + F: 
SPITE AREA A A) 
一 办 (+1) 
=f? of (根据 等 式 (3. 23)) 
—# 


下 面 的 引 理 和 推论 完成 了 整个 分 析 。 

引 理 19.4 设 工 是 斐 波 那 契 堆 中 的 任意 结 点 ， 并 设 R 一 z. degree, UNA Size(z) > Fu ZË, 
其 中 % 一 (TI 十 V5)/2 。 

WEAR 设 5 表示 斐 波 那 契 堆 中 度数 为 & 的 任意 结 点 的 最 小 可 能 size。 平凡 地 ， 56 二 1，s1 王 2。 
ss 最 大 为 size(z) ， 且 因为 往 一 个 结 点 上 添加 孩子 不 能 减 小 该 结 点 的 size, s 的 值 随 着 & 单调 递 


302 。 第 五 部 分 高 级 数据 结构 


增 。 在 任意 斐 波 那 契 堆 中 ， 考 虑 某 个 结 点 z， 有 z degree 一 & 和 size(z) 一 %。 因 为 w% 委 size(Zz) ， 
所 以 可 以 通过 计算 s, 的 下 界 来 得 到 sizer) 的 一 个 下 界 。 与 引 理 19. 1 一 样 ， 用 Yis Yas ”pp 
表示 结 点 z 的 孩子 ， 并 按照 它们 链 和 该 结 点 的 先后 顺序 排列 。 为 了 求 s 的 界 ， 把 z 本 身 和 z 的 第 
一 个 孩子 y (size(y ) 1) 各 算 一 个 ， 则 有 


k k 
size(X) © s, > 2+ > A oe > WS 
i=2 i=2 


其 中 最 后 一 行 由 引 理 19. 1( 因 此 有 y: degree 之 i 一 2)， 以 及 s 的 单调 性 (因此 有 Sy, degre = 5:2) 
得 到 。 

现在 对 有 进行 归纳 证 明 ， 对 于 所 有 的 非 负 整数 &， 有 5 宇 Fi+;。 归 纳 基础 ，&==0 和 k= 二 1 时 显 
然 成 立 。 对 于 归纳 步 ， 假定 R 之 2 且 对 于 2 一 0，1，…，A 一 |， 均 有 ss 之 Ftz， 则 有 


k k k 
& 2+ dis. 24+ >)F =14 DF 
i 二 2 i 二 2 i=0 


=F} (ARE 5| #19. 2) 
= # (根据 引 理 19. 3) 
于 是 就 证 明了 size(Zz) Sy, >F ZË o E 
推论 19.5 —PnhKRASHERMPARRPHSSANRABRD(n) 为 Ol(lgn) 。 
证 明 设 z 是 一 个 n 个 结 点 的 韭 波 那 契 堆 中 的 任意 结 点 ， 并 设 有 = a. degree。 依 据 引 
理 19.4， 有 n> size(x) >. RUS HREN Z, HB) R<logyn,. (Kk, HA k ERZ. Hr 
Wk<llogn| 所以， 任意 结 点 的 最 大 度数 Dn) 为 OUgn) 。 i 


练习 


19. 4-1 Pinocchio 教授 声称 一 个 ?个 结 点 的 斐 波 那 契 堆 的 高 度 是 O(lgz) 的 。 对 于 任意 的 正 整 数 
-72， 试 给 出 经 过 一 系列 斐 波 那 契 堆 操 作 后 ， 可 以 创建 出 一 个 斐 波 那 契 堆 ， 该 堆 仅仅 包含 
HRS n 个 结 点 的 线性 链 的 树 ， 以 此 来 说 明 该 教授 是 错误 的 。 
19.4-2 ”假定 对 级 联 切断 操作 进行 推广 ， 对 于 某 个 整数 常数 &， 只 要 一 个 结 点 失去 了 它 的 第 & 个 
孩子 ， 就 将 其 从 它 的 父 结 点 上 前 切 掉 (19. 3 节 中 为 ==2 的 情形 )。& 取 什 么 值 时 ， 有 
D(n) = OUlgn) 。 


19-1 (删除 操作 的 另 一 种 实现 ) Pisano 教授 提出 了 下 面 的 FIB-HEAP-DELETE 过 程 的 一 个 变 
种 ， 声 称 如 果 删 除 的 结 点 不 是 由 H. min 指向 的 结 点 ， 那 么 该 程序 运行 得 更 快 。 


PISANO-DELETE(CH, zx) 

l ifz == H. min 

2 FIB-HEAP-EXTRACT-MIN(H) 

3 else y = z.p 

4 if y Æ NIL 

5 CUT(H, =z, y) 

6 CASCADING-CUT(H, y) 

7 add x’s child list to the root list of H 
8 


remove x from the root list of H 


a 该 教授 的 声称 是 基于 第 7 行 可 以 在 O(1) 实际 时 间 内 完成 的 这 一 假设 ， 它 的 程序 可 以 运 
行 得 更 快 。 该 假设 有 什么 问题 吗 ? 
b. 4a RH H. min 指向 时 ， 给 出 PISANO-DELETE 实际 时 间 的 一 个 好 上 界 。 你 给 出 的 


19-2 
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上 界 应 该 以 x. degree 和 调用 CASCADING-CUT WYRE c 这 两 个 参数 来 表示 。 
co 假定 调用 PISANO-DELETE(H, xz), Fi H 是 执行 后 得 到 的 斐 波 那 契 堆 。 假 定 结 点 x 
不 是 一 个 根 ， 用 x. degree, c, tC DA m( DRA 五 势 的 界 。 
d. 证 明 : PISANO-DELETE 的 摊 还 时 间 渐 近 地 不 好 于 FIB-HEAP-DELETE 的 摊 还 时 间 ， 
即使 在 24H. min 时 也 是 如 此 。 
(二 项 树 和 二 项 堆 ) ”二 项 树 Bi 是 一 棵 递归 定义 的 有 序 树 ( 参 看 B. 5. 2 节 )。 如 图 19-6(a) 所 
示 ， 二 项 树 Bo 仅 包 含 一 个 结 点 。 二 项 树 B 是 由 两 个 二 项 树 B;_1 组 成 的 ， 这 两 棵 树 按照 一 
棵 树 的 根 是 另 一 棵 树 根 的 最 左 孩子 的 方式 链接 。 图 19-6(b) 所 示 为 二 项 树 B 到 B. 


A U N 一 © 





图 19-6 《〈a) 递 归 定 义 的 二 项 树 B:。 三 角形 表示 有 根子 树 。(b) 二 项 树 Bo 到 Bo B 中 结 点 的 深 


度数 已 经 给 出 。(c) 另 一 种 角度 看 二 项 树 B 


a. 对 于 二 项 树 By» TER : 
1. 一 共有 2 个 结 点 。 
2. 树 的 高 度 是 &。 


3. 对 于 i=0, l, oe, k, 深度 为 ;的 结 点 从 有 (“) 个 


4. 根 的 度数 为 &， 它 比 其 他 任意 结 点 的 度数 都 要 大 。 此 外 ， 如 图 19-6(c) 所 示 ， 如 果 把 
根 的 孩子 从 左 到 右 编 号 为 一 1，k 一 2，…，0， 那 么 孩子 i 是 子 树 B; 的 根 。 
二 项 堆 (binomial heap) H 是 具备 如 下 性 质 的 二 项 树 的 集合 : 
1. 每 个 结 点 具有 一 个 关键 字 ( 与 斐 波 那 契 堆 相 同 )。 
2. H 中 的 每 个 二 项 树 遵循 最 小 堆 性 质 。 
3. 对 于 任意 的 非 负 整 数 &， 互 中 最 多 有 一 个 二 项 树 的 根 的 度数 为 &。 
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b. 假定 一 个 二 项 堆 五 一 共有 ?2 个 结 点 。 讨 论 互 中 包含 的 二 项 树 与 的 二 进 制 表示 之 间 的 

关系 。 并 证 明 互 最 多 由 |Llgj 十 1 棵 二 项 树 组 成 。 
假定 按 如 下 方式 表述 二 项 堆 。 用 10.4 节 中 的 左 孩子 、 右 邻 兄 弟 方案 来 表示 二 项 堆 中 

的 每 一 棵 二 项 树 。 每 个 结 点 包含 一 个 关键 字 ， 指 向 它 父 结 点 的 指针 、 指 问 它 最 左 孩 子 的 指 

针 和 指向 与 它 右 邻 兄弟 的 指针 (这 些 指针 一 些 情况 下 是 NIL)， 以 及 它 的 度数 (如 同 斐 波 那 

契 堆 ， 表 示 为 有 多 少 个 孩子 ) 。 这 些 根 组 成 了 一 个 单 向 链接 的 根 链表 ， 并 以 根 的 度数 从 小 

到 大 排列 。 可 以 通过 一 个 指 回 根 链表 第 一 个 结 点 的 指针 来 访问 二 项 堆 。 

c 完整 描述 如 何 表 示 一 个 二 项 堆 ( 例 如 ， 对 属性 进行 命名 ， 描 述 属性 值 什么 时 候 为 NIL, 
定义 根 链表 是 怎么 组 织 的 )， 并 说 明 如 何 用 与 本 章 中 实现 辈 波 那 契 堆 一 样 的 方式 来 实现 
在 二 项 堆 上 同样 的 7 个 操作 。 每 一 个 操作 的 最 坏 时 间 应 该 为 Oden ， 其 中 n KTE 
中 的 结 点 数目 (或 对 于 UNION 操作 ， 为 要 被 合并 的 两 个 二 项 堆 中 的 结 点 数 )。MAKE- 
HEAP 操作 应 为 常数 时 间 。 

d. 假定 仅仅 要 实现 在 一 个 斐 波 那 契 堆 上 的 可 合并 堆 操 作 ( 即 并 不 实现 DECREASE-KEY 和 
DELETE 操作 ) 。 韭 波 那 契 堆 中 的 树 与 二 项 堆 中 的 树 有 何 相 似 之 处 ”有 什么 区 别 ? 证明 
在 一 个 nn 个 结 点 的 韭 波 那 契 堆 中 最 大 度数 最 多 为 | lgnj。 

e McGee 教授 提出 了 一 个 基于 韭 波 那 契 堆 的 新 的 数据 结构 。 一 个 McGee 堆 具 有 与 斐 波 那 
契 堆 相同 的 结构 ， 并 且 只 支持 可 合并 堆 操 作 。 除 了 插入 和 合并 在 最 后 一 步 中 合并 根 链表 
外 ， 其 他 操作 的 实现 方式 均 与 斐 波 那 契 堆 中 的 实现 方式 相同 。MecGee 堆 上 各 操作 的 最 
坏 情况 运行 时 间 是 多 少 ? 

CE SHERMER WET RERE H 支持 两 个 新 操作 ， 要 求 不 改变 斐 波 那 

契 堆 其 他 操作 的 摊 还 时 间 。 

a. 操作 FIB-HEAP-CHANGE-KEY(H, z, ORAA z 中 关键 字 的 值 改 为 &。 给 出 FIB- 
HEAP-CHANGE-KEY 的 一 个 有 效 实现 ， 并 分 析 当 & 大 于 、 小 于 或 等 于 z. key 时 ， 各 情 
形 下 的 摊 还 运行 时 间 。 

.给 出 FIB-HEAP-PRUNE(H, 7) 的 一 个 有 效 实 现 ， 该 操作 从 H 中 删除 gmin(Cr， 万 . 7) 
个 结 点 。 可 以 选择 任意 g 个 结 点 来 删除 。 试 分 析 你 的 实现 的 摊 还 运行 时 间 。( 提 示 : 可 
能 需要 修改 数据 结构 以 及 势 函数 。) 

(2-3-4 堆 ) 第 18 章 介绍 了 2-3-4 树 ， 树 中 每 个 内 部 结 点 (而 不 是 根 ) 有 2 个 、3 个 或 4 个 孩 

子 ， 且 所 有 的 叶 结 点 有 相同 的 深度 。 在 本 问题 中 ， 实 现 支 持 可 合并 堆 操 作 的 2-3-4 堆 。 

2-3-4 堆 以 下 几 点 与 2-3-4 树 不 同 。 在 2-3-4 堆 中 ， 仅 仅 叶 结 点 存储 关键 字 ， 并 且 每 个 

叶 结 点 工 仅仅 在 属性 z. key 中 存储 一 个 关键 字 。 叶 结 点 中 的 关键 字 可 能 以 任意 顺序 存在 。 

每 个 内 部 结 点 工 包 含 一 个 值 z. small, CEFA z 为 根 的 子 树 中 叶 结 点 存储 的 最 小 的 关键 

字 。 根 ”包含 一 个 属性 ~. height， 存 储 树 的 高 度 。 最 后 ，2-3-4 堆 设 计 为 存放 在 主 存 中 ， 这 

样 磁盘 的 读 / 写 是 不 需要 的 。 

实现 下 面 的 2-3-4 堆 操 作 。 在 一 个 具有 7 个 元 素 的 2-3-4 堆 上 ，(a) 一 (e) 中 每 一 个 操作 

应 该 在 OUgn) 时 间 内 完成 。(f) 中 的 UNION 操作 应 该 在 Ol(lgn) 时 间 内 完成 ， 其 中 为 输 

入 的 两 个 堆 元 素 个 数 之 和 。 

a.。MINIMUM， 该 操作 返回 一 个 指向 具有 最 小 关键 字 的 叶 结 点 的 指针 。 

b. DECREASE-KEY， 该 操作 将 一 个 给 定 的 叶 结 点 z 的 关键 字 减 小 为 给 定 的 值 & 志 x. key. 

c INSERT， 该 操作 插入 一 个 关键 字 为 & 的 叶 结 点 工 。 

d. DELETE, 该 操作 删除 一 个 给 定 的 叶 结 点 z。 

e EXTRACT-MIN， 该 操作 抽取 具有 最 小 关键 字 的 叶 结 点 。 
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L UNION， 该 操作 合并 两 个 2-3-4 堆 ， 并 返回 一 个 单独 的 2-3-4 HE, USERRA HOHE 
本 章 注 记 

Fredman 和 TarjanL114j] 提 出 了 斐 波 那 契 堆 。 他 们 的 论文 也 描述 了 斐 波 那 契 堆 在 一 些 问 题 上 
的 应 用 : 单 源 最 短路 径 、 所 有 点 对 之 间 的 最 短路 径 、 加 权 二 分 图 匹配 和 最 小 生成 树 问 题 。 

随后 ，Driscoll、Gabow、Shrairman 和 Tarjan| 96 ] 设 计 了 有 别 于 斐 波 那 契 堆 的 “松散 堆 ”， 该 
堆 有 两 个 变 体 。 一 个 具有 与 斐 波 那 契 堆 相 同 的 摊 还 时 间 界 。 另 一 个 允许 DECREASE-KEY 在 
OC) 的 最 坏 情 况 时 间 ( 不 是 摊 还 时 间 ) 内 完成 ，DEXTACT-MIN 和 DELETE 在 OU gn) 最 坏 情况 
时 间 内 完成 。 松 散 堆 在 并 行 算法 中 也 要 比 斐 波 那 契 堆 更 优越 些 。 

在 第 6 章 的 “本 章 注 记 ”中 ， 也 提 到 一 些 其 他 数据 结构 ， 当 EXTRACT-MIN 调用 的 返回 值 序 
列 随时 间 单 调 递 增 并 且 这 些 值 在 某 一 特定 的 范围 内 是 整数 时 ， 这 些 数据 结构 支持 更 快 的 
DECREASE-KEY 操作 。 
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在 前 面 几 章 中 ， 我 们 见 过 了 一 些 支 持 优 先 队 列 操作 的 数据 结构 ， 如 第 6 章 的 二 叉 堆 、 第 13 
章 的 红 黑 树 S 和 第 19 章 的 斐 波 那 契 堆 。 在 这 些 数 据 结构 中 ， 不 论 是 最 坏 情况 或 挫 还 情况 ， 至 少 
有 一 项 重要 操作 只 需 OCgn) 时 间 。 实 际 上 ， 由 于 这 些 数据 结构 都 是 基于 关键 字 比 较 来 做 决定 
的 ， 因 此 ，8. 1 节 中 排序 下 界 Qlnlgn) 说 明 至 少 有 一 个 操作 必需 Aden) 的 时 间 。 这 是 为 什么 
呢 ? 因为 如 果 INSERT 和 EXTRACT-MIN 操作 均 需 要 olgn) 时 间 ， 那 么 可 以 通过 先 执 行 n 次 
INSERT 操作 ， 接 着 再 执行 2 次 EXTRACT-MIN 操作 来 实现 o(nign) 时 间 内 对 nn 个 关键 字 的 
排序 。 

然而 ， 第 8 章 中 我 们 见 到 过 ， 有 时 可 以 利用 关键 字 所 包含 的 附加 信息 来 完成 o(nign) NIA 
的 排序 。 特 别 地 ， 对 于 计数 排序 ， 每 个 关键 字 都 是 介 于 0~& 之 间 的 整数 ， 这 样 排序 ”个 关键 字 
能 在 @(z 十 刀 时 间 内 完成 ， 而 当 &= O(n) 时 ， 排 序 时 间 为 On). 

由 于 当 关 键 字 是 有 界 范围 内 的 整数 时 ， 能 够 规避 排序 的 O(n ign) 下 界 的 限制 ， 那 么 在 类 似 
的 场景 下 ， 我 们 应 弄 清楚 在 oClgn) 时 间 内 是 否 可 以 完成 优先 队列 的 每 个 操作 。 在 本 章 中 ， 我 们 将 
看 到 : van Emde Boas 树 支 持 优先 队列 操作 以 及 一 些 其 他 操作 ， 每 个 操作 最 坏 情 况 运行 时 间 为 
Ol(lglgn)。 而 这 种 数据 结构 限制 关键 字 必 须 为 0 一 "一 1 的 整数 且 无 重复 。 

明确 地 讲 ，van Emde Boas 树 支 持 在 动态 集合 上 运行 时 间 为 O(lglgz) 的 操作 : SEARCH, 
INSERT, DELETE, MINIMUM, MAXIMUM, SUCCESSOR 和 PREDECESSOR。 本 章 只 关注 
关键 字 的 存储 ， 而 不 讨论 卫星 数据 。 由 于 只 是 考虑 要 求 不 允许 重复 存储 的 关键 字 去 实现 一 个 更 
简单 的 MEMBER(S，z) 操 作 ( 而 不 是 去 描述 稍 复杂 的 SEARCH 操作 )， 该 操作 通过 返回 一 个 布 
尔 值 来 指示 r 是 否 在 动态 集合 S A. 

SIAR AIL, 参数 nn 有 两 个 不 同 的 用 法 ， 一 个 为 动态 集合 中 元 素 的 个 数 ， 另 一 个 为 元 素 的 可 
能 取 值 范围 。 为 避免 混 消 ， 以 下 用 ”表示 集合 中 当前 元 素 的 个 数 ， 用 u 表示 元 素 的 可 能 取 值 范 
围 ， 这 样 每 个 van Emde Boas 树 操作 在 O(lg lgu) 时 间 内 运行 完 。 要 存储 的 关键 字 值 的 全 域 
(universe. RSA {0, 1, 2, e, u—1}, 为 全 域 的 大 小 。 本 章 始终 假定 x 恰 为 2 R, BI u= 
2 ， 其 中 整数 & 之 1。 | 

20.1 节 开 始 会 讨论 一 些 简 单 的 方法 ， 为 后 续 内 容 的 学 习 做 铺垫 。 在 20. 2 节 中 ， 这 些 方法 会 
被 逐一 改进 ， 从 而 引入 van Emde Boas 结构 的 原型 ， 它 是 递归 的 但 并 未 达到 OUg leu) 的 运行 时 
间 。20. 3 节 对 原型 van Emde Boas 结构 进行 改进 ， 发 展 为 van Emde Boas 树 ， 并 且 介 绍 如 何在 
Ollglgu) 时 间 内 实现 每 个 操作 。 


20.1 基本 方法 

本 节 讨 论 动态 集合 的 几 种 存储 方法 。 虽 然 这 些 操 作 都 无 法 达到 想 要 的 OClg lgwu) 运行 时 间 界 ， 
但 这 些 方法 有 助 于 理解 本 章 后 面 介 绍 的 van Emde Boas 树 。 

直接 寻 址 

直接 寻 址 ( 见 11. 1 节 ) 提 供 了 一 种 存储 动态 集合 的 最 简单 方法 。 由 于 本 章 只 关注 存储 关键 字 ， 
如 练习 11. 1-2 中 讨论 过 的 ， 可 以 将 用 于 动态 集合 的 直接 寻 址 法 简化 为 一 个 位 向 量 。 我 们 维护 一 


O 第 13 章 并 没有 直接 给 出 关于 如 何 实现 EXTRACT-MIN 和 DECREASE-KEY 的 讨论 ， 但 是 我 们 能 很 容易 为 支持 
MINIMUM, DELETE 和 INSERT 操作 的 任何 数据 结构 构建 这 些 操 作 。 
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个 位 的 数组 AL0. .一 1]， 以 存储 一 个 值 来 自 全 域 {0，1，2，…，w 一 1}) 的 动态 集合 。 知 值 zx 属 
于 动态 集合 ， 则 元 素 ALxj] 为 1; 否则 ，ALzxj 为 0。 虽然 利 用 位 向 量 方法 可 以 使 INSERT, 
DELETE 和 MEMBER 操作 的 运行 时 间 为 0(1) ， 然 而 其 余 操作 (MINIMUM、MAXIMUM、 
SUCCESSOR 和 PREDECESSOR) 在 最 坏 情 况 下 仍 需 9(z) 的 运行 时 间 ， 这 是 因为 操作 需要 扫描 
9@(z) 个 元 素 . 例如， 如 果 一 个 集合 只 包含 值 0 和 一 1， 则 要 查找 0 的 后 继 ， 就 需要 查询 1 到 
一 2 的 所 有 结 点 ， 直 到 发 现 ALu 一 1j 中 的 1 为 止 。 
到 加 的 二 又 树 结构 
我 们 能 够 使 用 位 向 量 上 方 炙 加 的 一 棵 位 二 又 树 的 方法 ， 来 缩短 对 位 向 量 的 长 扫描 。 图 20-1 
显示 了 一 个 例子 。 位 向 量 的 全 部 元 素 组 成 了 二 又 
树 的 叶子 ， 并 且 每 个 内 部 结 点 为 1 当 且 仅 当 其 子 
树 中 任 一 个 叶 结 点 包含 1。 换 句 话说， 内 部 结 点 
中 存储 的 位 就 是 其 两 个 孩子 的 逻辑 或 。 
现在 使 用 这 种 树 结 构 和 未 经 修饰 的 位 问 量 ， 
具有 最 坏 情 况 运 行 时 间 为 9(z) 的 操作 如 下 : 
。 查找 集合 中 的 最 小 值 ， 从 树 根 开始 , 箭 个 ~ 仆仆 / pr E 
3. 大 下 指 向 + 结 ， | 总 是 第 BE $ 包 含 ] EEES EEE EPE U 下 
的 结 点 。 


A vase, @ 2201 一 棵 位 向 量 上 方 释 加 的 位 二 又 树 ， 它 
查找 集合 中 的 最 大 值 ， 从 树 根 开始 ， 箭 a gd 


头 朝 下 指向 叶 结 点 ， 总 是 走 最 右边 包含 1 a ie oe a Ge 
的 结 点 。 当 其 子 树 内 的 某 个 时 结 点 为 1。 箭 头 
。 查找 工 的 后 继 ， 从 所 在 的 叶 结 点 开始 ， 表示 确定 14 的 前 驱 所 沿 循 的 路 径 


箭头 朝 上 指向 树 根 ， 直 到 从 左 侧 进入 一 个 结 点 ， 其 右 孩 子 结 点 = 为 1。 然 后 从 结 点 = 出 发 
箭头 向 下 ， 始 终 走 最 左边 包含 1 的 结 点 ( 即 查找 以 为 根 的 子 树 中 的 最 小 值 )。 

查找 xz 的 前 驱 ， 从 zx 所 在 的 叶 结 点 开始 ， 征 头 朝 上 指向 树 根 ， 直 到 从 右 侧 进入 一 个 结 点 ， 
其 左 孩子 结 点 z 为 1。 然 后 从 结 点 = 出 发 箭头 向 下 ， 始 终 走 最 右边 包含 1 的 结 点 ( 即 查找 
以 为 根 的 子 树 中 的 最 大 值 )。 

图 20-1 显示 了 查找 14 的 前 驱 7 所 走 的 路 径 。 

我 们 也 适当 地 讨论 了 INSERT 和 DELETE 操作 。 当 插入 一 个 值 时 ， 从 该 叶 结 点 到 根 的 简单 
路 径 上 每 个 结 点 都 置 为 1。 当 删除 一 个 值 时 ， 从 该 叶 结 点 出 发 到 根 ， 重 新 计算 这 个 简单 路 径 上 每 
个 内 部 结 点 的 位 值 ， 该 值 为 其 两 个 孩子 的 逻辑 或 。 

由 于 树 的 高 度 为 lgu， 上 面 每 个 操作 至 多 沿 树 进行 一 趟 向 上 和 一 趟 向 下 的 过 程 ， 因 此 每 个 操 
作 的 最 坏 情况 运行 时 间 为 Ogu). 

这 种 方法 仅仅 比 红 黑 树 好 一 点 。MEMBER 操作 的 运行 时 间 只 有 OO), MARWARE 
费 Oden) 时 间 。 另 外 ， 如 果 存 储 的 元 素 个 数 n 比 全 域 大 小 小 得 多 ， 那 么 对 于 所 有 的 其 他 操作 ， 
红 黑 树 要 快 些 。 

到 加 的 一 棵 高 度 恒定 的 树 

如 果 普 加 一 棵 度 更 大 的 树 ， 会 发 生 什么 情况 ? 假设 全 域 的 大 小 为 二 2*， 这 里 为 某 个 整 
数 ， 那么 Vz 是 一 个 整数 。 我 们 加 一 棵 度 为 Vz 的 树 ， 来 代替 位 向 量 上 方 赤 加 的 二 叉 树 。 
图 20-2(a) 展 示 了 这 样 的 一 棵 树 ， 其 中 位 向 量 与 图 20-1 中 一 样 。 结 果树 的 高 度 总 是 为 2。 


O ”本章 始终 假设 如 果 动 态 集合 为 空 ， 则 MINIMUM 和 MAXIMUM 返回 NIL; 如 果 给 定 的 元 素 没 有 后 继 或 前 驱 ， 
则 SUCCESSOR 和 PREDECESSOR 分 别 返回 NIL。 
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同 以 前 一 样 ， 每 个 内 部 结 点 存储 的 是 其 子 树 的 逻辑 或 ， 所 以 深度 为 1 的 Vu 个 内 部 结 点 是 每 组 
Vz 个 值 的 合计 ( 即 逻辑 或 )。 如 图 20-2(b) 所 示 ， 可 以 为 这 些 结 点 定义 一 个 数组 summary(0.. 
Vu—1], EB summary ig 1 当 且 仅 当 其 子 数组 Alivu.. (i 十 1)Vu 一 1j 包 含 1。 我们 称 A 的 这 
个 Vu 位 子 数 组 为 第 i ME Cluster). HFPA ERE r, 位 ALzj 出 现在 簇 号 为 Lz/Yuj 中 。 现 
Æ, INSERT 变 成 一 个 OO) 运行 时 间 的 操作 :要 插入 xz， 置 A[z] 和 summary x/VullA 1. iE 
外 ， 使 用 summary 数组 可 以 在 OC(Vu) 运行 时 间 内 实现 MINIMUM, MAXIMUM, SUCCESSOR, 
PREDECESSOR #0 DELETE 操作 : 

。 查找 最 小 (最 大 ) 值 ， 在 summary 数组 中 查找 最 左 (最 右 ) 包 含 1 的 项 ， 如 summarylil, 4 

后 在 第 i 个 簇 内 顺序 查找 最 左 ( 最 右 ) 的 1。 

。 查找 工 的 后 继 ( 前 驱 )， 先 在 z 的 簇 中 向 右 ( 左 ) 查 找 。 如 果 发 现 1， 则 返回 这 个 位 置 作为 
结果 ; 否则 ， 令 ;一 Lz/Mzxj， 然 后 从 下 标 FIRE summary 数组 中 向 右 ( 左 ) 查 找 。 找 到 第 
一 个 包含 1 的 位 置 就 得 到 这 个 簇 的 下 标 。 再 在 该 簇 中 查找 最 左 ( 最 右 ) 的 1， 这 个 位 置 的 
元 素 就 是 后 继 (前 驱 )。 


。 删除 值 x, 设 i=|Lz/Yuj。 将 A[zj] 置 为 0， 然后 置 summaryli HE i MEP AEB. 





图 20-2 (a) 位 向 量 上 番 加 的 一 棵 度 为 Vu 的 树 ， 其 位 向 量 同 图 20-1。 每 个 内 部 结 点 存储 的 是 其 子 树 中 各 位 
的 逻辑 或 。(b) 一 个 同样 的 结构 ， 只 是 深度 为 1 的 内 部 结 点 被 作为 一 个 数组 summary[0. . Vu 一 1] 
有 所 不 同 ， 其 中 summary i AREF RA Alivu.. (i 十 1)Vu 一 1 的 逻辑 或 


在 上 述 的 每 个 操作 中 ， 最 多 对 两 个 大 小 为 Vu 位 的 簇 以 及 summary 数组 进行 搜索 ， 所 以 每 个 
操作 耗费 OWu) 时 间 。 
初 看 起 来 ， 似 乎 并 没有 取得 好 的 效果 。 病 加 的 二 叉 树 得 到 了 时 间 为 Ogu) 的 操作 ， 其 渐 近 


地 快 于 OC(Wu) 。 然 而 ， 使 用 度 为 Vu 的 树 是 产生 van Emde Boas 树 的 关键 思想 。 下 一 节 继 续 沿 着 这 
条 路 线 讨论 下 去 。 


练习 


20. 1-1 修改 本 节 中 的 数据 结构 ， 使 其 支持 重复 关键 字 。 

20. 1-2 修改 本 节 中 的 数据 结构 ， 使 其 支持 带 有 卫星 数据 的 关键 字 。 

20. 1-3 ”使 用 本 节 的 数据 结构 会 发 现 ， 查 找 z 的 后 继 和 前 驱 并 不 依赖 于 z 当时 是 否 包含 在 集合 
中 。 当 工 不 包含 在 树 中 时 ， 试 说 明 如 何在 一 棵 二 又 搜索 树 中 查找 z 的 后 继 。 

20.1-4 ”假设 不 使 用 一 棵 又 加 的 度 为 Vu 的 树 ， 而 是 使 用 一 棵 全 加 的 度 为 xz 的 树 ， 这 里 下 是 大 于 
1 的 常数 ， 则 这 样 的 一 棵 树 的 高 度 是 多 少 ? 又 每 个 操作 将 需要 多 长 时 间 ? 


20.2 递归 结构 
在 本 节 中 ,我们 对 位 向 量 上 度 为 Vu 的 释 加 树 想法 进行 修改 。 上 一 节 中 ， 用 到 了 大 小 为 Vu 的 
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summary 数组 ， 数 组 的 每 项 都 指向 一 个 大 小 为 的 另 一 个 结构 。 现 在 使 用 结构 递归 ， 每 次 递归 
都 以 平方 根 大 小 缩减 全 域 。 一 全 域 初始 大 小 为 ,使 用 包含 Vw 二 w ?项 数 的 结构 ， 其 各 项 又 是 包 
& wl! 项 数 的 结构 ， 而 ww 结构 中 的 每 项 又 是 包含 wa 项 数 的 结构 ， 依 此 类 推 ， 降 低 到 项 数 为 2 的 
基本 大 小 时 为 止 。 

为 简单 起 见 ， 本 节 中 假设 “一 2: ， 其 中 有 为 整数 ， 因 此 u, u, wl, ，… 都 为 整数 。 这 个 限 
制 在 实际 应 用 中 过 于 严格 ， 因 为 仅仅 只 允许 u 的 值 在 序列 2，4，16，256，65 536，… 中 。 下 一 
节 会 看 到 如 何 放宽 这 个 假设 ,而 只 假定 对 某 个 整数 &，u 二 2。 由 于 本 节 描 述 的 结构 仅 作 为 真正 
van Emde Boas 树 的 一 个 准备 ， 为 了 帮助 理解 ， 我 们 就 容忍 了 这 个 限制 。 

注意 到 ， 我 们 的 目标 是 使 得 这 些 操作 达到 O(lg lgw) 的 运行 时 间 ， 思 考 如 何 才能 达到 这 样 的 
运行 时 间 。 在 4. 3 节 的 最 后 ， 通 过 变量 替换 法 ， 能 够 得 到 递归 式 


Tin) = 2T(Wn) + Ign (20. 1) 
HI Tn) = OUgnigign) 。 考 虑 一 个 相似 但 更 简单 的 递归 式 : 
Tu) = TWu) +001) (20.2) L536 


如 果 使 用 同样 的 变量 替换 方法 ， 则 递归 式 (20. 2) 的 解 为 Tu) = O(lglgz) 。 令 m=lgu, HA 
u=2", WA 
T(2") = T(2™") +001) 
现在 重 命名 Som) 二 TC(2")， 新 的 递归 式 为 
S(m) = S(m/2) + OC) 
应 用 主 方法 的 情况 2， 这 个 递归 式 的 解 为 SC(m) = OUgm) 。 将 SCm) 变 回 到 Tu) ， 得 到 
Tlu) = T(2”) = Sm) = OUgm) = Odglgu) 
递归 式 (20. 2) 将 指导 数据 结构 上 的 查找 。 我 们 要 设计 一 个 递归 的 数据 结构 ， 该 数据 结构 每 层 
递归 以 Vu 为 因子 缩 碱 规模 。 当 一 个 操作 遍历 这 个 数据 结构 时 ， 在 递归 到 下 一 层次 前 ， 其 在 每 一 
层 耗 费 常数 时 间 。 递 归 式 (20. 2) 刻 画 了 运行 时 间 的 这 个 特征 。 
这 里 有 另 一 种 途径 来 理解 项 lglgu 如 何 最 终 成 为 递归 式 (20. 2) 的 解 。 正 如 我 们 所 看 到 的 ， 每 
层 递 归 数 据 结构 的 全 域 大 小 是 序列 x，w”，w“，w“，…。 如 果 考 虑 每 层 需要 多 少 位 来 存储 全 
ik, 那么 顶层 需要 lgu， 而 后 面 每 一 层 需 要 前 一 层 的 一 半 位 数 。 一 般 来 说 ， 如 果 以 5 位 开始 并 且 
每 层 减 少 一 半 的 位 数 ， 那 么 led 层 递归 之 后 ， 只 剩 下 一 位 。 因 为 6 二 lgu， 那 么 lg lgwu 层 之 后 ， 全 
域 大 小 就 为 2。 
现在 回头 来 看 图 20-2 中 的 数据 结构 ， 一 个 给 定 的 值 z 在 入 编号 Lz/Vuj 中 。 如 果 把 xz 看 做 lgu 
位 的 二 进 制 整数 ， 那 么 艇 编号 Lz/Vuj 由 zz 中 最 高 (lgz)/2 位 决定 。 ECR, 出 现在 位 置 
zimodvx 中 ， 是 由 工 中 最 低 (lgw)/2 位 决定 。 后 面 需 要 这 种 方式 来 处 理 下 标 ， 因 此 定义 以 下 一 些 
函数 将 会 有 用 : 
high(x) = Lz/ vu] 
low(x) = xz modVu 
index(x,y) = zvu + y 
函数 high(z)7 给 出 了 z 的 最 高 (lgw)/2 位 ， 即 为 z RS. RR low(z) 给 出 了 z 的 最 低 (lgw)/2 
位 ， 即 为 xz 在 它 自己 簇 中 的 位 置 。 函 数 index(z，y) 从 二 和 y 产生 一 个 元 素 编号 ， 其 中 z AK 
编号 中 最 高 (lgw)/2 M, y 为 元 素 编号 中 最 低 (lgw/2 位 。 我们 有 和 恒等式 z 一 index( high) , 
low(x))。 这 些 函 数 中 使 用 的 值 始终 为 调用 这 些 函 数 的 数据 结构 的 全 域 大 小 ，w 的 值 随 递归 结 
构 改 变 。 
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proto-vEB(ju ) 结 构 Se 
yu proto-vEB(4u ) 结 构 


图 20-3 当 ww 宇 4 时 ,一 个 proto-vEB (wu) 结构 中 的 信息 。 这 个 结构 包含 全 域 大 小 uw、 指向 proto 
vEB (Vu) 结构 的 指针 summary， 以 及 一 个 有 Vu 个 指针 指向 proto-vEB (Vu) 结构 的 数组 
cluster[ 1.. Ju—1] 


20.2.1 原型 van Emde Boas 结构 


根据 递归 式 (20. 2) 中 的 启示 ， 我 们 设计 一 个 递归 数据 结构 来 支持 这 些 操 作 。 虽 然 这 个 数据 结 
构 对 于 某 些 操作 达 不 到 OC(lglgw) 运行 时 间 的 目标 ， 但 它 可 以 作为 将 在 20. 3 节 中 见 到 的 van Emde 
Boas 树 的 基础 。 

对 于 全 域 {0，1，2，…，z 一 1)， 和 定义 原型 van Emde Boas 结构 (proto van Emde Boas 
structure) 或 proto-vEB 结构 (protorvEB structure) ， 记 作 proto-vEB(u)， 可 以 如 下 递归 定义 。 每 
个 proto vEB (2) 结 构 都 包含 一 个 给 定 全 域 大 小 的 属性 v。 另 外 ， 它 包含 以 下 特征 : 

。 WR 一 2， 那 么 它 是 基础 大 小 ， 只 包含 一 个 两 个 位 的 数组 AL0. . 1j。 

。 BN, HEDER RS, u= 2", FRA v 之 4。 除 了 全 域 大 小 x 之 外 ，proto-vEB (zw) 还 

具有 以 下 属性 (如 图 20-3 Bras): 

© 一 个 名 为 summary 的 指针 ， 指 向 一 个 proto-vEB (Vu) 结构 。 

。 一 个 数组 cluster[L1.. Vu 一 1]， 存 储 /w 个 指针 ， 每 个 指针 都 指向 一 个 proto-vEB Wu) 结 构 。 
JOR z 递 归 地 存储 在 编号 为 high(z) WR, (EAR PaaS A low) NICK, XH Ku. 

在 前 一 节 的 二 层 结 构 中 ， 每 个 结 点 存储 一 个 大 小 为 Vu 的 summary 数组 ， 其 中 每 个 元 素 包含 
一 个 位 。 从 每 个 元 素 的 下 标 ， 我 们 可 以 计算 出 大 小 为 Vu 的 子 数组 的 开始 下 标 。 在 proto-vEB 结构 
中 ， 使 用 显 指 针 而 不 是 下 标 计 算 的 方法 。summary 数组 包含 了 proto-vEB 结构 中 递归 存储 的 
summary 位 向 量 ， 并 且 cluster 数组 包含 了 Yu 个 指针 。 

图 20-4 显示 了 一 个 完全 展开 的 protovEB (16) 结 构 ， 它 表示 集合 (2，3，4，5，7，14， 
15}. WREE i 在 由 summary 指向 的 proto-vEB 结构 中 ， 那 么 第 i 个 艇 包含 了 被 表示 集合 中 的 某 
个 值 。 与 常数 高 度 的 树 一 样 ，cluster[ 引 表示 iYu 到 (i 十 1)Vu 一 1 的 那些 值 ， 这 些 值 形成 了 第 ; 
MER 

在 基础 层 上 ， 实 际 动态 集合 的 元 素 被 存储 在 一 些 protovEB(2) 结 构 中 ， 而 余下 的 proto-vEB(2) 
结构 则 存储 summary 位 。 在 每 个 非 summary 基础 结构 的 底部 ， 数 字 表 示 它 存储 的 位 。 例 如 ， 标 
记 为 “element 6，7” 的 proto-vEB(2) 结 构 在 ALO jj 中 存储 位 6(0， 因 为 元 素 6 不 在 集合 中 ) HE 
AL1j] 中 存储 位 7(1， 因 为 元 素 7 ERA). 

与 艇 一样， 每 个 summary 只 是 一 个 全 域 大 小 为 Vu 的 动态 集合 ， 而 且 每 个 summary 表示 为 一 
个 proto-vEB (Yu) 结构 。 主 proto-vEB(16) 结 构 的 4 个 summary 位 都 在 最 左 侧 的 proto-vEB (4) 
Ht, 并且 它 们 最 终 出 现在 2 个 proto-vEB (2) 结 构 中 。 例 如 ， 标记 为 “clusters 2，3” 的 
proto-vEB (2) 244444 ALOJ=0, EXA proto-vEB (16) 结 构 的 艇 2( 包 含 元 素 8、9、10、11) 都 为 
0; 并 且 AL1j=1， 说 明 proto-vEB(16) 结 构 的 艇 3( 包 含 元 素 12、13、14、15) 至 少 有 一 个 为 1。 
每 个 proto-vEB (4) 结 构 都 指向 自身 的 summary， 而 summary 自己 存储 为 一 个 proto-vEB (2) 结 构 。 
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例如 ， 查 看 标 为 “elements 0，1” 左 侧 的 那个 proto-vEB (2) 2444). AA ALOJ=0, Aru “elements 


0，1” 结 构 都 为 0; 由 于 AL1]=1， 因 此 “elements 2，3” 结 构 至 少 有 一 个 1。 
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图 20-4 —7  proto-vEB (16) 46 SA 2, 3, 4, 5, 7, 14, 15}. Æ cluster[0.. 3] 中 的 指针 指向 4 个 
proto vEB (4) 25 ¥4 ， 而 且 还 指向 一 个 summary 结构 ， 这 个 summary 结构 也 是 一 个 proto-vEB (4) 4 
构 。 每 个 proto-vEB (4) 结 构 在 clusterL0..1] 中 指向 2 个 protovEB (2) 结 构 ， 以 及 指 同 一 个 
proto-vEB (2) 254K) summary, A proto-vEB(2) 结 构 只 包含 一 个 2 位 的 数组 ALO..1]. “elements 
i, PLA HW proto-vEB (2) 结 构 存 储 实 际 动 态 集合 的 位 和 7J， 并 且 “clusters i j” LAH 
proto-vEB(2) 结 构 存 储 顶 层 proto-vEB (16) 25s PAR i F j 的 summary 位 。 为 清晰 起 见 ， 深 阴影 
部 分 表示 一 个 proto-vEB 结构 的 顶层 ， 其 存储 它 的 双亲 结构 的 summary 信息 ; 这 样 一 个 proto-vEB 


结构 不 同 于 具有 同样 全 域 大 小 的 其 他 任何 proto-vEB 结构 


20.2.2 原型 van Emde Boas 结构 上 的 操作 


下 面 将 讨论 如 何在 一 个 proto-vEB 结构 上 执行 一 些 操 作 。 先 看 查询 操作 MEMBER, 
MINIMUM, MAXIMUM 和 SUCCESSOR， 这 些 操作 不 改变 protovEB 结构 。 接 下 来 讨论 
INSERT 和 DELETE 操作 。 另 外 ， 留 下 MAXIMUM 和 PREDECESSOR 操作 作为 练习 20. 2-1， 


它们 分 别 与 MINIMUM 和 SUCCESSOR 是 对 称 的 。 


MEMBER, SUCCESSOR, PREDECESSOR, INSERT 和 DELETE 操作 都 取 一 个 参数 z 和 


一 个 proto-vEB 结构 V 作为 输入 参数 。 这 些 操 作 均 假定 0 和 zz<V. u. 
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判断 一 个 值 是 否 在 集合 中 
i) : 要 实现 MEMBER(z) 操 作 ， 就 需要 在 一 个 适当 的 proto-vEB (2) 结 构 中 找到 相应 于 z 的 位 。 
BS PRAY summary 结构 ， 这 个 操作 能 够 在 OUg lew) 时 间 内 完成 。 下 面 的 过 程 以 一 个 proto 
vEB 结构 V 和 一 个 值 zx 作为 输入 ， 返 回 一 个 位 值 表示 xz 是 否 在 V 包含 的 动态 集合 中 。 
PROTO-vEB-MEMBER(V , x) 
1 ifV.u==2 
2 return V. A[ z | 
3 else return PROTO-vEB-MEMBERC(V. cluster[high(x) ], low(z)) 


PROTO-vEB-MEMBER 过 程 工 作 如 下 。 第 1 行 测试 是 否 为 基础 情形 ， 其 中 V 是 一 个 proto 
vEB(2) 结 构 。 第 2 行 处 理 基础 情形 ， 简 单 地 返回 数组 A 的 一 个 相应 位 。 第 3 行 处 理 递归 情形 ， 
“ 钻 人 ”到 相应 更 小 的 proto-vEB 结构 。 值 high(x) 表示 要 访问 的 proto-vEB (Vu) 结构 ， 值 low (zx) 
表示 要 查询 的 proto-vEB (Yu) 结构 中 的 元 素 。 

在 图 20-4 中 ， 我 们 看 一 下 在 proto-vEB(16) 结 构 中 调用 PROTO-vEB-MEMBER(V，6) 会 发 
生 什 么 。 由 于 当 u=16 时 ，high(6) 王 1， 则 递归 到 右上 方 的 proto-vEB(4) 结 构 ， 并 且 查 询 该 结构 
的 元 素 low(6) = 二 2。 在 这 次 递归 调用 中 ,w= 二 4， 这 样 还 需要 进行 递归 。 对 于 w= 二 4， 就 有 
high(2)=1 和 low(2) 王 0， 所 以 要 查询 右上 方 的 proto-vEB(2) 结 构 中 的 元 素 0。 这 次 递归 调用 就 
到 了 基础 情形 ， 所 以 通过 递归 调用 链 返 回 AL0j=0。 因 此 ， 得 到 PROTO-vEB-MEMBER(V, 6) 
返回 0 的 结果 ， 表 示 6 不 在 集合 内 。 

为 了 确定 PROTO-vEB-MEMBER 的 运行 时 间 ， 令 TURAR proto-vEB (ww) 结构 上 的 运行 时 
间 。 每 次 递归 调用 耗费 常数 时 间 ， 其 不 包括 由 递归 调用 自身 所 产生 的 时 间 。 当 PROTO-vEB- 
MEMBER 做 一 次 递归 调用 时 ， 它 在 proto-vEB (Vu) 结构 上 产生 一 次 调用 。 因 此 ， 运 行 时 间 可 以 
用 递归 表达 式 T(w) =TWu) + OC) 表示 ， 该 递归 式 就 是 前 面 的 递归 式 (20.2)。 它 的 解 为 
Tu) =OUglgu) ， 所 以 PROTO-vEB-MEMBER 的 运行 时 间 为 O(lglgzx) 。 

查找 最 小 元 素 

现在 我 们 讨论 如 何 实现 MINIMUM 操作 。 过 程 PROTO-vEB-MINIMUM(V) 返 回 proto-vEB 

结构 V 中 的 最 小 元 素 ; 如 果 V 代表 的 是 一 个 空 集 ， 则 返回 NIL。 


PROTO-vEB-MINIMUM(V) 
1 ifVuu==2 
2 if V. ALO] == 1 
3 return 0 
4 elseif V. Al 1] == 1 
5 return 1 
6 else return NIL 
7 else min-cluster = PROTO-vEB-MINIMUM(V. summary) 
8 if min-cluster == NIL 
9 return NIL 
10 else of fset = PROTO-vEB-MINIMUMC(V. cluster| min-cluster ]) 
11 return index(min-cluster, of fset) 


这 个 过 程 工作 如 下 。 第 1 行 判断 是 否 为 基础 情形 ， 第 2 一 6 行 平 凡 地 处 理 基 础 情形 。 第 7 一 11 行 
处 理 递 归 情 形 。 首 先 ， 第 7 行 查 找 包含 集合 元 素 的 第 一 个 篮 号 。 做 法 是 通过 在 V. summary 上 递归 调 
用 PROTO-vEB-MINIMUM 来 进行 ， 其 中 V. summary 是 一 个 proto-vEB (Ww) 结构 。 第 7 行将 这 个 簇 号 
赋值 给 变量 min-cluster。 如 果 和 集合 为 空 ， 那 么 递归 调用 返回 NIL, 第 9 行 返 回 NL。 如 果 集合 非 空 ， 
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集合 的 最 小 元 素 就 存在 于 编号 为 min-cluster Wik. FS 10 行 中 的 递归 调用 是 查找 最 小 元 素 在 这 个 
复 中 的 偏 移 量 。 最 后 ， 第 11 行 由 秘 号 和 偏 移 量 来 构造 这 个 最 小 元 素 的 值 ， 并 返回 。 

虽然 查询 summary 信息 允许 我 们 快速 地 找到 包含 最 小 元 素 的 簇 ,但 是 由 于 这 个 过 程 需要 2 
次 调用 proto-vEB (Vu) 结构 ， 所 以 在 最 坏 情 况 下 运行 时 间 超 过 OClg lgwu) 。 令 T(w) 表 示 在 proto 
vEB(w) 结 构 上 的 PROTO-vEB-MINIMUM 操作 的 最 坏 情 况 运行 时 间 ， 有 下 面 递 归 式 : 

Tu) = 2TW/u) +001) (20. 3) 
再 一 次 利用 变量 替换 法 来 求解 此 递归 式 ， 令 m 二 lgu， 可 以 得 到 : | 
T(2") = 2T(2™) +001) 
重 命名 Sim) =T(2"), 448): 
S(m) = 2S(m/2) + OC) 

利用 主 方法 的 情况 1， 解 得 SCm) = On) 。 将 Sm) RAAT ， 可 以 得 到 Tu) = T”) = 
S(m) = @(m) = Olgu) 。 因 此 ， 由 于 有 第 二 个 递归 调用 ，PROTO-vEB-MINIMUM 的 运行 时 间 
为 B(lgz) ， 而 不 是 BClglgz) 。 | 

查找 后 继 

SUCCESSOR 的 运行 时 间 更 长 。 在 最 坏 情 况 下 ， 它 需要 做 2 次 递归 调用 和 1 次 PROTO-vEB- 
MINIMUM 调用 。 过 程 PROTO-vEB-SUCCESSOR(V，z) 返 回 proto-vEB 结构 V 中 大 于 z 的 最 
小 元 素 ; 或 者 ， 如 果 V 中 不 存在 大 于 zz 的 元 素 ， 则 返回 NIL. EDER z 一定 属 于 该 集合 ,但 
假定 OS2<v. u, 

PROTO-vEB-SUCCESSOR(V, x) 

1 ifV.w ==2 
2 if z == 0 and V. A[1] == 1 

3 return 1 
4 else return NIL 
5 else offset = PROTO-vEB-SUCCESSOR(V. clusterLhigh(x) ], low(z)) 
6 if offset A NIL 
7 return index(high(x), offset) 
8 else succ-cluster = PROTO-vEB-SUCCESSOR(V. summary, high(x)) 
9 


if succ-cluster == NIL 
10 return NIL 
11 else offset = PROTO-vEB-MINIMUM(V. cluster[ succ-cluster ]) 
12 return index(succ-cluster, offset) 


PROTO-vEB-SUCCESSOR 过 程 工作 如 下 。 与 通常 一 样 ， 第 1 行 判断 是 否 为 基础 情形 ， 第 2 一 4 
行 平凡 处 理 ， 当 x=0 和 A[1j=1 时 ,才能 在 proto vEB (2) By PRA z 的 后 继 。 第 5 一 12 行 处 理 
递归 情形 。 第 5 行 在 zx 的 簇 内 查找 其 后 继 ， 并 将 结果 赋 给 变量 ofset. B 6 THM MPAA 
fe x Kaos. GE. SAT 行 计 算 并 返回 其 值 ， 否 则 ， 必 须 在 其 他 簇 中 查找 。 第 8 行将 下 一 个 非 空 
fe STRAWS succ-cluster， 并 利用 summary 信息 来 查找 后 继 。 第 9 行 判断 succ-cluster 是 否 为 NL, 
如 果 所 有 后 继 徐 是 空 的 ， 第 10 行 返回 NIL。 如 果 succ-cluster 不 为 NIL， 第 11 行将 编号 为 succ- 
cluster 的 簇 中 第 一 个 元 素 赋值 给 offset ， 并 且 第 12 行 计算 并 返回 这 个 艇 中 的 最 小 元 素 。 

在 最 坏 情 况 下 ，PROTO-vEB-SUCCESSOR 在 proto-vEB (Yu) 结构 上 做 2 次 自身 递归 调用 和 
1 次 PROTO-vEB-MINIMUM 调用 。 所 以 ， 最 坏 情 况 下 ，PROTO-vEB-SUCCESSOR 的 运行 时 间 
用 下 面 递 归 式 表示 : 

Tu) = 2TWu) + OgVu) = 2TWu) + Ogu) 

可 以 用 求解 递归 式 (20. 1) ATT ESR 7S HE BASRA Tu) = OUgulglgu) . Aik, PROTO- 
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vEB-SUCCESSOR 是 渐 近 地 慢 于 PROTO-vEB-MINIMUM。 
插入 元 素 
要 捅 入 一 个 元 素 ， 需 要 将 其 插 和 人 相应 的 秘 中 ， 并 还 要 将 这 个 簇 中 的 summary 位 设 为 1。 过 程 


PROTO-vEB-INSERT(V, x) x fA proto-vEB 结构 V 中。 
PROTO-vEB-INSERT(V, x) 
1 ifV.u == 2 
2 V.Al[zJ=1 
3 else PROTO-vEB-INSERTCV. clusterLhigh(z) ], low(x)) 
4 PROTO-vEB-INSERTCV. summary, high(zx)) 


在 基础 情形 中 ， 第 2 行 把 数组 A 中 的 相应 位 设 为 1。 在 递归 情形 中 ， 第 3 行 的 递归 调用 将 z RA 
相应 的 得 中 ， 并 且 第 4 行将 该 复 中 的 summary 位 置 为 1。 

因为 PROTO-vEB-INSERT 在 最 坏 情 况 下 做 2 次 递归 调用 ， 其 运行 时 间 可 由 递归 式 (20. 3) 来 
表示 。 所 以 ，PROTO-vEB-INSERT 的 运行 时 间 为 6(lgw)。 

删除 元 素 

删除 操作 比 插入 操作 要 更 复杂 些 。 当 插入 新 元 素 时 ,插入 时 总 是 将 一 个 summary 位 置 为 1， 
然而 删除 时 却 不 总 是 将 同样 的 summary 位 置 为 0。 我 们 需要 判断 相应 的 簇 中 是 否 存在 为 1 的 位 。 


对 于 已 定义 的 proto-vEB 结构 ， 本 来 需要 检查 簇 内 的 所 有 Vu 位 是 否 为 1。 取而代之 的 是 ， 可 以 在 
proto-vEB 结构 中 添加 一 个 属性 nw， 来 记录 其 拥有 的 元 素 个 数 。 我 们 把 PROTO-vEB-DELETE 的 
实现 留 为 练习 20. 2-2 和 练习 20. 2-3。 

很 显然 ， 必 须要 修改 proto-vEB 结构 ， 使 得 每 个 操作 降 至 至 多 只 进行 一 次 递归 调用 。 下 一 市 
将 讨论 如 何 去 做 。 


练习 

20.2-1 写 出 PROTO-vEB-MAXIMUM 和 PROTO-vEB-PREDECESSOR 过 程 的 伪 代 但 。 

20.2-2 5 PROTOvEB-DELETE 的 伪 代 码 。 通 过 扫描 簇 内 的 相关 位 ， 来 更 新 相应 的 summary 
位 。 并 且 你 实现 的 伪 代 码 的 最 坏 情况 运行 时 间 是 多 少 ? 

20.2-3 为 每 个 proto-vEB 结构 增加 属性 nw， 以 给 出 其 所 在 集合 中 的 元 素 个 数 ， 然 后 写 出 
PROTO-vEB-DELETE 的 伪 代 码 ， 要 求 使 用 属性 n 来 确定 何 时 将 summary 重 置 为 0。 你 
的 伪 代 码 的 最 坏 情 况 运行 时 间 是 多 少 ? 由 于 加 入 了 新 的 属性 n， 其 他 的 操作 要 改变 吗 ? 
这 些 变化 会 影响 到 它们 的 运行 时 间 吗 ? 

20.2-4 修改 proto-vEB 结构 ， 以 文 持 重复 关键 字 。 

20.2-5 修改 proto-vEB 结构 ， 以 支持 带 有 卫星 数据 的 关键 字 。 

20.2-6 ” 写 出 一 个 创建 proto-vEB(w) 结 构 的 伪 代 码 。 

20.2-7” 试 说 明 如 果 PROTO-vEB-MINIMUM 中 的 第 9 行 被 执行 ， 则 proto-vEB 结构 为 空 。 

20. 2-8 ”假设 设计 了 这 样 一 个 proto-vEB 结构 ， 其 中 每 个 徐 数 组 仅 有 w“ 个 元 素 。 那 么 每 个 操作 

| 的 运行 时 间 是 多 少 ? 


20.3 van Emde Boas 树 及 其 操作 | 

前 一 节 中 的 proto-vEB 结构 已 经 接近 运行 时 间 为 Ol(lg lgw) 的 目标 。 其 缺陷 是 大 多 数 操作 要 
进行 多 次 递归 。 在 本 节 中 ， 我 们 要 设计 一 个 类 似 于 proto-vEB 结构 的 数据 结构 ， 但 要 存储 稍 多 一 
些 的 信息 ， 由 此 可 以 去 掉 一 些 递归 的 需求 。 

在 20. 2 节 ， 注 意 到 针对 全 域 大 小 w=2* ， 其 中 心 为 整数 ， 此 假设 有 非常 大 的 局 限 性 ,v 的 可 
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能 值 为 一 个 非常 稀 朴 的 集合 。 因 此 从 这 点 上 ， 我 们 将 允许 全 域 大 小 为 任何 一 个 2 HORE, THY 
Vu 不 为 整数 ( 即 为 2 的 奇数 次 寡 v 一 22+l ， 其 中 某 个 整数 ti 之 0) 时 ， 把 一 个 数 的 ljgv 位 分 割 成 最 
高 [Clgw)/21 位 和 最 低 【lgw) /2 位 。 为 方便 起 见 ， 把 LANu u 的 上 平方 根 ) ZLA 
Vue 的 下 平方 根 )， 于 是 有 二 uu，Vu。 当 为 2 BBARR U=”, Hpk HENERO, 
有 一 Vx 一 V&。 由 于 现在 允许 是 一 个 2 的 奇数 次 宕 ， 从 20. 2 节 中 重 定义 一 些 有 用 的 函数 : 

high(x) = Lx/ Vu] 

low(x) = x mod Yu 

index(z,y) = x Vud- y 


20.3.1 van Emde Boas 树 


van Emde Boas 树 或 vEB 树 是 在 proto-vEB 结构 的 基础 上 修改 而 来 的 。 我 们 将 全 域 大 小 为 u 
的 vEB 树 记 为 vEBCu) . WR u PA 2 的 基础 情形 ， 属性 summary 指 问 一 棵 vEB (Vw) 树 ， 
而 且 数 组 cluster[ 0.. Vu— 1 指向 VuvEB (Vu) OS See n a 
树 。 如 图 20-5 Prax, —#R vEB 树 含 有 proto-vEB 
结构 中 没有 的 两 个 属性 : 

。 min 存储 VEB 树 中 的 最 小 元 素 。 

。 max 存储 vEB 树 中 的 最 大 元 素 。 vEB(u) ee ee 

进一步 地 ， 存 储 在 min 中 的 元 素 并 不 出 现在 VuvEB(Wu)trees 
任何 递归 的 vEB(Yx) 树 中 ， 这 些 树 是 由 cluster 20-5 5 u>2 if, 一 棵 wEB(w 树 中 的 信息 。 


gies 结构 包含 大 小 为 u 的 全 域 、 元 素 min 
Z n § 
数组 指向 它们 的 。 因 此 在 zEB(w) 树 V 中 存储 的 和 mazx、 指 向 一 个 vEB( Yu) H 的 指针 





TRA V. min 再 加 上 由 V. cluster[0.. Vu 一 1] 指 summary， 以 及 指向 vEBC/ay Bt Ya 
向 的 递归 存储 在 vEB( Vu) pt P 的 元 素 。 注 意 到 ， 个 指针 的 数组 cluster[0.. Yu—1] 


当 一 棵 vEB 树 中 包含 两 个 或 两 个 以 上 元 素 时 ， 我 们 以 不 同方 式 处 理 min Al max: 存储 在 min 中 
的 元 素 不 出 现在 任何 徐 中 ， 而 存储 在 mar 中 的 元 素 却 不 是 这 样 。 

因为 基础 情形 的 大 小 为 2， 这 样 一 棵 vEB(2) 树 中 的 相应 proto-vEB (2) 结 构 并 不 需要 数组 A。 
然而 ， 我 们 可 以 从 其 min Fl maz 属性 来 确定 它 的 元 素 。 在 一 棵 不 包含 任何 元 素 的 vEB 树 中 ， 不 
管 全 域 的 大 小 Qf], min Fl max 均 为 NIL, 

图 20-6 显示 了 一 棵 vwEB(16) 树 V， 包 含 集合 {2，3，4，5，7，14，15}。 因 为 最 小 的 元 素 是 
2， 所 以 V. min 等 于 2， 而 且 即 使 high(2) 二 0， 元素 2 也 不 会 出 现在 由 V. clusterL0] 所 指向 的 
vEB(4) 树 中 : 注意 到 V. clusterL0j. min 等 于 3， 因 此 元 素 2 不 在 这 棵 vEB 树 中 。 类 似 地 ， 因 为 
V. cluster[ 0]. min 等 于 3， 而 且 V. clusierL0] 中 只 包含 元 素 2 和 3， 所 以 V. cluster[0j] 内 的 vEB(2) 
簇 为 空 。 

min Al max 属性 是 减少 VEB 树 上 这 些 操作 的 递归 调用 次 数 的 关键 。 这 两 个 属性 有 4 个 方面 
的 作用 : 

1. MINIMUM 和 MAXIMUM 操作 甚至 不 需要 递归 ， 因 为 可 以 直接 返回 min 和 maz WHE. 

2. SUCCESSOR 操作 可 以 避免 一 个 用 于 判断 值 z 的 后 继 是 否 位 于 high) 中 的 递归 调用 。 这 
BAA z Mats ce, SAMS 2 Pe) FT x RN max. X F PREDECESSOR 和 min 人情 
况 ， 可 以 对 照 得 到 。 

3. 通过 min A mac 的 值 ， 可 以 在 常数 时 间 内 告知 一 棵 vEB 树 是 否 为 空 、 仪 含 一 个 元 素 或 两 
个 以 上 元 素 。 这 种 能 力 将 在 INSERT 和 DELETE 操作 中 发 挥 作用 。 如 果 min Fl max 都 为 NIL， 
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ABA vEB 树 为 空 。 如 果 min Fl max 都 不 为 NIL 但 彼此 相等 ， 那 么 vEB 树 仅 含 一 个 元 素 。 如 果 
min 和 max 都 不 为 NIL BAS, ABA vEB 树 包 含 两 个 或 两 个 以 上 元 素 。 

4. 如 果 一 棵 VEB 树 为 空 ， 那 么 可 以 仅 更 新 它 的 min 和 maz 值 来 实现 插入 一 个 元 素 。 因 此 ， 
可 以 在 常数 时 间 内 向 一 棵 空 VEB 树 中 插入 元 素 。 类 似 地 ， 如 果 一 棵 vEB 树 仅 含 一 个 元 素 ， 也 可 
以 仅 更 新 min Fl max 值 在 常数 时 间 内 删除 这 个 元 素 。 这 些 性 质 可 以 缩减 递归 调用 链 。 





图 20-6 ”对 应 于 图 20-4 中 proto-vEB 树 的 一 棵 vwEB(16) 树 。 它 存储 集合 {2，3，4，5，7，14，15}。 斜 杠 


表示 NIL 值 。 存 储 在 VEB WPH min 属性 的 值 不 会 出 现在 它 的 任何 一 个 簇 中 。 这 里 深 阴 影 与 图 
20-4 的 表示 一 样 


aT BN EIA) u A 2 ATU, vEB 树 中 summary 和 cluster 大 小 的 差异 不 会 影响 操作 的 
渐 近 运行 时 间 。 实 现 VEB 树 操作 的 递归 过 程 的 运行 时 间 可 由 下 面 递归 式 来 刻画 ， 
Tu) < TVu) +00) (20. 4) 
这 个 递归 式 与 式 (20. 2) 相 似 ， 我 们 用 类 似 的 方法 求解 它 。 令 m= 二 lgu， 重 写 为 : 
T2”) < TC2™1) +00) 
注意 到 ， 对 所 有 m2, [m/2|\K2m/3, ATLAS 
T(2") < T2”) +00) 
令 Slm) = T2”), ERES H: 
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S(m) < S(2m/3) +0011) 
根据 主 方法 的 情况 2， 有 解 Sn) = OClgm) 。( 对 于 渐 近 解 ， 分 数 2/3 与 1/2 没有 任何 差别 ， 因 
为 应 用 主 方法 时 ， 得 到 log,s1 一 log;1 一 0。) 于 是 我 们 有 
Tu) = T(2”) = Sm) = OUgm) = Og lgu) 

在 使 用 van Emde Boas 树 之 前 ， 一 定 要 知道 全 域 大 小 w， 这 样 才 能 够 创建 一 个 大 小 合适 且 初 
始 为 空 的 van Emde Boas 树 。 正 如 思考 题 20-1 所 要 说 明 的 ， 一 棵 van Emde Boas 树 的 总 空间 需求 
是 O(x) ， 直 接地 创建 一 棵 空 vVEB 树 需 要 O(x) 时间。 相反 ， 红 黑 树 的 建立 只 需 常 数 时 间 。 因 此 ， 
不 应 使 用 一 棵 van Emde Boas 树 用 于 仅仅 执行 少量 操作 的 情况 ， 因 为 建立 数据 结构 的 时 间 要 超过 
单个 操作 节省 的 时 间 。 这 个 缺点 并 不 严重 ， 我 们 通常 可 以 使 用 像 数 组 或 链表 这 样 简 单 的 数据 结 
构 来 存储 少量 数据 。 


20.3.2 van Emde Boas 树 的 操作 


现在 来 介绍 van Emde Boas 树 的 操作 。 与 原型 van Emde Boas 结构 所 做 的 一 样 ， 首 先 介绍 查 
询 操作 ， 然 后 是 INSERT 和 DELETE 操作 。 由 于 在 一 棵 vEB 树 中 最 小 元 素 和 最 大 元 素 之 间 的 不 
对 称 性 ( 当 一 棵 VEB 树 至 少 包 含 两 个 元 素 时 ， 最 小 元 素 不 出 现在 簇 中 ， 而 最 大 元 素 在 艇 中 )， 我 
们 会 给 出 所 有 5 个 查询 操作 的 伪 人 代码。 正如 原型 van Emde Boas 结构 上 的 操作 ， 这 里 操作 取 输 入 
参数 VV 和 zx， 其 中 V 是 一 棵 van Emde Boas 树 ，z 是 一 个 元 素 ， 假定 Ox<V. u. 

查找 最 小 元 素 和 最 大 元 素 

因为 最 小 元 素 和 最 大 元 素 分 别 存 储 在 min Fl maz 属性 中 ， 所 以 两 个 操作 均 只 有 一 行 代码 ， 
耗费 常数 时 间 : 

vEB-TREE-MINIMUM(V) 

1 return V. min 


vEB-TREE-MAXIMUMCV) 
1 return V. max 


判断 一 个 值 是 否 在 集合 中 

过 程 vEB-TREE-MEMBER(V，z) 有 一 个 递归 情形 ， 其 与 PROTO-vEB-MEMBER 中 的 类 似 ， 
然而 基础 情形 却 稍微 不 同 。 我 们 仍然 会 直接 检查 z 是 否 等 于 最 小 元 素 或 者 最 大 元 素 。 由 于 vEB 
树 并 不 像 proto-vEB 结构 那样 存储 位 信息 ， 所 以 设计 vEB-TREE-MEMBER 返回 TRUE 或 
FALSE 而 不 是 0 或 1。 

vEB-TREE-MEMBER(V, x) 


l if z == V. min or x == V. max 

2 return TRUE 

3 elseif V.w == 2 

4 return FALSE 

5 else return VEB-TREE-MEMBERCV. cluster[high(x) ], low(x)) 


第 1 行 判断 z 是 否 与 最 小 元 素 或 者 最 大 元 素 相 等 。 如 果 是 ， 第 2 行 返回 TRUE; 否则 ,， 第 3 
行 检 查 执行 基础 情形 。 因 为 一 棵 vEB(2) 树 中 除了 min Fl max 中 的 元 素 外 ， 不 包含 其 他 元 素 ， 所 
以 如 果 为 基础 情形 ， 第 4 行 返 回 FALSE。 另 一 种 可 能 就 是 不 是 基础 情形 ,， 日 x 既 不 等 于 min 也 
REF max, OAT SS 5 行 中 的 递归 调用 来 处 理 。 

递归 式 (20. 4) 表 明了 过 程 VEB-TREE-MEMBER 的 运行 时 间 ， 这 个 过 程 的 运 运行 时 间 
为 Ol(lg lgw)。 

查找 后 继 和 前 驱 

接 下 来 介绍 怎样 实现 SUCCESSOR 操作 。 回 想 过 程 PROTO-vEB-SUCCESSOR(V，x) 要 进 
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行 两 个 递归 调用 : 一 个 是 判断 zz 的 后 继 是 否 和 zz 一 样 被 包含 在 z RPS 如 果 不 包含 ， 另 一 个 递 


归 调 用 就 是 要 找 出 包含 x RRR. FREE vEB 树 中 很 快 地 访 存 最 大 值 ， 这 样 可 以 避免 进行 


两 次 递归 调用 ， 并 且 使 一 次 递归 调用 或 是 复 上 的 或 是 summary 上 的 ， 并 非 两 者 同时 进行 。 


ool 


vEB-TREE-SUCCESSOR(V, zx) 


1 ifV.u == 2 

2 if z == 0 and V. max == 1 

3 return 1 

4 else return NIL 

5 elseif V. min Æ NIL and x < V. min 

6 return V. min 

7 else max-low = vEB-TREE-MAXIMUM(V. clusterLhigh(z) ]) 

8 if maz-low Æ NIL and low(x)< maz-low 

9 offset = vEB-TREE-SUCCESSOR(V. cluster[high(x)], low(x)) 
10 return index(high(z), offset) 
11 else succ-cluster = vEB-TREE-SUCCESSOR(V. summary, high(x)) 
12 if succ-cluster == NIL 
13 return NIL 
14 else offset = vEB-TREE-MINIMUM(V. cluster[ succ-cluster }) 
15 return index(succ-cluster, offset) 


这 个 过 程 有 6 个 返回 语句 和 几 种 情形 处 理 。 第 2~4 行 处 理 基础 情形 ， 如 果 查 找 的 是 0 的 后 
继 并 且 1 在 元 素 2 的 集合 中 ， 那 么 第 3 行 返回 1; 否则 第 4 行 返回 NIL, 

如 果 不 是 基础 情形 ， 下 面 第 5 行 判断 x 是否 严格 小 于 最 小 元 素 。 如 果 是 ， 那 么 第 6 行 返回 这 
个 最 小 元 素 。 

如 果 进 入 第 7 行 ， 那 么 不 属于 基础 情形 ， 并 且 z 大 于 或 等 于 vVEB 树 V 中 的 最 小 元 素 值 。 第 7 
行 把 工 秘 中 的 最 大 元 素 赋 值 给 az-low。 如 果 工 复 存 在 大 于 z 的 元 素 ， 那 么 可 确定 z 的 后 继 就 在 
rP. B 8 行 测试 这 种 情况 。 如 果 xz 的 后 继 在 zz AA, MAE 9 行 确定 z 的 后 继 在 得 中 的 位 
置 ， 第 10 行 采用 与 PROTO-vEB-SUCCESSOR 第 7 行 相同 的 方式 返回 后 继 。 

如 果 工 大 于 等 于 z 簇 中 的 最 大 元 素 ， 则 进入 第 11 行 。 在 这 种 情况 下 ， 第 11 一 15 行 采用 与 
PROTO-vEB-SUCCUSSOR 中 第 8 一 12 行 相同 的 方式 查找 二 的 后 继 。 

递归 式 (20. 4) 为 vVEB-TREE-SUCCESSOR 的 运行 时 间 ， 这 很 容易 明白 。 根 据 第 7 行 测试 的 
结果 ， 过 程 在 第 9 行 (在 全 域 大 小 为 Vu 的 vEB 树 上 ) 或 者 第 11 行 (在 全 域 大 小 为 V4 的 vEB 树 上 ) 
对 自身 进行 递归 调用 。 在 两 种 情况 中 ， 一 次 递归 调用 是 在 全 域 大 小 至 多 为 Vu 的 vEB 树 上 进行 的 。 
过 程 的 剩余 部 分 ， 包 括 调用 vEB-TREE-MINIMUM 和 vEB-TREE-MAXIMUM， 耗 费时 间 为 
O(1) 。 所 以 vEB-TREE-SUCCESSOR 的 最 坏 情 况 运行 时 间 为 O(lglgz) 。 

vEB-TREE-PREDECESSOR 过 程 与 vEB-TREE-SUCCESSOR 是 对 称 的 ， 但 是 多 了 一 种 附加 情况 ， 

vEB-TREE-PREDECESSOR(V, zx) 

1 ifV.u == 2 

2 if z == 1 and V. min == 0 

return 0 

else return NIL 
elseif V. max Æ NIL and x > V. max 

return V. max 
else min-low = vEB-TREE-MINIMUM(V. cluster[high(x) ]) 


if min-low ~ NIL and low(z) > min-low 
offset = vEB-TREE-PREDECESSOR(V. cluster[high(x)], low(z)) 


oO on mm Oo A WH 
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10 return index(high(z), offset) 

11 else pred-cluster = vEB-TREE-PREDECESSOR(V. summary, high(x)) 
12 if pred-cluster == NIL 

13 if V. min Æ NIL and x > V. min 

14 return V. min 

15 else return NIL 

16 else offset = vEB-TREE-MAXIMUM(V. cluster| pred-cluster ]) 
17 return index( pred-cluster, offset) 


第 13~14 行 就 是 处 理 这 个 附加 情况 。 这 个 附加 情况 出 现在 z 的 前 驱 存 在 ， 而 不 在 ce RP. 
在 VEB-TREE-SUCCESSOR F, WR r 的 后 继 不 在 xz 簇 中 ， 那 么 断定 它 一 定 在 一 个 更 高 编号 的 
复 中 。 但 是 如 果 z 的 前 驱 是 vEB 树 V 中 的 最 小 元 素 ， 那 么 后 继 不 存在 于 任何 一 个 簇 中 。 第 13 行 
就 是 检查 这 个 和 条件， 而且 第 14 行 返回 最 小 元 素 。 

与 vEB-TREE-SUCCESSOR 相 比 ， 这 个 附加 情况 并 不 影响 VEB-TREE-PREDECESSOR 的 渐 
近 运 行 时 间 ， 所 以 它 的 最 坏 情 况 运 行 时 间 为 O(lg lgw) 。 

揪 入 一 个 元 素 

现在 讨论 如 何 向 一 棵 vEB 树 中 插入 一 个 元 素 。 回 想 PROTO-vEB-INSERT 操作 进行 两 次 
递归 调用 : 一 次 是 插入 元 素 ， 另 一 次 是 将 元 素 的 徐 号 插入 summary 中 。 然 而 vEB-TREE- 
INSERT 只 进行 一 次 递归 调用 。 怎 样 才 能 做 到 只 用 一 次 递归 呢 ?” 当 插入 一 个 元 素 时 ， 在 操作 
的 艇 中 要 么 已 经 包含 另 一 个 元 素 ， 要 么 不 包含 任何 元 素 。 如 果 簇 已 包含 另 一 个 元 素 ， 那 么 簇 
编号 已 存在 于 summary 中 ， 因 此 我 们 不 需要 进行 递归 调用 。 如 果 簇 不 包含 任何 元 素 ， 那 么 
即将 插入 的 元 素 成 为 簇 中 唯一 的 元 素 ， 所 以 我 们 不 需要 进行 一 次 递归 来 将 元 素 插 入 一 棵 空 
vEB 树 中 

vEB-EMPTY-TREE-INSERT(V, zx) 

1 V.min = z 


2 V.mar = x 


利用 上 面 这 个 过 程 ， 这 里 给 出 vEB-TREE-INSERT(V, DRE, i r AE VEB V 
所 表示 的 集合 中 : 


vEB-TREE-INSERT(V, x) 

1 if V.min == NIL 

2 vEB-EMPTY-TREE-INSERT(V, zx) 

3 else if x < V. min 

4 exchange x with V. min 

5 if V.u > 2 
6 if VEB-TREE-MINIMUMC(V. clusterLhigh(x) ]) == NIL 
7 vEB-TREE-INSERT(V. summary, high(z)) 
8 vEB-EMPTY-TREE-INSERTCV. clusterLhigh(z) ], low(x)) 
9 else VEB-TREE-INSERTCV. cluster high(x) ], low(x)) 
10 if x > V. max 


11 V. max = x 


这 个 过 程 的 工作 如 下 。 第 1 行 判断 V 是 否 是 一 棵 空 YEB 树 ， 如 果 是 ， 第 2 行 处 理 这 种 比较 
简单 的 情况 。 第 3 一 11 行 假定 V 非 空 ， 因 此 某 个 元 素 会 被 插入 V 中 的 一 个 佬 中。 而 这 个 元 素 不 
一 定 是 通过 参数 传递 进来 的 元 素 r, WR x 二 min， 如 第 3 行 ， 那 么 xz 需要 作为 新 的 min。 然 而 旧 
的 min 元 素 也 应 该 保留 ， 所 以 旧 的 min 元 素 需 要 被 插入 V 某 个 艇 中 。 在 这 种 情况 下 ,第 4 行 对 xz 
和 min 互 换 ， 这 样 将 旧 的 min WRA VEE. 


320 + 第 五 部 分 高 级 数据 结构 


仅 当 V 不 是 一 棵 基础 情形 的 vEB 树 时 ， 第 6 一 9 行 才 会 被 执行 。 第 6 行 判断 z 簇 是 否 为 空 。 
如 果 是 ， 第 7 行将 z 的 簇 号 插入 summary 中 ， 第 8 行 处 理 将 z+ 插入 空 篮 中 的 这 种 简单 情况 。 如 
果 工 焦 当 前 非 空 ， 则 第 9 行将 z 揪 和 人 它 的 能 中 。 在 这 种 情况 ， 无 需 更 新 summary, Bc 的 簇 号 
已 经 存在 于 summary P}, 

最 后 ， 如 果 >mar, PAR 10~11 FER maz, HERB, WE V 是 一 棵 非 空 的 基础 情形 
下 的 vEB 树 ， 那 么 第 3 一 4 行 和 第 10 一 11 行 相 应 地 更 新 min Fl maz. 

这 里 ， 我 们 也 能 容易 明白 vEB-TREE-INSERT 的 运行 时 间 可 以 用 递归 式 (20.4) 表 示 。 根 据 
第 6 行 的 判断 结果 ， 或 者 执行 第 7 行 ( 在 全 域 大 小 为 Vx 的 vEB 树 上 ) 中 的 递归 调用 ， 或 者 执行 第 9 
行 (在 全 域 大 小 为 Vu 的 vEB 树 上 ) 中 的 递归 调用 。 在 两 种 情况 下 ， 其 中 一 个 递归 调用 是 在 全 域 大 
小 至 多 为 Vu 的 vEB 树 上 。 由 于 vEB-TREE-INSERT 操作 的 剩余 部 分 运行 时 间 为 0(1) ， 所 以 整 
个 运行 时 间 为 O(glgwu) 。 

删除 一 个 元 素 

下 面 将 介绍 如 何 从 vEB 树 删 除 一 个 元 素 。 过 程 vV[EB-TREE-DELETE(V，z) 假 设 工 是 vVEB 树 
所 表示 的 集合 中 的 一 个 元 素 。 


vEB-TREE-DELETE(V, x) 


1 if V. min == V. max 


2 V. min = NIL 
3 V. max = NIL 
4 elseif V.u == 2 
5 ifz == 0 
6 V.min= 1 
7 else V. min = 0 
8 V. max = V. min 
9 else if xz == V. min 
10 first-cluster = vVEB-TREE-MINIMUMC(V. summary) 
11 x = index( first-cluster, 
vEB-TREE-MINIMUM(V. cluster[ first-cluster |)) 
12 V. min = x 
13 vEB-TREE-DELETE(CV. cluster[high(x) ], low(x)) 
14 if VEB-TREE-MINIMUM(V. cluster[high(x) ]) == NIL 
15 vEB-TREE-DELETECV. summary, high(x)) 
16 if c == V. max 
17 summary-max = vEB-TREE-MAXIMUM(V. summary) 
18 if suemmary-max == NIL 
19 V. max = V. min 
20 else V. max = index(summary-maz, 
vEB-TREE-MAXIMUMC(V. clusterL summary-maz |)) 
21 elseif z == V. max 
22 V. max = index(high(zx), 


vEB-TREE-MAXIMUMC(V. cluster[high(x)])) 


vEB-TREE-DELETE 过 程 工作 如 下 。 如 果 vEB 树 V 只 包含 一 个 元 素 ， 那 么 很 容易 删除 这 个 
元 素 ， 如 同 将 一 个 元 素 插 入 一 棵 空 vVEB 树 中 一 样 ， 只 要 置 min 和 maz 为 NIL。 第 1 一 3 行 处 理 这 
种 情况 。 和 否则 ，YV 至 少 有 两 个 元 素 。 第 4 行 判 断 V 是 否 为 一 棵 基础 情形 的 vEB 树 ， 如 果 是 ， 第 
5 一 8 行 置 min Al max 为 另 一 个 留 下 的 元 素 。 

第 9 一 22 行 假 设立 包含 两 个 或 两 个 以 上 的 元 素 ， 并 且 x 之 4。 在 这 种 情况 下 ， 必 须 从 一 个 得 
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中 删除 元 素 。 然 而 从 一 个 簇 中 删除 的 元 素 可 能 不 一 定 是 z+， 这 是 因为 如 果 c SF min, 4x RH 
除 后 ， 簇 中 的 某 个 元 素 会 成 为 新 的 min, HAMMAN PMX PCR. WR 9 行 得 出 正 是 这 
种 情况 ， 那 么 第 10 行将 变量 first-cluster 置 为 除了 min 外 的 最 小 元 素 所 在 的 簇 号 ， 并且 第 11 行 
置 z 为 这 个 簇 中 最 小 元 素 的 值 。 在 第 12 行 中 ， 这 个 元 素 成 为 新 的 min， 由 于 已 经 置 为 它 的 值 ， 
所 以 这 是 要 从 簇 中 删除 的 元 素 。 

当 执行 到 第 13 行 时 ， 需 要 从 簇 中 删除 zx， 不 论 r 是 从 参数 传递 而 来 的 ， 还 是 z 是 成 为 新 的 
min 元 素 。 第 13 行 从 簇 中 删除 xz。 第 14 行 判断 删除 后 的 簇 是 否 变 为 空 ， 如 果 是 ， 则 第 15 行 要 将 
这 个 艇 号 从 summary 中 移 除 。 在 更 新 summary 之 后 ， 可 能 还 要 更 新 mazx。 第 16 行 判断 是 否 正在 
删除 V 中 的 最 大 元 素 ， 如 果 是 ， 则 第 17 行将 编号 为 最 大 的 非 空 复 编 号 赋值 给 变量 summary- 
max。( 调 用 vVEB-TREE-MAXIMUM(V. summary) 执 行 是 因为 已 经 在 V. summary 上 递归 调用 了 
vEB-TREE-DELETE， 因 此 有 必要 的 话 ，V. summary. maz CRES.) WRA V 的 簇 都 为 空 ， 
那么 V 中 剩余 的 元 素 只 有 min; 第 18 行 检查 这 种 情况 ， 第 19 行 相应 地 更 新 mar. BU, $ 20 
行 把 编号 最 高 簇 中 的 最 大 元 素 赋 值 给 mazx。( 如 果 这 个 簇 是 已 删除 元 素 所 在 的 徐 ， 再 依靠 第 13 行 
中 的 递归 调用 完成 能 中 的 maz 更正。) 

最 后 来 处 理由 于 xz 被 删除 后 ，z 簇 不 为 空 的 情况 。 虽 然 在 这 种 情况 下 不 需要 更 新 summary, 
但 是 要 更 新 max. FH 21 行 判断 是 否 为 这 种 情况 ， 如 果 是 ， 第 22 行 更 新 "az( 再 依靠 递归 调用 来 
更 正 max). 

现在 来 说 明 vEB-TREE-DELETE 的 最 坏 情况 运行 时 间 为 Ol(lglgu) 。 初 看 起 来 ， 可 能 认为 递 
归 式 (20. 4) 不 适用 ， 因 为 vEB-TREE-DELETE 会 进行 两 次 递归 调用 : 一 次 在 第 13 行 ， 另 一 次 在 
第 15 行 。 虽 然 过 程 可 能 两 次 递归 调用 都 执行 ， 但 是 要 看 看 实际 发 生 了 什么 。 为 了 第 15 行 的 递归 
调用 ， 第 14 行 必须 确定 z RAZ. HER 13 行进 行 递归 调用 时 ， 如 果 是 其 侯 中 的 唯一 元 素 ， 
此 为 zx 簇 为 空 的 唯一 方式 。 然 而 如 果 z 是 其 簇 中 的 唯一 元 素 ， 则 递归 调用 耗费 的 时 间 为 O(1) ， 
因为 只 执行 第 1 一 3 行 。 于 是 ， 有 了 两 个 互 斥 的 可 能 

。 第 13 行 的 递归 调用 占用 常数 时 间 。 
。 第 15 行 的 递归 调用 不 会 发 生 。 

无 论 哪 种 情况 ，vEB-TREE-DELETE 的 运行 时 间 仍 可 用 递归 式 (20.4) 表 示 ， 因 此 最 坏 情 况 

运行 时 间 为 OUglgu) 。 


练习 


20.3-1 修改 vEB 树 以 支持 重复 关键 字 。 

20.3-2 修改 vEB 树 以 支持 带 有 卫星 数据 的 关键 字 。 

20.3-3” 写 出 创建 空 van Emde Boas 树 过 程 的 伪 代 码 。 

20.3-4 ”如 果 调 用 vVEB-TREE-INSERT 来 插入 一 个 已 包含 在 vEB 树 中 的 元 素 ， 会 出 现 什么 情况 ? 
如 果 调 用 VEB-TREE-DELETE 来 删除 一 个 不 包含 在 vEB 树 中 的 元 素 ， 会 出 现 什么 情况 ? 
解释 这 些 函数 为 什么 有 相应 的 运行 状况 ? 怎样 修改 VEB 树 和 操作 ， 使 得 常数 时 间 内 能 判 
断 一 个 元 素 是 否 在 其 中 ? 

20. 3-5 ”假设 我 们 创建 一 个 包含 wy 个 护 ( 而 不 是 全 域 大 小 为 的 Vw 个 能 ) 的 vEB 树 ， 其 每 个 能 
的 全 域 大 小 为 ww*， 其 中 >1， 而且 % 为 常数 。 如 果 恰 当地 修改 这 些 操作 ， 则 这 些 操 
作 的 运行 时 间 是 多 少 ? 为 了 分 析 方便 ， 假 设 w* 和 w 总 是 为 整数 。 

20. 3-6 ”创建 一 个 全 域 大 小 为 的 vEB 树 ,需要 OCw) 的 运行 时 间 。 假 设 我 们 想得到 确切 时 间 。 
如 果 vEB 树 中 每 个 操作 的 摊 还 时 间 为 OClglgu) ， 那么 最 小 的 操作 数 n 是 多 少 ? 
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思考 题 
20.1 (van Emde Boas 树 的 空间 需求 ) 这 个 问题 讨论 van Emde Boas 树 的 空间 需求 ， 并 给 出 一 


20-2 


种 修改 数据 结构 的 方法 ， 使 其 空间 需求 依赖 元 素 个 数 n， 而 不 是 全 域 大 小 u。 为 简单 起 见 ， 
假设 Vu 总 是 为 整数 。 
a. 解释 为 什么 下 面 的 递归 式 表 示人 全域 大 小 为 u 的 van Emde Boas 的 空间 需求 P) 。 
P) = Wut DPD tOu) ` (20. 5) 
b. 证 明 ; 递归 式 (20. DA Pu) =O(u). 
为 了 减少 空间 需求 ， 定 义 一 棵 缩减 空间 的 van Emde Boas 树 (reduced-space van Emde 
Boas tree) ， 或 RS-vEB 树 。RS-vEB 树 是 一 棵 vEB 树 ， 但 做 出 了 如 下 修改 : 
。 属性 V. cluster 并 不 是 一 个 指向 全 域 大 小 为 的 VEB 树 的 简单 指针 数组 ， 而 是 一 个 散 
列表 ( 见 第 11 章 )， 以 动态 表 的 方式 来 存储 ( 见 17.4 节 )。 相 应 于 V. cluster 的 数组 版 


本 ， 而 散 列 表 存 储 指 向 全 域 大 小 为 Vu 的 RS-vEB 树 的 指针 。 于 是 要 查找 第 iM, ME 
散 列 表 中 查找 关键 字 i， 所 以 可 以 用 在 散 列 表 中 的 简单 搜索 找到 第 i 个 族 。 
散 列 表 只 存储 指向 非 空 复 的 指针 ， 在 散 列 表 中 搜索 一 个 空 徐 ， 返 回 NIL， 表 示 这 个 族 为 空 。 
。 如 果 所 有 的 簇 为 空 ， 则 属性 V. summary 为 NIL; 否则 ，V. summary 指 问 全 域 大 小 为 
Wu 的 RS-vEB 树 。 

因为 散 列 表 使 用 动态 表 来 实现 ， 所 以 需要 的 空间 与 非 空 徐 的 数量 成 正比 。 

当 需 要 向 空 RS-vEB 树 插入 一 个 元 素 时 ， 调 用 下 面 的 过 程 创 建 RS-vEB 树 ， 其 中 参数 
u 是 RS-vEB 树 的 全 域 大 小 ， 


CREATE-NEW-RS-vEB-TREE(u) 


allocate a new vEB tree V 


V.u = u 
V. min = NIL 
V. max = NIL 


V. summary = NIL 


create V. cluster as an empty dynamic hash table 


Aa Dm an FP W N el 


return V 


c 修改 vVEB-TREE-INSERT 过 程 的 伪 代 码 ， 来 形成 RS-vEB-TREE-INSERT(V，zx) 的 伪 代 
i, XK 2 HA RS-vEB 树 V 中 ， 并且 调用 相应 的 CREATE-NEW-RS-vEB-TREE。 

d. 修改 vEB-TREE-SUCCESSOR 过 程 的 伪 人 代码， 来 形成 RS-vEB-TREE-SUCCESSOR 
(V，Zx) 的 伪 人 代码， 实现 返回 xz 在 RS-vEB H V 中 的 后 继 ， 或 者 如 果 工 在 V 中 无 后 继 ， 
则 返回 NIL。 

e 在 简单 均匀 散 列 的 假设 下 ， 证 明 : 你 实现 的 RS-vEB-TREE-INSERT 和 RS-vEB-TREE- 
SUCCESSOR 的 期 望 运行 时 间 为 O(g lgw) 。 

f 假设 从 不 删除 VEB 树 中 的 元 素 ， 证 明 ，RS-vEB 树 结构 的 空间 和 需求 为 O(n) ， 其 中 是 
存储 在 RS-vEB 树 中 的 实际 元 素 个 数 。 

g. FALL VEB 树 ，RS-vEB 树 具有 男 一 个 优点 : 创建 树 的 时 间 较 少 。 创 建 一 棵 空 RS-vEB 树 
需要 多 长 时 间 ? 

(yfast 检索 树 ) ”本 题 讨论 的 是 D. Willard 的 yfast 检索 树 ， 它 与 van Emde Boas WW. 

一 个 全 域 大 小 为 u 的 y-fast 检索 树 的 MEMBER, MINIMUM, MAXIMUM, 

PREDECESSOR 和 SUCCESSOR 操作 的 最 坏 情 况 运行 时 间 为 Og lgu). INSERT 和 
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DELETE 操作 的 摊 还 时 间 为 OUglgu) 。 像 缩减 空间 的 van Emde Boas 树 一 样 ( 见 思考 题 
20-1), y-fast 检索 树 存储 个 元 素 的 空间 仅 需 要 O(n) 空间 。yfast 检索 树 的 设计 依赖 于 完 
全 散 列 ( 见 11. 5 节 )。 
假设 创建 一 个 完全 散 列表 作为 初步 的 结构 ， 该 散 列 表 中 不 仅 包 含 动态 集合 中 的 每 个 元 
素 ， 而 且 还 包含 这 些 元 素 的 二 进 制 前 级 。 例 如 ， 如 果 u=16, MA lgu=4, FHA z 王 13 在 
集合 中 ， 由 于 13 的 二 进 制 表示 为 1101， 因 此 完全 散 列 表 应 含有 串 1、11、110 和 1101。 除 
了 该 散 列 表 外 ， 还 要 创建 一 个 该 集合 当前 元 素 以 升序 排列 的 双向 链表 。 
a. 这 个 数据 结构 的 空间 需求 是 多 少 ? 
b. 如 何在 OCG) 时 间 内 完成 MINIMUM 和 MAXIMUM 操作 ? 如 何在 Ol(lglgw) 时 间 内 完成 
MEMBER, PREDECESSOR 和 SUCCESSOR 操作 ? 如 何在 OUg u) 时 间 内 完成 
INSERT 和 DELETE 操作 ? 
为 了 将 空间 需求 减少 到 Omn) ， 我 们 对 数据 结构 做 出 如 下 修改 : 
将 个 元 素 分 成 大 小 为 lgu 的 n/ lgu 个 组 。( 假 设 lgu 可 以 整除 2。) 第 一 组 由 最 小 的 lgu 
个 元 素 组 成 ， 第 二 组 由 下 面 lgx 个 最 小 的 元 素 组 成 ， 依 此 类 推 。 
对 每 个 组 都 设置 一 个 “代表 ”。 第 i 组 的 代表 至 少 与 组 里 的 最 大 元 素 一 样 大 ， 而 且 比 第 
i 十 1 组 的 最 小 元 素 要 小 。( 最 后 一 组 的 代表 可 以 是 最 大 的 可 能 元 素 u 一 1。 ERE 代表 可 
能 是 一 个 值 并 不 包含 在 集合 中 。 
把 每 组 的 leu 个 元 素 存储 到 一 个 平衡 二 又 搜索 树 中 ， 比 如 红 黑 树 。 每 个 代表 指向 它 所 
在 组 中 的 平衡 二 又 搜索 树 ， 而 且 每 个 平衡 二 又 搜索 树 指 向 它 的 代表 。 
完全 散 列 表 仪 存储 这 些 代 表 ， 也 是 用 双向 链表 按 升 序 排列 来 存储 。 
我 们 称 这 种 结构 为 一 个 y-fast MAM 
说 明 一 个 y-fast 检索 树 存储 个 元 素 的 空间 需求 仪 为 O(n) 。 
说 明 使 用 y-fast 检索 树 ， 如 何在 Ol(glgu) 时 间 内 完成 MINIMUM 和 MAXIMUM 操作 ? 
说 明 如 何在 Ol(glgu) 时 间 内 完成 MEMBER 操作 ? 
说 明 如 何在 O(lglgz) 时 间 内 完成 PREDECESSOR 和 SUCCESSOR 操作 ? 
解释 为 什么 INSERT 和 DELETE 操作 要 耗费 OUg leu) 时 间 ? 
在 yfast 检索 树 中 每 组 需要 精确 的 gu 个 元 素 存 储 ， 试 说 明 如 何 放松 这 个 存储 需求 来 保 
证 在 OUglgu) 摊 还 时 间 内 完成 INSERT #1 DELETE 操作 ， 并 同时 不 影响 其 他 操作 的 渐 
近 运 行 时 间 。 
本 章 注 记 
本 章 的 数据 结构 是 以 P. van Emde Boas 命名 的 ， 他 于 1975 年 提出 了 初步 的 想法 [339j。 以 后 
van Emde Boas[ 340 ] 和 van Emde Boas, Kaas 和 Zijlstral 341 ] 的 数 篇 论文 精练 了 该 想法 并 发 表 。 
随后 Mehlhorn 和 Niher[252] 进 行 了 扩展 ， 应 用 到 素数 大 小 的 全 域 上 。Mehlhorn 的 著作 [249] 包 
含 了 与 本 章 略 为 不 同 的 van Emde Boas 树 的 实现 方法 。 
利用 van Emde Boas 树 的 思想 ，Dementiev 等 人 [83] 开 发 了 一 个 非 递归 的 三 层 搜索 树 ， 并 在 
实验 中 要 快 于 van Emde Boas 树 的 实现 。 
Wang 和 LinL347j] 设 计 了 一 个 van Emde Boas 树 的 硬件 流水 版 本 ， 这 个 版 本 使 得 每 个 操作 均 
有 常数 的 挫 还 运行 时 间 ， 其 中 使 用 了 OClg lgw) 步 流水 过 程 。 
Pătraşcu 和 Thorup[273，274] 得 到 了 查找 前 驱 操 作 的 一 个 下 界 ， 并 说 明了 van Emde Boas 的 
这 个 操作 是 最 优 的 ， 即 使 允许 引入 随机 化 方法 仍 是 最 优 的 。 
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一 些 应 用 涉及 将 nn 个 不 同 的 元 素 分 成 一 组 不 相交 的 集合 。 这 些 应 用 经 常 需要 进行 两 种 特别 的 
操作 : 寻找 包含 给 定 元 素 的 唯一 集合 和 合并 两 个 集合 。 本 章 将 介绍 如 何 维护 一 种 数据 结构 来 实 
现 这 些 操 作 。 

21. 1 节 描 述 不 相交 集合 数据 结构 所 支持 的 各 种 操作 ， 并 给 出 一 一 个 简单 的 应 。 在 21.2 节 
中 ,我们 可 以 看 到 使 用 一 种 简单 链表 结构 来 实现 不 相交 集合 。21. 3 市 给 出 一 ed 
的 更 有 效 方法 。 使 用 树 表 示 的 运行 时 间 理 论 上 好 于 线性 时 间 ， 然 而 对 于 所 有 的 实际 应 用 它 却 是 
线性 的 。21.4 节 定义 并 讨论 一 个 增长 非常 快 的 函数 和 其 增长 极 慢 的 逆 函数 ， 这 种 逆 函 数 应 用 在 
基于 树 实现 上 的 各 种 操作 的 运行 时 间 中 。 然 后 ， 应 用 复杂 的 摊 还 分 析 方 法 ， 证 明 一 个 近似 线性 运 
行 时 间 的 上 界 。 


21.1 不 相交 集合 的 操作 

一 个 不 相交 集合 数据 结构 (disjoint-set data structure) 维 护 了 一 个 不 相交 动态 集 的 集合 名 二 
{Sis Sp» es S } 。 我 们 用 一 个 代表 (representative) 来 标识 每 个 集合 ， 它 是 这 个 集合 的 某 个 成 
员 。 在 一 些 应 用 中 ， 我 们 不 关心 哪个 成 员 被 用 来 作为 代表 ， 仅 仅 关 心 的 是 2 次 查询 动态 集合 的 代 
表 中 ， 如 果 这 些 查询 没有 修改 动态 集合 ， 则 这 两 次 查询 应 该 得 到 相同 的 答案 。 其 他 一 些 应 用 可 能 
会 需要 一 个 预先 说 明 的 规则 来 选择 代表 ， 比 如 选择 这 个 集合 中 最 小 的 成 员 ( 当 然 假 设 集合 中 的 元 
素 能 被 比较 次 序 ) 。 

如 同 我 们 已 经 探讨 过 的 动态 集合 的 其 他 实现 ， 用 一 个 对 象 表示 一 个 集合 的 每 个 元 素 。 设 z 
表示 一 个 对 象 ， 我 们 希望 支持 以 下 三 个 操作 

MAKE-SET(x) :建立 一 个 新 的 集合 ， 它 的 唯一 成 员 ( 因 而 为 代表 ) 是 xz。 因 为 各 个 集合 是 不 
相交 的 ， 故 z 不 会 出 现在 别 的 某 个 集合 中 。 

UNIONGz，y) : KEE rA y 的 两 个 动态 集合 (表示 为 S 和 S,) 合 并 成 一 个 新 的 集合 ， 即 
这 两 个 集合 的 并 集 。 假 定 在 操作 之 前 这 两 个 集合 是 不 相交 的 。 虽 然 UNION 的 很 多 实现 中 特别 地 
选择 S, RS, 的 代表 作为 新 的 代表 ， 然 而 结果 集 的 代表 可 以 是 SUS, 的 任何 成 员 。 由 于 我 们 要 
求 各 个 集合 不 相交 ， 故 要 “消除 ” 原 有 的 集合 S 和 S,， 即 把 它们 从 # 中 删除 。 实 际 上 ， 我 们 经 常 
把 其 中 一 个 集合 的 元 素 并 入 另 一 个 集合 中 ， 来 代替 删除 操作 。 

FIND-SET(z): 返回 一 个 指针 ， 这 个 指针 指向 包含 z 的 (唯一 ) 集 合 的 代表 。 

贯穿 本 章 ， 我 们 使 用 两 个 参数 来 分 析 不 相交 集合 数据 结构 的 运行 时 间 : 一 个 参数 是 n， 表 示 
MAKE-SET 操作 的 次 数 ; 另 一 个 是 如， 表示 MAKE-SET, UNION 和 FIND-SET 操作 的 总 次 数 。 
因为 各 个 集合 是 不 相交 的 ， 所 以 每 个 UNION 操作 减少 一 个 集合 。 因 此 ，z 一 1 次 UNION 操作 

后 ， 只 有 一 个 集合 留 下 来 。 也 就 是 说 ，UNION 操作 的 次 数 至 多 是 ”一 1。 也 要 注意 到 ， 由 于 
MAKE-SET 操作 被 包含 在 总 操作 次 数 m 中 ， 因 此 有 m 宇 n。 这 里 我 们 假设 n 个 MAKE-SET 操作 
总 是 最 先 执行 的 个 操作 。 

不 相交 集合 数据 结构 的 一 个 应 用 

不 相交 集合 数据 结构 的 许多 应 用 之 一 是 确定 无 向 图 的 连通 分 量 ( 见 B.4 市 )。 例 如 ， 
图 21-1(a) 显示 了 一 个 包含 4 个 连通 分 量 的 图 。 

下 面 的 CONNECTED-COMPONENTS 过 程 使 用 不 相交 集合 操作 来 计算 一 个 图 的 连通 分 量 。 一 
H CONNECTED-COMPONENTS 预 处 理 了 该 图 ， 过 程 SAME-COMPONENT 就 回答 两 个 顶点 是 否 
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在 同一 个 连通 分 量 的 询问 。 图 G 的 顶 ae G. van 边 集 用 G E RR.) 





处 理 的 边 不 相交 集合 组 





{b} {c} td} fe} O {8} th} 
(b,a) {a} {b.d} {c} {e} f} {gs} th} B y 


(e.g) {a} {b.d} ic} {eg} 6} th} ti} GO} 
(a,c) {a,c} {6,4} {eg} V) th i U 
(h,i) {a,c} {b.d} teg 雪 {h,i} v. 
(a,b) {a,b,c,d} {e.g} Uf} {h,i} U) 
(ef) {a,b,c,d} {e, fg} {h,i} U3 
(b.c) {a,b,c,d} {e, 8} {h,i} V3 


(b) 


图 21-1 (a) 一 个 包含 4 个 连通 分 量 的 图 : {as b, Cy d}, {e, f; g)» 
{，} ，{(7)}。(b) 处 理 每 条 边 后 的 不 相交 集 的 集合 


CONNECTED-COMPONENTS(G) 

1 for each vextex v€G. V 

2 MAKE-SET(v) 

3 for each edge(u,v) EG. E 

4 if FIND-SET (u) AFIND-SET(v) 
5 UNION (Cu, v) 
SAME-COMPONENT (u, v) 

1 if FIND-SET (u) == FIND-SET (v) 
2 return TRUE 

3 else return FALSE 


过 程 CONNECTED-COMPONENTS 开始 时 ， 将 每 个 顶点 v 放 在 它 自己 的 集合 中 。 然 后 ， 对 
于 每 条 边 (u，v)， 它 将 包含 w Mo 的 集合 进行 合并 。 由 练习 21. 1-2， 处 理 完 所 有 的 边 之 后 ， 两 个 
顶点 在 相同 的 连通 分 量 当 且 仅 当 与 之 对 应 的 对 象 在 相同 的 集合 中 。 因 此 ，CONNECTED- 
COMPONENTS 以 这 种 方式 计算 出 的 集合 ， 使 得 过 程 SAME-COMPONENT 能 确定 两 个 顶点 是 
否 在 相同 的 连通 分 量 中 。 图 21-1(b) 示 出 了 CONNECTED-COMPONENTS 如 何 计算 不 相交 集合 
在 该 连通 分 量 算 法 的 实际 实现 中 ， 图 和 不 相交 集 数据 结构 的 表示 需要 相互 引用 。 也 就 是 说 ， 
一 个 表示 顶点 的 对 象 会 包含 一 个 指向 与 之 对 应 的 不 相交 集合 对 象 的 指针 ;反之 亦 然 。 这 些 编程 
细节 取决 于 实现 的 编程 语言 A» ix BAN BPR 


练习 
21.1-1 假设 CONNECTED-COMPONENTS 作用 于 一 个 无 向 图 G=(V, E), 这 里 V={a, b, 
Cs d, €s fs 8， h, Ly J» k}, 且 五 中 的 边 以 如 下 的 顺序 处 理 ， (d, DF (f, k), 


日 、 当 图 的 边 集 是 静态 ( 即 不 随时 间 而 改变 ) 时 ， 我 们 可 以 通过 使 用 深度 优先 搜索 来 快速 地 计算 连通 分 量 ( 见 练习 
22. 3-12) 。 然 而 ， 有 时 候 边 是 动态 被 加 入 的 ， 我 们 需要 在 加 入 每 条 边 时 ， 对 连通 分 量 进行 维护 。 在 这 种 情况 下 ， 
这 里 给 定 的 实现 比 对 于 每 个 新 边 都 运行 一 次 新 的 深度 优先 搜索 要 高 效 得 多 。 
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21. 1-2 


21. 1-3 


21.2 


第 五 部 分 “高 级 数据 结构 


(g, i), (b, g), (a, h), Ci, j), (d, k), (b, j), Cds P), (E, j), Ca, e), HII 
出 在 每 次 执行 完 第 3 一 5 行 后 各 连通 分 量 的 顶点 。 

证 明 ; CONNECTED-COMPONENTS 处 理 完 所 有 的 边 后 ， 两 个 顶点 在 相同 的 连通 分 量 
中 当 且 仅 当 它们 在 同一 个 集合 中 。 

在 CONNECTED-COMPONENTS 作用 于 一 个 有 上 个 连通 分 量 的 无 向 图 G 二 (V，E) 的 过 
程 中 ，FIND-SET 需要 调用 多 少 次 ? UNION 需要 调用 多 少 次 ? 用 |V|、|E| 和 & 来 表示 
你 的 答案 。 


不 相交 集合 的 链表 表示 








` 


图 21-2(a) 给 出 了 一 个 实现 不 相交 集 数 据 结 构 的 简单 方法 : 每 个 集合 用 一 个 自己 的 链表 来 表 
示 。 每 个 集合 的 对 象 包含 head 属性 和 tail AYE, head 属性 指向 表 的 第 一 个 对 象 ，tail 属性 指向 
表 的 最 后 一 个 对 象 。 链 表 中 的 每 个 对 象 都 包含 一 个 集合 成 员 、 一 个 指向 链表 中 下 一 个 对 象 的 指 
针 和 一 个 指 回 到 集合 对 象 的 指针 。 在 每 个 链表 中 ， 对 象 可 以 以 任意 的 次 序 出现 。 代 表 是 链表 中 第 
一 个 对 象 的 集合 成 员 。 

用 这 种 链表 表示 ，MAKE-SET 操作 和 FIND-SET 操作 是 非常 方便 的 ， 只 需 O(1) 的 时 间 。 
要 执行 MAKE-SET(z) 操 作 ， 我 们 需要 创建 一 个 只 有 r 对 象 的 新 的 链表 。 对 于 FIND-SET(z)， 
DURA r 对象 的 返回 指针 返回 到 集合 对 象 ， 然 后 返回 head 指向 对 象 的 成 员 。 例 如 ， 在 图 21-2(a) 
中 ，FIND-SET(g) 的 调用 将 返回 f. 





(b) 


图 21-2 (a) 两 个 集合 的 链表 表示 。 令 集合 S BERR d, file, REK f; RAS BAMA, c 


e 和 hh， 代表 为 <。 链 表 中 的 每 个 对 象 包含 一 个 集合 成 员 、 一 个 指向 链表 中 下 一 个 对 象 的 指针 
和 一 个 返回 到 集合 对 象 的 指针 。 每 个 集合 对 象 有 head A tail 指针 分 别 指向 第 一 个 对 象 和 最 后 
一 个 对 象 。(b)UNION(g，e) 的 结果 ， 使 得 包含 e 的 链表 加 到 包含 g 的 链表 中 。 结 果 集 合 的 
代表 为 fo e 链表 的 集合 对 象 被 删除 


合并 的 一 个 简单 实现 

在 使 用 链表 集合 表示 的 实现 中 ，UNION 操作 的 最 简单 实现 明显 比 MAKE-SET 或 FIND- 
SET 花费 的 时 间 多 。 如 图 21-2(b) 所 示 ， 我 们 通过 把 y 所 在 的 链表 拼接 到 z 所 在 的 链表 实现 了 
UNIONGz，y) 。Z 所 在 的 链表 的 代表 成 为 结果 集 的 代表 。 利 用 x 所 在 链表 的 tail 指针 ， 可 以 迅 
速 地 找到 拼接 y 所 在 的 链表 的 位 置 。 因 为 y 所 在 的 链表 的 所 有 成 员 加 入 了 zx 所 在 的 链表 中 ， 此 时 
可 以 删除 > 所 在 的 链表 的 集合 对 象 。 遗 憾 的 是 ， 对 于 > 所 在 链表 的 每 个 对 象 ， 我 们 必须 更 新 指向 
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集合 对 象 的 指针 ， 这 将 花费 的 时 间 与 y 所 在 链表 长 度 呈 线性 关系 。 例 如 在 图 21-2 中 ，UNION 

Cg, eME b, c, e 和 对 象 的 指针 被 更 新 。 
事实 上 ， 我 们 能 轻松 构建 一 个 在 个 对 象 上 需要 | MAKE-SET(x) ] 

O(n?) RYE AY m 个 操作 序列 。 假 设 有 对 象 r, | MABKESETC) 

Tzs **s Zao 如 图 21-3 所 示 ， 执行 n 个 MAKE-SET | MAKE-SET(x) 

操作 ， 后 面 跟 着 执行 n 一 1 个 UNION 操作 ， 因 而 有 | UNION(@, x) 





m 二 2n 一 1]。 执 行 n 个 MAKE-SET 操作 需要 Om W on 
时 间 。 由 于 第 i 个 UNION 操作 更 新 i 个 对 象 ， 因 此 : 
所 有 的 ”一 1 个 UNION 操作 更 新 的 对 象 的 总 数 为 : UNION(,» Xni) 
Si = O(n?) 图 21-3 ”使 用 链表 集合 表示 和 UNION 的 简 
i=] 单 实现 ,在 nn 个 对 象 上 的 2n 一 1 
总 的 操作 数 为 2n 一 1， 这 样 每 个 操作 平均 需要 O(n) 个 操作 序列 需要 OC?) MA, BE 
的 时 间 。 也 就 是 说 ， 一 个 操作 的 挫 还 时 间 为 @(n)。 者 每 个 操作 平均 时 间 为 O(n) 
一 种 加 权 合并 的 启发 式 策略 


在 最 坏 情 况 下 ， 上 面 给 出 的 UNION 过 程 的 每 次 调用 平均 需要 8@(n) 的 时 间 ， 这 是 因为 需要 
把 一 个 较 长 的 表 拼 接 到 一 个 较 短 的 表 上 ， 此 时 必须 对 较 长 表 的 每 个 成 员 更 新 其 指向 集合 对 象 的 
指针 。 现 在 换 一 种 做 法 ， 假 设 每 个 表 中 还 包含 了 表 的 长 度 ( 这 是 很 容易 维护 的 ) 以 及 拼接 次 序 可 以 
任意 的 话 ， 我 们 总 是 把 较 短 的 表 拼 接 到 较 长 的 表 中 。 使 用 这 种 简单 的 加 权 合 并 启发 式 策略 
(weighted-union heuristic) ， 如 果 两 个 集合 都 有 QCn) 个 成 员 ， 则 单个 的 UNION 操作 仍然 需要 
Qn) 的 时 间 。 然 而 下 面 的 定理 表明 ， 一 个 具有 m 个 MAKE-SET、UNION 和 FIND-SET 操作 的 
序列 (其 中 有 7 个 是 MAKE-SET 操作 ?需要 耗费 OCm 十 nlgn) 的 时 间 。 

定理 21.1 使 用 不 相交 集合 的 链表 表示 和 加 权 合 并 启发 式 策略 ， 一 个 具有 m 个 MAKE- 
SET, UNION 和 FIND-SET 操作 的 序列 (其 中 有 nn 个 是 MAKE-SET 操作 ) 需 要 的 时 间 为 OCm+ 
nign). 

证 明 由 于 每 个 UNION 操作 合并 两 个 不 相交 集 ， 因 此 总 共 至 多 执行 n—1 个 UNION 操作 。 
现在 来 确定 由 这 些 UNION 操作 所 花费 时 间 的 上 界 。 我 们 先 确 定 每 个 对 象 指 向 它 的 集合 对 象 的 指 
针 被 更 新 次 数 的 上 界 。 考 虑 某 个 对 象 xz， 我 们 知道 每 次 xz 的 指针 被 更 新 ，z 早先 一 定 在 一 个 规模 
较 小 的 集合 当中 。 因 此 第 一 次 z 的 指针 被 更 新 时 ， 结 果 集 一 定 至 少 有 2 个 成 员 。 类 似 地 ， 下 次 z 
的 指针 被 更 新 时 结果 集 一 定 至 少 有 4 个 成 员 。 一 直 继 续 下 去 ， 注 意 到 对 于 任意 的 kn, 在 zz 的 
指针 被 更 新 | lek | 吹 后 ， 结 果 集 一 定 至 少 有 上 个 成 员 。 因 为 最 大 集合 至 多 包含 个 成 员 ， 故 每 个 对 
象 的 指针 在 所 有 的 UNION 操作 中 最 多 被 更 新 [lg 次。 因此 在 所 有 的 UNION 操作 中 被 更 新 的 对 
AME BAA O(nlgn) 。 当 然 ， 我 们 也 必须 考虑 tail 指针 和 表 长 度 的 更 新 ， 而 它们 在 每 个 
UNION 操作 中 只 花费 B(1) 时 间 。 所 以 总 共 花 在 UNION 操作 的 时 间 为 O(n ign). 

整个 m 个 操作 的 序列 所 需 的 时 间 很 容易 求 出 。 每 个 MAKE-SET 和 FIND-SET 操作 需要 
OO) 时 间 ， 它 们 的 总 数 为 Om) 。 所 以 整个 序列 的 总 时 间 是 OC(m 十 nlgn)。 


练习 

21.2-1 使 用 链表 表示 和 加 权 合 并 启发 式 策略 ， 写 出 MAKE-SET、FIND-SET 和 UNION 操作 的 
伪 代 码 。 并 指定 你 在 集合 对 象 和 表 对 象 中 所 使 用 的 属性 。 

21.2-2 给 出 下 面 程序 的 结果 数据 结构 ， 并 回答 该 程序 中 FIND-SET 操作 返回 的 答案 。 这 里 使 用 
加 权 合 并 启发 式 策略 的 链表 表示 。 


1 for :一 1 to 16 
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21. 2-3 


21. 2-4 


21. 2-5 


21. 2-6 


21.3 
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MAKE-SET(z;) 
for 1=1 to 15 by 2 
UNION (2; 5 Li+) 
for :一 1 to 13 by 4 
UNION (z; » £i+2) 
UNION (2; » zs) 
UNION (Zz » 213) 
UNION (2) , 210) 
10 FIND-SET(2) 
11 FIND-SET(2,) 


”假定 如 果 包 含 x; Mz, 的 集合 有 相同 的 大 小 ， 则 UNION(z;, 2) RANK zx; 所 在 的 
RERA x; 所 在 的 表 后 。 

对 定理 21.1 的 整体 证 明 进 行 改造 ， 得 到 使 用 链表 表示 和 加 权 合 并 局 发 式 策略 下 的 
MAKE-SET 和 FIND-SET 的 摊 还 时 间 上 界 为 0(1) ， 以 及 UNION 的 挫 还 时 间 上 界 为 
O(lgn) 。 

请 给 出 图 21-3 所 示 操 作 序 列 的 一 个 运行 时 间 的 渐 近 紧 确 界 ， 假 定 使 用 链表 表示 和 加 权 
合并 局 发 式 策略 。 

Gompers 教授 猜想 也 许 有 可 能 在 每 个 集合 对 象 中 仅 使 用 一 个 指针 ， 而 不 是 两 个 指针 
(head 和 tail)， 同 时 仍然 保留 每 个 链表 元 素 的 2 个 指针 。 请 说 明教 授 的 猜想 是 有 道理 
的 ， 并 通过 描述 如 何 使 用 一 个 链表 来 表示 每 个 集合 ， 使 得 每 个 操作 与 本 章 中 描述 的 操作 
有 相同 的 运行 时 间 ， 来 加 以 解释 。 同 时 描述 这 些 操作 是 如 何 工 作 的 。 你 的 方法 应 该 允许 
使 用 加 权 合 并 启发 式 策略 ， 并 与 本 节 所 描述 的 有 相同 效果 。( 提 示 : 使 用 一 个 链表 的 尾 
作为 集合 的 代表 。) 

假设 对 UNION 过 程 做 一 个 简单 的 改动 ， 在 采用 链表 表示 中 拿 掉 让 集合 对 象 的 tail 指针 
总 指向 每 个 表 的 最 后 一 个 对 象 的 要 求 。 无 论 是 使 用 还 是 不 使 用 加 权 合 并 局 发 式 策 略 ， 这 
个 修改 不 应 该 改变 UNION 过 程 的 渐 近 运行 时 间 。 (提示 :而 不 是 把 一 个 表 链 接 到 另 一 
个 表 后 面 ， 将 它们 拼接 在 一 起 。) 


不 相交 集合 森林 


oOo won 路 W N 


在 一 个 不 相交 集合 更 快 的 实现 中 ， 我 们 使 用 有 根 树 来 表示 集合 ， 树 中 每 个 结 点 包含 一 个 成 


n. 每 棵 树 代 表 一 个 集合 。 在 一 个 不 相交 集合 森 
林 (disjoint-set forest) 中 (如 图 21-4(a) 所 示 )， 每 个 
成 员 仅 指向 它 的 父 结 点 。 每 棵 树 的 根 包含 集合 的 


代表 ， 并 且 是 其 自己 的 父 结 点 。 正 如 我 们 将 要 看 Ù 


到 的 那样 ， 虽 然 使 用 这 种 表示 的 直接 算法 并 不 比 Gp 
使 用 链表 表示 的 算法 快 ， 但 通过 引 和 人 两 种 局 发 式 
策略 ( 按 秩 合并 ”和 “路 径 压 缩 ”)， 我 们 能 得 到 一 





个 浙 近 最 优 的 不 相交 集合 数据 结构 。 
我 们 执行 以 下 三 种 不 相交 集合 操作 :MAKE- MA 一 个 不 相交 集合 森林 。(a) 两 棵 树 表 示 


SET 操作 简单 地 创建 一 棵 只 有 一 个 结 点 的 树 ， 


图 21-2 中 的 两 个 集合 。 左 边 的 树 表示 
集合 2， Cy €, h}, 其 中 c 作为 集合 的 


FIND-SET 操作 通过 沿 着 指向 父 结 点 的 指针 找到 代表 ; 右边 的 树 表示 集合 {d，f，g)， 
树 的 根 。 这 一 通 向 根 结 点 的 简单 路 径 上 所 访问 的 了 作为 集合 的 代表 。(b) UNION(e，g) 


结 点 构成 了 查找 路 径 (find path), UNION 操作 (如 的 结果 
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图 21-4(b) 所 示 ) 使 得 一 棵 树 的 根 指向 另外 一 棵 树 的 根 。 

改进 运行 时 间 的 启发 式 策 略 

到 目前 为 止 ， 我 们 还 没有 对 使 用 链表 的 实现 做 出 改进 。 一 个 包含 n 一 1 个 UNION 操作 的 序 
列 可 以 构造 出 一 棵 恰好 含有 n 个 结 点 的 线性 链 的 树 。 然 而 ， 通 过 使 用 两 种 启发 式 策略 ， 我 们 能 获 
得 一 个 几乎 与 总 的 操作 数 m 呈 线 性 关系 的 运行 时 间 。 

第 一 种 启发 式 策略 是 按 秩 合 并 (union by rank) ， 它 类 似 于 链表 表示 中 使 用 的 加 权 合 并 启发 式 
策略 。 显 而 易 见 的 做 法 是 ， 使 具有 较 少 结 点 的 树 的 根 指 向 具有 较 多 结 点 的 树 的 根 。 这 里 并 不 显 式 
地 记录 每 个 结 点 为 根 的 子 树 的 大 小 ， 而 是 采用 一 种 易于 分 析 的 方法 。 对 于 每 个 结 点 ， 维 护 一 个 
秩 ， 它 表示 该 结 点 高 度 的 一 个 上 界 。 在 使 用 按 秩 合 并 策略 的 UNION 操作 中 ， 我 们 可 以 让 具有 和 较 
小 秩 的 根 指 回 具有 较 大 秩 的 根 。 

第 二 种 启发 式 策 略 是 路 径 压 缩 (path compression), ， 也 相当 简单 和 高 效 。 正 如 图 21-5 所 示 ， 
在 FIND-SET 操作 中 ， 使 用 这 种 策略 可 以 使 查找 路 径 中 的 每 个 结 点 直接 指向 根 。 路 径 压 缩 并 不 
改变 任何 结 点 的 秩 。 
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(a) (b) 


图 21-5 操作 FIND-SET 过 程 中 的 路 径 压缩 。 箭 头 和 根 结 点 的 自 环 被 略 去 了 。(a) 在 执行 FIND- 
SET(a) 之 前 代表 一 个 集合 的 树 。 三 角形 代表 一 棵 子 树 ， 其 根 为 图 中 示 出 的 结 点 。 每 个 
结 点 有 一 个 指向 父 结 点 的 指针 。(b) 在 执行 FIND-SET(a) 之 后 的 同一 个 集合 。 现 在 在 
查找 路 径 上 每 个 结 点 都 直接 指向 了 根 


实现 不 相交 集合 森林 的 伪 代 码 

为 了 使 用 按 秩 合并 的 启发 式 策略 实现 一 个 不 相交 集合 森林 ， 我 们 必须 记录 下 秩 的 变化 情况 。 
对 于 每 个 结 点 z， 维 护 一 个 整数 值 x. rank, CRR r 的 高 度 ( 从 < 到 某 一 后 代 叶 结 点 的 最 长 简单 路 
径 上 边 的 数目 ) 的 一 个 上 界 。 当 MAKE-SET 创建 一 个 单元 素 集合 时 ， 这 个 树 上 的 单 结 点 有 一 个 为 0 
的 初始 秩 。 每 一 个 FIND-SET 操作 不 改变 任何 秩 。UNION 操作 有 两 种 情况 ， 取 决 于 两 棵 树 的 根 是 
否 有 相同 的 秩 。 如 有 果 根 没有 相同 的 秩 ， 就 让 较 大 秩 的 根 成 为 较 小 秩 的 根 的 父 结 点 ， 但 秩 本 身 保持 不 
变 。 尺 一 种 情况 是 两 个 根 有 相同 的 秩 时 ， 任 意 选 择 两 个 根 中 的 一 个 作为 父 结 点 ， 并 使 它 的 秩 加 1。 

下 面 把 这 种 方法 表示 伪 代 码 。 用 zx. p 代表 结 点 的 父 结 点 。LINK 过 程 是 由 UNION 调用 的 
一 个 子 过 程 ， 以 指向 两 个 根 的 指针 作为 输入 。 | 

MAKE-SET (x) 

1 xp=z 


2 xz. rank=0 
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UNION(z, y) 

1 LINK(FIND-SET(x), FIND-SET(y)) 
LINK(z, y) 

l if z. rank>y. rank 

2 y. 力 一 并 

3 else x. p= y 

4 if x. rank == y. rank 


5 y. rank=y. rank+ 1 


带 有 路 径 压 缩 的 FIND-SET 过 程 非常 简单 ， 
FIND-SET(z) 

l ifzf2.p 

2 x. p= FIND-SET(z. p) 


3 return x. p 


FIND-SET 过 程 是 一 种 两 趟 方法 (two-pass method) ， 当 它 递 归 时 ， 第 一 趟 沿 着 查找 路 径 向 上 
直到 找到 根 ， 当 递归 回溯 时 ， 第 二 趟 沿 着 搜索 树 向 下 更 新 每 个 结 点 ， 使 其 直接 指向 根 。FIND- 
SET(z) 的 每 次 调用 在 第 3 TRE x. pe WR ÆR, AKA FIND-SET 跳 过 第 2 行 并 返回 zx. p, t 
就 是 zx; 这 是 递归 到 底 的 情形 。 否 则 ， 第 2 行 执 行 ， 并 且 参 数 为 x. p 的 递归 调用 返回 一 个 指向 根 
的 指针 。 第 2 行 更 新 结 点 x 并 让 其 直接 指向 根 结 点 ， 然 后 第 3 行 返回 这 个 指针 。 

启发 式 策略 对 运行 时 间 的 影响 

如 果 单 独 使 用 按 秩 合并 或 路 径 压 缩 ， 它 们 每 一 个 都 能 改善 不 相交 集合 森林 上 操作 的 运行 时 
间 ， 而 一 起 使 用 这 两 种 启发 式 策略 时 ， 这 种 改善 更 大 。 单 独 来 看 ， 按 秩 合 并 产生 的 运行 时 间 为 
OCmlgn)( 见 练习 21. 4-4) ， 并 且 这 个 界 是 紧 的 ( 见 练习 21. 3-3) 。 尽 管 这 里 不 打算 来 证 明 它 ， 然 而 
对 于 一 个 具有 7 个 MAKE-SET 操作 (因此 最 多 有 ”一 1 个 UNION 操作 ) 和 个 FIND-SET 操作 的 
序列 ， 单 独 使 用 路 径 压 缩 启 发 式 策略 给 出 的 最 坏 情 况 运行 时 间 为 Ont f + C1+log,, ,,2)). 

当 同 时 使 用 按 秩 合并 与 路 径 压 缩 时 ， 最 坏 情 况 的 运行 时 间 为 OC(ma(n)) ， 这 里 a(n) 是 一 个 
增长 非常 慢 的 函数 ， 其 定义 将 在 21.4 节 给 出 。 在 任何 一 个 可 以 想得到 的 不 相交 集合 数据 结构 的 
MAF, Bao) <4; 因此， 我 们 可 以 认为 在 所 有 实际 应 用 中 ， 其 运行 时 间 与 m 呈 线 性 关系 。 
然而 ， 严 格 地 说 ， 它 是 超 线性 的 。21. 4 节 将 证 明 这 个 上 界 。 


练习 


21.3-1 用 按 秩 合并 与 路 径 压 缩 启发 式 策 略 的 不 相交 集合 森林 重 做 练习 21. 2-2. 

21.3-2 写 出 使 用 路 径 压 缩 的 FIND-SET 过 程 的 非 递 归 版 本 。 

21.3-3 给 出 一 个 包含 mm 个 MAKE-SET、UNION 和 FIND-SET 操作 的 序列 (其 中 有 7 个 是 
MAKE-SET 操作 ) ， 当 仅 使 用 按 秩 合并 时 ， 需 要 QCm lgn) 的 时 间 。 

21.3-4 假设 想 要 增加 一 个 PRINT-SET(z) 操 作 ， 它 是 对 于 给 定 的 结 点 x 打印 出 zx 所 在 集合 的 所 
有 成 员 ， 顺 序 可 以 任意 。 如 何 对 一 棵 不 相交 集合 森林 的 每 个 结 点 仅 增加 一 个 属性 ， 使 得 
PRINT-SET(zx) 所 花费 的 时 间 同 x 所 在 集合 元 素 的 个 数 呈 线 性 关系 ， 并 且 其 他 操作 的 浙 
近 运 行 时 间 不 改变 。 这 里 假设 我 们 可 在 OCD) 的 时 间 内 打印 出 集合 的 每 个 成 员 。 


*21.3-5 证明 : 任何 具有 mm 个 MAKE-SET、UNION 和 FIND-SET 操作 的 序列 ， 这 里 所 有 的 


LINK 操作 都 出 现在 FIND-SET 操作 之 前 ， 如 果 同 时 使 用 路 径 压 缩 和 按 秩 合 并 启发 式 策 
略 ， 则 这 些 操 作 只 需 Om) 的 时 间 。 在 同样 情况 下 ， 如 果 只 使 用 路 径 压 缩 启发 式 策略 ， 
又 会 如 何 ? 
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"21.4 带路 径 压 缩 的 按 秩 合并 的 分 析 


如 21. 3 节 中 提 到 的 ， 对 于 ”个 元 素 上 的 mm 个 不 相交 集合 操作 ， 联 合 使 用 按 秩 合并 与 路 径 压 
缩 启 发 式 策略 后 的 运行 时 间 是 Onan) 。 在 本 市 中 ， 我 们 将 考察 a BM, BS a 函数 增长 到 底 
有 多 慢 。 然 后 使 用 摊 还 分 析 中 的 势 方法 来 证 明 这 一 运行 时 间 。 

一 个 增长 非常 慢 的 函数 与 其 增长 非常 慢 的 逆 函 数 

对 于 整数 & 宇 0 与 jl, EXRKA AG) A: 

Jl w k=0 
AP G) wW kl 
其 中 表达 式 AMY (7) 采 用 了 3.2 节 给 出 的 函数 迭代 记号 。 具 体 来 讲 ， 对 ;之 1， 有 Ae (7) =) A 
ARG) = Am (AEP G)) 。 我 们 称 参数 为 函数 A 的 级 (level) 。 

PRN A, (j) 随 着 ; 和 & 严格 递增 。 为 了 了 解 该 函数 增长 有 多 快 ， 先 要 得 到 A G) MAG 的 

引 理 21.2 TEA jl, AAG) =2+1. 

证 明 先 对 :使 用 归纳 法 来 证 明 A? GQ) = j 十 i 。 对 于 归纳 基础 ， 有 Ae” ()) = 二 j= 二 7 十 0 X} 
FIFA, BRAS? ())==j 十 (i 一 1) 。 然 后 AP G) =A CAFE? G) = 二 十 (i 一 1)) 十 1 ==j 十 i 
最 后 ,我们 有 AG = Ayrm G) 一 7 十 (十 1) = 2j 十 1。 加 

引 理 21.3 ”对 于 任意 整数 jl, FA) =27G4+D—-1. 

WEAR ” 先 对 i 使 用 归纳 法 来 证 明 A? (Gy) = 二 2G 十 1) 一 1。 对 于 归纳 基础 ， 有 Ai” (7) = j= 
2 (十 1) 一 1 。 对 于 归纳 步 ,， BEAS O = 二 2 十 1) 一 1。 然 后 A? G) = A(O) = 
ACT7G+tD-D=2-27°G+)-D+1=2G4+)D)—-241=2G+)D—-1. Ba. RN 
A AG) = A9 G) =2"G+D—-1. m 

现在 对 于 级 二 0，1，2，3，4， 我 们 简单 地 考察 A; (1) 就 能 看 到 Ai(j) 增长 得 有 多 快 了 。 根 
据 A (k) 的 定义 以 及 上 面 的 引 理 ， 有 A6(1) =14+1=2,A,0) =2-14+1=3MA,0) = 
2 。(1 十 1) 一 1 = 二 7。 我 们 同样 有 | 573 

A (1) = A? (1) = A; (4: (1)) = A, (7) = 2 + 8—1 = 2" — 1 = 2 047 


并 且 有 
A, (1) = Ay? (1) = A (A (1)) = A; (2 047) = A? (2 047) >> A: (2 047) 
— 92048 9048 —] > 22048 — (94)512 — 16512 œ 10% 
这 就 是 客观 宇宙 中 所 有 原子 的 估计 数目 。( 符 号 ">" 代表 “远大 于 ”) 
对 于 整数 ">>0,， 我 们 定义 函数 A Cn) 的 逆 函 数 如 下 : 
a(n) = min{k:A,(1) > n} 
也 就 是 说 , a(n) 是 满足 A;(1) BPA n 的 最 小 的 级 &。 根 据 上 面 的 Ai(1) 值 ， 可 以 知道 ， 
0 wO<n<2 
1 对 n= 二 3 
a(n) 一 <2 wm4<in<7 
3 et 8<n<2047 
4 xt 2048<n<A,(1) 
只 有 对 于 那些 非常 大 的 “天 文 数 字 ? 的 ” 值 ( 比 A (1) 还 大 的 值 ， 一 个 巨大 的 数 )， 才 会 有 an) > 4, 
所 以 对 于 所 有 实际 的 应 用 ， 都 有 a(n) <4. 
秩 的 性 质 
在 本 区 剩 下 的 部 分 ， 我 们 证 明 使 用 按 秩 合并 与 路 径 压 缩 月 发 式 策 略 的 不 相交 集合 操作 的 运 
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行 时 间 界 为 OC(ma(n)) 。 为 了 证 明 这 个 界 ， 首 先 证 明 秩 的 一 些 简单 性 质 。 

引 理 21.4 对 于 所 有 的 结 点 x, A x. rank<z. p.rank, MRa«aA~zr. p， 则 此 式 是 严格 不 等 
Ao T. rank 的 初始 值 为 0， 并 且 随 时 间 而 增加 ， 直 到 rAr. p; ALAE, x rank 的 值 就 不 再 发 
Æ ZAE., x. p. rank 的 值 随时 间 单 调 递增 。 

证 明 使 用 21. 3 节 中 MAKE-SET、UNION 和 FIND-SET 的 实现 ， 对 操作 数 使 用 归纳 法 ， 
其 证 明 是 直接 的 。 该 证 明 留 为 练习 21. 4-1。 国 

推论 21.5 ”从 任何 一 个 结 点 指向 根 的 简单 路 径 上 ， 结 点 的 秩 是 严格 递增 的 。 = 

引 理 21.6 每 个 结 点 的 秩 最 大 为 2 一 1。 

证 明 每 个 结 点 的 秩 从 0 开始 ， 并 且 只 有 执行 了 LINK 操作 ， 它 才 会 增加 。 因 为 最 多 有 ”一 1 
个 UNION 操作 ， 所 以 同样 最 多 有 ?一 1 个 LINK 操作 。 因 为 每 个 LINK 操作 或 者 不 改变 任何 的 
秩 ， 或 者 将 某 结 点 的 秩 加 1， 所 以 所 有 的 秩 最 大 为 n 一 1。 图 

引 理 21. 6 提供 了 一 个 关于 结 点 秩 的 较 弱 的 界 。 事 实 上 ， 每 个 结 点 的 秩 最 大 为 Llgnj( 见 练习 
21. 4-2) 。 然 而 ， 引 理 21. 6 的 这 个 较 松 的 界 已 足够 满足 我 们 的 要 求 。 

时 间 界 的 证 明 

我 们 将 利用 摊 还 分 析 中 的 势 方法 ( 见 17. 3 节 ) 来 证 明 OCma(n)) 的 时 间 界 。 在 进行 摊 还 分 析 
时 ， 为 了 方便 起 见 ， 我 们 假设 不 调用 UNION 操作 ， 而 是 调用 LINK 操作 。 也 就 是 说 ， 因 为 
LINK 过 程 的 参数 是 指向 两 个 根 的 指针 ， 故 我 们 独立 使 用 相应 的 FIND-SET 操作 。 下 面 的 引 理 说 
明 即 使 因 调用 UNION 而 导致 额外 的 FIND-SET 操作 ， 其 渐 近 运行 时 间 仍 然 保 持 不 变 。 

引 理 21.7 假设 通过 将 每 个 UNION 转换 成 两 个 FIND-SET 操作 ， 后 再 接 一 个 LINK 操作 ， 
我 们 可 以 把 m' 个 MAKE-SET, UNION 和 FIND-SET 操作 的 序列 S 转换 成 m 个 MAKE-SET、 
LINK 和 FIND-SET 操作 的 序列 S。 那 么 ， 如 果 操 作 序 列 S 的 运行 时 间 为 Olma(n)) ， 则 序列 S 
的 运行 时 间 为 OC(m'a(n)) 。 

证 明 由 于 序列 S 中 的 每 个 UNION 操作 被 转换 成 S 中 的 三 个 操作 ， 于 是 有 m'<m<3m', 
因为 m = OGm ) ， 所 以 如 果 转 换 后 的 序列 S 的 时 间 界 为 OCma (ln)) ， 就 蕴涵 着 原 序列 S 的 时 间 
界 为 Olm'aln)) 。 E 

ERER FRS, 假设 m' 个 MAKE-SET, UNION 和 FIND-SET 操作 的 初始 序列 被 转换 
成 m 个 MAKE-SET, LINK 和 FIND-SET 操作 的 序列 。 现 在 证 明 转 换 后 的 序列 的 运行 时 间 界 为 
O(ma(n)) ， 并 且 应 用 引 理 21. 7 证 明 m 个 操作 的 初始 序列 的 运行 时 间 界 为 OCm a(n)) 。 

势 函数 

我 们 使 用 的 势 函 数 在 g 个 操作 之 后 ， 对 不 相交 集合 森林 中 的 每 个 结 点 工 都 指派 了 一 个 势 


$, (z) 。 把 所 有 的 结 点 的 势 加 起 来 就 得 到 了 整个 森林 的 势 : © = Did (zo), HO, 代表 9 KH 


作 之 后 森林 的 势 。 在 第 一 次 操作 之 前 ， 森 林 是 空 的 ， 任 意 置 D=. HO, 从 来 不 为 负 值 。 

p(x) 的 值 取 决 于 在 第 q 次 操作 之 后 ，z 是 否 是 一 棵 树 的 根 。 如 果 是 或 者 如 果 x. rank=0, Ff 
A $C) = a(n) + x. rank 。 

现在 假定 第 g 次 操作 之 后 ，z 不 是 一 个 树 根 且 xz. rank 宇 1。 此 时 在 定义 内 (zx) 之 前 ， 需 要 定 
义 两 个 关于 工 的 辅助 函数 。 先 定义 

level(x) = max{k:x. p. rank > A, (zx. rank)} 

也 就 是 说 , level(z) 是 A W—-TRARR, RPA, 是 作用 于 z 的 秩 的 函数 ， 并 且 Ai 不 大 于 xz 的 
父 结 点 的 秩 。 

我 们 断言 : 

0 < level(x) < a(n) (21.1) 

成 立 。 它 可 以 如 下 推出 : 
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zx. p. rank >x. rank +1 (根据 引 理 21. 4) 
=A, (x. rank) (根据 A G) 的 定义 ) 
这 意味 着 level(z) >20, HHA: 
Aun (x. rank) SAn (1) (HAAG 是 严格 递增 的 ) 
=n (根据 a(n) 的 定义 ) 
>z. p. rank (根据 引 理 21. 6) 
这 意味 着 level(z) << a(n). HEME, HF z. p. rank 是 随时 间 单 调 递 增 的 ， 这 样 levele) 也 随时 
间 单 调 递 增 。 
X x. rank>1 时 ， 第 二 个 辅助 函数 是 : 
iter(x) = max{i:z. p. rank > AR (x. rank )} 
也 就 是 说 , iter(z) 是 可 以 迭代 地 实施 Alwa 的 最 大 次 数 ， 开 始 时 将 Alwac MAF r 的 秩 ， 直 至 在 
获得 一 个 大 于 z 的 父 结 点 的 秩 的 值 之 前 迭代 停止 。 
当 z. rank 之 1 时 ， 我 们 有 
1 < lter(Z) < x. rank (21. 2) 
成 立 ， 它 可 以 如 下 推出 : 
x. p. rank > Awe (x. rank) 《根据 level(x) 的 定义 ) 
= Alvan (x. rank) (根据 函数 迭代 的 定义 ) 
这 意味 着 iter(z) S>1, HAA 
Akaa (x. rank) = Awen (x. rank) (根据 ALG) 的 定义 ) 
> x. p. rank (根据 level(x) 的 定义 ) 
这 意味 着 iter(z) < x. rank 。 注 意 到 ， 由 于 x. p. rank 是 随时 间 单 调 递增 的 ， 为 了 使 iter(x) 能 够 
减 小 , level(z) 必须 增加 。 只 要 level(x) 保持 不 变 , iter(z) 一 定 是 增加 或 者 保持 不 变 。 
使 用 本 处 定义 的 这 些 辅助 函数 ， 就 可 以 来 定义 q 次 操作 之 后 结 点 xz 的 势 : 
P A r ° x. rank 如 果 工 是 一 个 树 根 或 Xx.rank = 0 
(a(n) — level(x)) » x. rank —iter(x) ”如果 工 不 是 一 个 树 根 并 且 xz.rank 宇 1 
接 下 来 给 出 结 点 势 的 一 些 有 用 的 性 质 。 
引 理 21.8 对 于 每 个 结 点 工 和 所 有 操作 的 计数 gq， 我 们 有 
O < $C) San) » x. rank 
WEAR 如果 工 是 一 个 树 根 或 者 xz. rax& 王 0， 那 么 根据 定义 ， 有 上 史 (z) = aln) +z. rank, WHE 
假设 r 并 不 是 一 个 树 根 且 x. axz& 之 1。 通 过 最 大 化 level(z) 和 iter(z) 来 得 到 加 (x) 的 一 个 下 界 。 
根据 界 (21. 1) ， 有 level(z) Sam 一 1 ;并 且 根 据 界 (21.2)， 有 iter(Cz) < x. rank. PFU, A 
D(x) = (a(n) — level(x)) + x. rank — iter(x) 
> (a(n) — (a(n) — 1)) «© x. rank — x. rank = x. rank — x. rank = 0 
类 似 地 ， 通 过 最 小 化 level(x) 和 iter(x) 来 获得 加 (zx) 的 一 个 上 界 。 根 据 界 (21.1)， 有 
level(x) >O; 并 且 根 据 界 (21. 2)， 有 iter(x) 宇 1。 所 以 ， 有 
$,(x) < (a(n) — 0) © x. rank — 1 = a(n) + x. rank —1< a(n) « x. rank E 
推论 21.9 wRA Rc KE—-PRAAR, Har. rank>0, N) Cr) <aln) » x. rank, E 
势 的 变化 与 操作 的 摊 还 代价 
现在 我 们 准备 来 分 析 不 相交 和 集合 操作 是 如 何 影响 结 点 的 势 的 。 理 解 了 每 个 操作 引起 的 势 的 
变化 ， 就 能 确定 每 个 操作 的 摊 还 代价 。 
引 理 21. 10 设 工 是 一 个 非 根 结 点 ， 并 且 假 设 第 g 个 操作 是 LINK 或 FIND-SET。 那 么 在 第 9 
次 操作 之 后 ， 史 (Z) 委 网 -1(Cz)。 此 外 ， 如 果 x. rank 宇 ]， 并 且 level(z) 或 iter(Zz) 是 由 于 第 g 次 操 
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作 而 发 生 了 改变 ， 那 么 加 (X) 二 加 1(X) 一 ] 。 也 就 是 说 ， 工 的 势 不 可 能 增加 ， 并 且 如 果 它 有 正 的 
秩 ， 同 时 level(z) 或 iter(z) 发 生 改 变 ， 则 工 的 势 至 少 下 降 1。 

证 明 因为 z 不 是 一 个 树 根 ， 所 以 第 9 个 操作 并 不 改变 z 的 秩 ， 又 因为 在 前 n 次 MAKE- 
SET 操作 后 ，n 并 不 发 生 改 变 ， 所 以 a(n) 也 同样 不 发 生变 化 。 因 此 在 第 a 个 操作 后 ，z 的 势 公 式 
的 这 些 成 分 保持 相同 。 如 果 x. rank=0, ABA 各 (xz) 二 加 _1(z) 二 0。 现 在 假设 x. rank 宇 1。 

前 面 说 过 , levec) 随时 间 单 调 递 增 。 如 果 第 a 个 操作 使 得 level(z) 不 发 生 改 变 ， 那么 
iter(z) 或 者 增加 ,或 者 保持 不 变 。 如 果 level(x) 和 iter(z) 都 不 变 , 则 加 (zx) 二 加 _1《(zx) ,如果 level(x) 
没有 变化 ,而 iter(z) 增加 了 , 则 它 至 少 增加 1, 因 而 有 加 (zx) 志和 _1(z) 一 1 。 

最 后 ,如 果 第 g 个 操作 增加 level(x) 的 值 ,并 且 至 少 增加 1, 那 么 (a(n) 一 level(x) ) « x. rank 的 
值 至 少 下 降 x. rank. FAW levele) 的 值 增 加 了 , iter(z) 的 值 可 能 下 降 ， 但 是 根据 界 (21.2) ， 下 降 
最 多 只 有 x. rank—1, FÆ, H iter(z) 的 改变 导致 的 势 的 增加 量 少 于 由 level(z) 的 改变 导致 的 势 
的 减少 量 ， 因 此 可 以 得 出 结论 ; 和 (Xz) S palal., E 

下 面 的 三 个 引 理 说 明 每 个 MAKE-SET, LINK 和 FIND-SET 操作 的 摊 还 代价 都 是 
OCa(n)) 。 回 顾 公 式 (17. 2) 可 知 ， 每 个 操作 的 摊 还 代价 是 它 的 实际 成 本 加 上 操作 本 身 导 致 的 势 
的 增 量 。 

引 理 21. 11 每 个 MAKE-SET 操作 的 摊 还 代价 为 O(1) 。 

证 明 假设 第 g 个 操作 是 MAKE-SET(x) ， 这 个 操作 创建 秩 为 0 的 结 点 z+， 并 使 得 和 (x) = 0。 
由 于 没有 其 他 的 秩 或 势 的 改变 ， 所 以 D =d. ERB, MAKESET 操作 的 实际 成 本 为 O(1) ， 
从 而 本 引 理 得 证 。 E 

513 21.12 每 个 LINK 操作 的 摊 还 代价 为 Ola(n)) 。 

WEAR ”假设 第 q RWE LINK, y). LINK 操作 的 实际 成 本 为 O(1) 。 不 失 一 般 性 ， 假 设 
这 个 LINK 使 y 成 为 z 的 父 结 点 。 

为 了 确定 LINK 所 导致 的 势 的 改变 ， 我 们 注意 到 势 可 能 改变 的 结 点 只 有 x. y 和 操作 前 y 的 
子 结 点 。 下 面 证 明 由 于 LINK 导致 的 势 增 加 的 唯一 结 点 是 y， 并 且 它 的 增 量 最 多 为 a(n) : 

。 根据 引 理 21. 10， 对 于 那些 在 LINK 操作 之 前 为 y 的 孩子 的 任何 一 个 结 点 ， 其 势 都 不 会 
因为 LINK 操作 而 增加 。 

。 根据 #(z) 的 定义 可 知 ， 由 于 z 是 第 9 个 操作 之 前 的 一 个 根 , Pra Cx) = a(n) +x. rank 。 如 
R x. rank=0, WA 加 (xz) = $10) =0; 否则 ， 

$, (x1) <a(n) + x. rank( 根 据 推 论 21. 9) 
=ġ (2) 

Pr x WAV) T 

。 因为 y 在 这 个 LINK 操作 之 前 是 一 个 根 ， 所 以 网 :(z) = a(n) + x. rank 。 这 个 LINK 操作 
使 得 y 成 为 一 个 根 ， 并 且 它 使 得 y 的 秩 不 变 或 增加 1。 因 此 加 (y) = 64) 或 加 (y) = 
$m (y) ta(n) 。 | 

因此 ， 由 于 这 个 LINK 操作 导致 势 至 多 增加 a(n) ， 所 以 这 个 LINK 操作 的 摊 还 代价 是 
O(1) +a(n) = OCa(n)) 。 a 

引 理 21.13 每 个 FIND-SET 操作 的 摊 还 代价 为 Ola(n)) 。 

证 明 假设 第 a 个 操作 是 FIND-SET， 并 且 查 找 路 径 包 含 s TAA. Xf FIND-SET 操作 的 
实际 成 本 为 O(s) 。 下 面 将 要 证 明 由 于 执行 FIND-SET 操作 ， 没 有 结 点 的 势 会 增加 ， 并 且 在 查找 
路 径 上 最 少 有 max(0,s 一 (a(n) 十 2)) 个 结 点 使 得 它们 的 势 至 少 减 少 1。 

为 了 证 明 没有 结 点 的 势 会 增加 ， 首 先 对 除根 以 外 的 所 有 结 点 应 用 引 理 21. 10。 然 后 ， 如 果 r 
ER, BACH AE a(n) + x. rank ， 其 值 不 变 。 
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现在 证 明 至 少 有 max(0,s— (a(n) +2)) 个 结 点 使 得 它们 的 势 至 少 下 降 1。 假设 工 是 查找 路 径 
上 一 个 满足 x. rank>0 的 结 点 ， 且 在 查找 路 径 上 的 某 处 ，z 后 跟 某 一 个 非 根 结 点 >y， 它 在 FIND- 
SET 操作 之 前 有 level(y) = level(z) 。 (注意 在 查找 路 径 上 ，y 不 需要 紧 跟 在 结 点 x 的 后 面 。) 在 查 
找 路 径 上 ， 除 了 至 多 am 十 2 个 结 点 以 外 ， 其 他 所 有 结 点 都 满足 关于 x 的 限制 。 那 些 不 满足 限制 
的 是 查找 路 径 上 的 第 一 个 结 点 (因为 它 的 秩 为 0) 、 最 后 一 个 结 点 (因为 它 是 根 ) 和 路 径 上 最 后 一 个 
满足 level(w) = 二 的 结 点 ， 这 里 和 = 二 0,1,2,*…,a(n) 一 1]。 
让 我 们 固定 这 样 一 个 结 点 xz， 下 面 证 明 z 的 势 至 少 下 降 1。 假 设 R= level(z) =level(y). 在 
由 FIND-SET 操作 引起 路 径 压 缩 之 前 ， 我 们 有 : 
x. p. rank > AS? (x. rank) (根据 iter(x) 的 定义 ) 
y. p. rank > A, (y. rank) (根据 levely) 的 定义 ) 
y. rank > x. p. rank (根据 推论 21. 5, 并 因为 在 查找 路 径 上 y 跟 在 工 的 后 面 ) 
y. p. rank > A, (y. rank) 
= A, (x. p. rank) (AW AG) 是 严格 递增 的 ) 
> A, (Af (x. rank)) 
= Aft (x. rank) 
因为 路 径 压 缩 将 使 得 z 5 y 有 相同 的 父 结 点 ， 那 么 在 路 劲 压缩 之 后 ， 有 x. p.rank=y. p. rank, 
并 且 路 径 压 缩 并 不 减少 y. p. rank。 因 为 x. rank 并 没有 改变 ， 在 路 径 压 缩 之 后 就 有 x. p. rank > 
Ay? Cx. rank)。 因 此 ， 路 径 压 缩 将 致使 iter(z) 增加 (至 少 增加 到 i 十 1) 或 致使 level(z) 增加 ( 当 
iter(Z) 至 少 增加 到 zx. rank 十 1 时 才 发 生 )。 不 管 发 生 哪 种 情况 ， 根 据 引 理 21.10， 有 加 (xz) < 
po1《ZX) 一 1 。 所 以 ，z 的 势 至 少 下 降 1。 
FIND SET 操作 的 排 还 代价 是 实际 成 本 加 上 势 的 改变 量 。 实 际 成 本 为 0() ， 并 且 我 们 已 经 证 明 
势 总 共 下 降 了 至 少 max(0,s— (a(n) 十 2)) 。 因 此 ， 摊 还 代价 最 多 为 OCs) — (s— (ab) 十 2)) =Os) 一 
s 十 Okaln)) = Olaln)) ， 后 面 等 式 是 因为 我 们 能 放大 势 的 单位 去 消除 在 OCs) 中 包含 的 内 部 常量 。 m 
把 上 面 的 引 理 综合 在 一 起 ， 就 可 以 产生 下 面 的 定理 。 
定理 21.14 一 组 mm 个 MAKE-SET, UNION 和 FIND-SET 操作 的 序列 ， 其 中 个 是 
MAKE-SET 操作 ， 它 能 在 一 个 不 相交 集合 森林 上 使 用 按 秩 合并 与 路 径 压 缩 在 最 坏 情 况 时 间 OCm 
a(n)) 内 处 理 完 。 
WEAR 根据 引 理 21.7、 引 理 21.11、 引 理 21. 12 和 引 理 21.13, ， 即 可 得 证 。 a 


练习 

21. 4-1 证 明 引 理 21. 4。 

21. 4-2 TER: 每 个 结 点 的 秩 最 多 为 [lgnj。 

21. 4-3 ”根据 练习 21. 4-2 的 结论 ， 对 于 每 个 结 点 zx， 需 要 多 少 位 (bit) 来 存储 x. rank? 

21. 4-4 利用 练习 21. 4-2， 请 给 出 一 个 简单 的 证 明 ， 证明 在 一 个 不 相交 集合 森林 上 使 用 按 秩 合 并 
策略 而 不 使 用 路 径 压缩 策略 的 运行 时 间 为 OC Ign) 。 

21.4-5 Dante 教授 认为 ， 因 为 各 结 点 的 秩 在 一 条 指向 根 的 简单 路 径 上 是 严格 递增 的 ， 所 以 结 点 
的 级 沿 着 路 径 也 一 定 是 单调 递增 的 。 换 句 换 说 ， 如 果 x. rank>0, HA xz. zp 不 是 一 个 
根 ， 那 么 level(z) < level(z. p) 。 请 问 这 位 教授 的 想法 正确 吗 ? 

*21. 4-6 SBR a (n) = minf{k:A,(1) 三 lg(2 十 1)) 。 证 明 ; 对 于 的 所 有 实际 值 ， 有 wx nm) < 

3 ， 并 利用 练习 21. 4-2， 说 明 如 何 去 修 改 势 函 数 的 参数 来 证 明 对 于 一 组 m 个 MAKE- 
SET, UNION 和 FIND-SET 操作 的 序列 (其 中 7 个 是 MAKE-SET 操作 ) ， 我 们 能 在 一 个 
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不 相交 和 集合 森林 上 使 用 按 秩 合并 与 路 径 压 缩 在 最 坏 情况 时 间 OCma (2) ) 内 处 理 完 。 


21-1 


21-2 


( 脱 机 最 小 值 ) 脱 机 最 小 值 问 题 (off-line minimum problem) 是 使 用 INSERT #1 EXTRACT- 
MIN 操作 维护 一 个 元 素 取 自 域 {1，2，…，n} 的 动态 集合 T。 给 定 一 组 包含 ”个 INSERT 
和 m 个 EXTRACT-MIN 的 调用 序列 S， 其 中 属于 {1，2，…，n} 中 的 每 个 关键 字 只 被 插入 
一 次 。 我 们 希望 确定 每 个 EXTRACT-MIN 调用 返回 的 是 哪个 关键 字 。 特 别 地 ， 和 希望 对 一 
个 extracted[1..mj(i 二 1]，2,，…，m) 数 组 进行 填充 ,其 中 eztracted[Lz] 是 由 第 ;次 
EXTRACT-MIN 调用 所 返回 的 关键 字 。 该 问题 是 “ 脱 机 的 ”"， 其 含义 就 是 在 确定 任何 返回 
的 关键 字 之 前 处 理 整 个 序列 S. 
a. 在 下 面 脱 机 最 小 值 问 题 的 实例 中 ， 每 个 操作 INSERT(i) 用 一 个 i 值 来 表示 ， 并 且 每 个 
EXTRACT-MIN 用 字母 下 来 表示 : 
4,8,E,3,E,9,2,6,E,E,E,1,7,E,5 
将 正确 的 值 填 人 extracted 数组 。 
为 了 设计 出 解决 此 问题 的 算法 ， 我 们 把 序列 S 划分 成 若干 个 同 构 的 子 序列 ， 即 如 下 表 
示 S: 
LE,b,E,L s*es ln Es In 
这 里 每 个 下 代表 单 次 EXTRACT-MIN 调用 ， 并 且 每 个 代表 一 个 (可 能 为 空 的 )INSERT 
调用 序列 。 对 于 每 个 子 序列 I， 开始 时 把 由 这 些 操作 插入 的 关键 字 插 入 一 个 集合 K;， 如 果 
L 为 空 ， 那 么 它 也 为 空 。 然 后 执行 下 面 的 程序 : 
OFF-LINE-MINIMUM(m,n) 
l fori = 1 ton 
2 determine j such that z € K; 
3 ifj~mt+1 
4 extracted|j] = i 
5 let Z be the smallest value greater than j 
for which set K, exists 
6 K,= K; UK;,, destroying K; 


7 return extracted 


b. 证 明 : 由 OFF-LINE-MINIMUM 返回 的 数组 extracted 是 正确 的 。 

ce 描述 如 何 用 不 相交 集合 数据 结构 来 高 效 实现 OFF-LINE-MINIMUM。 给 出 实现 的 最 坏 
情况 运行 时 间 的 紧 确 界 。 

(深度 确定 ) 在 深度 确定 (depth-determination) 问题 中 ， 我 们 通过 以 下 三 个 操作 来 维护 一 

个 有 根 树 的 森林 史 = {T;} : 

MAKE-TREE(v): 创建 一 棵 只 包含 唯一 结 点 v 的 树 。 
FIND-DEPTH(v): 返回 结 点 "在 树 中 的 深度 。 
GRAFT(r, v): 使 得 结 点 r( 假 定 它 为 一 棵 树 的 树 根 ) 成 为 结 点 v 的 孩子 (假定 它 在 男 

一 棵 树 中 ， 但 是 它 本 身 可 能 是 、 也 可 能 不 是 一 棵 树 的 根 ) 。 

a. 假设 采用 类 似 于 不 相交 集合 森林 的 树 表示 : v p 是 结 点 wv 的 父 结 点 ， 除 了 v 是 根 时 
v. p 二 vv 的 这 种 情况 。 进 一 步 假 设 ， 我们 可 以 通过 置 ~ p= REM GRAFT, v) ， 并 且 
可 以 通过 沿 着 查找 路 径 上 升 至 根 返回 一 个 除 v 以 外 的 结 点 数 来 实现 
FIND-DEPTH(v) 。 证明; 一 组 mm 个 MAKE-TREE、FIND-DEPTH 和 GRAFT 操作 的 
序列 的 最 坏 情况 运行 时 间 是 Om) 。 
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通过 使 用 按 秩 合 并 与 路 径 压 缩 启发 式 策略 ， 能 减少 最 坏 情况 运行 时 间 。 我 们 使 用 不 相 
OREM S = {S;} ， 其 中 每 个 集合 S〈 它 本 映 是 一 棵 树 ) 对 应 于 一 棵 森林 和 中 的 树 T;。 
Ri, BAS 中 的 树 结构 没 有 必要 对 应 于 T; 的 树 结构 。 实 际 上 ，S; 的 实现 并 没有 记录 准 
确 的 父子 关系 ， 但 它 允 许 我 们 确定 T: 中 任意 结 点 的 深度 。 

关键 的 思想 是 维护 每 个 结 点 v 的 一 个 “ 伪 距 离 ”v. 4， 它 被 定义 为 使 得 沿 着 从 v 到 它 的 
集合 S; 的 根 的 简单 路 径 上 的 伪 距 离 之 和 等 于 T; 中 结 点 v 的 深度 。 也 就 是 说 ， 如 果 从 v 到 
CE S: 的 根 的 简单 路 径 为 vw。，wW，…，v( 这 里 Ww 二 vw 并 且 v: ES; 的 根 )， 那 么 结 点 v 在 


WT; 上 的 深度 为 25%: ds 
b. 给 出 MAKE-TREE 的 一 种 实现 。 
c 说 明 应 如 何 修改 FIND-SET 来 实现 FIND-DEPTH。 你 的 实现 要 采用 路 径 压 缩 ， 并 且 它 
的 运行 时 间 应 与 查找 路 径 的 长 度 呈 线性 关系 。 试 确保 你 的 实现 能 正确 地 更 新 伪 距 离 。 
d. 说 明 如 何 实现 GRAFT(r，v)， 它 通过 修改 UNION 和 LINK 过 程 来 合并 包含 + 和 w 的 
集合 。 试 确保 你 的 实现 能 正确 地 更 新 伪 距 离 。 并 注意 到 ， 集 合 S 的 根 没 有 必要 是 对 应 
W T: WAR. 
e 试 给 出 一 组 m 个 MAKE-TREE, FIND-DEPTH 和 GRAFT RERI GEP n AE 
MAKE-TREE 操作 ) 最 坏 情 况 运行 时 间 的 一 个 紧 确 界 。 
21-3 (Tarjan 的 脱 机 最 小 公共 祖先 算法 ) 在 一 棵 有 根 树 荆 中 ， 两 个 结 点 u 和 的 最 小 公共 祖先 
(least common ancestor)w 是 结 点 u 和 w 的 一 个 共同 祖先 ， 且 它 有 最 大 的 深度 。 在 脱 机 最 
小 公共 祖先 问题 (off-line least-common-ancestors problem) 中 ， 给 定 一 棵 有 根 树 工 和 一 个 在 
工 中 的 无 序 结 点 对 的 任意 集合 P= 二 {{u，v}}， 我 们 希望 确定 已 中 每 对 的 最 小 公共 祖先 。 
为 了 解决 脱 机 最 小 公共 祖先 问题 ， 下 面 的 过 程 通 过 对 LCA(T. rooz) 的 初始 调用 ， 来 执 
行 对 工 的 树 遍 历 。 假 设 在 执行 遍历 之 前 ， 每 个 结 点 被 着 色 为 日 色 。 
LCA(u) 
1 MAKE-SET(u) 
2 FIND-SET(w). ancestor=u 
3 for each child v of u in T 
4 LCA(v) 
5 UNION(u, v) 
6 FIND-SET(u). ancestor=u 
7 u. color=BLACK 
8 for each node v such that {u,v} € P 
9 if v. color= BLACK 
10 print “The least common ancestor of ” 
u“and”v“is” FIND-SET (v). ancestor 


a. WEAR: 对 每 对 {uw，wv}EP， 第 10 行 恰好 只 执行 一 次 。 

b. 证 明 : 在 调用 LCA(w) 时 ， 不 相交 集合 数据 结构 的 集合 数 等 于 丁 中 久 ORE. 
c. 证 明 : 对 于 每 对 (u,v) E P, LCA 能 正确 地 输出 u 和 w 的 最 小 公共 祖先 。 

d. 假设 我 们 使 用 21. 3 节 中 的 不 相交 集合 数据 结构 实现 ， 试 分 析 LCA 的 运行 时 间 。 


本 章 注 记 
不 相交 集合 数据 结构 的 许多 重要 结果 至 少 应 部 分 归功 于 R. E. Tarjan, Tarjanl328, 330 EM 


聚合 分 析 ， 给 出 了 第 一 个 紧 确 上 界 ， 它 是 用 增长 极 慢 的 Ackermann 函数 的 逆 函 数 am, n) 来 表示 
的 。( 在 21.4 节 给 出 的 Ai(j) 类 似 于 Ackermann RM, FFA WM a(n) 类 似 于 这 个 逆 函 数 。 对 于 
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所 有 可 想象 的 m 和 n, a(n) 和 cxc(，7) 的 值 都 至 多 为 4。) 一 个 OClmlg* n) 的 上 界 早期 由 Hopcroft 
与 UllmanL5，179j 所 证 明 。21. 4 节 中 的 狗 述 是 改编 自 TarjanL332j 后 来 所 做 的 分 析 ， 其 中 Tarjan 
的 工作 又 是 基于 Kozen[ 220 ] 的 分 析 而 做 出 的 。 对 于 Tarjan 早期 给 出 的 上 界 ，Harfst 和 Reingold 
[16j] 给 出 了 一 个 基于 势 的 版 本 。 

Tarjan 和 van Leeuwen[L 333] 讨 论 了 各 种 路 径 压 缩 启发 式 策 略 ， 包 括 “ 一 趟 方法 ”， 这 种 方法 
有 时 在 性 能 上 可 以 给 出 比 两 趟 方法 更 好 的 常数 因子 。 与 Tarjan 早期 对 基本 路 径 压 缩 启 发 式 策略 
的 分 析 一 样 ，Tarjan 和 van Leeuwen 给 出 的 分 析 是 聚合 分 析 。 Harfst 和 ReingoldL161 后 来 证 明 
了 应 如 何 对 势 函 数 做 一 个 小 的 改动 ， 便 可 将 他 们 的 路 径 压 缩 分 析 方 法 应 用 到 这 些 一 趟 的 方法 中 。 
Gabow 和 TarjanL1214 证 明了 在 某 些 特定 的 应 用 中 ， 不 相交 集合 操作 可 以 做 到 在 Om) 时 间 内 
运行 。 

Tarjan 329j 证 明了 在 任意 满足 特定 技术 条 件 的 不 相交 集合 数据 结构 上 ， 操 作 所 需要 的 时 间 
PRA QC(malm,n)) 。 这 个 下 界 后 来 由 Fredman 和 Saks[L113j] 推 广 ， 他 们 证 明了 在 最 坏 情 况 下 ， 

必须 访问 QCmalm,n)) gn) 位 的 内 存 字 。 
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图 算 法 





由 于 图 论 问 题 渗透 整个 计算 机 科学 ， 图 算法 对 于 计算 机 学 科 至 天 重 
要 。 成 百 上 干 的 计算 问题 最 后 都 可 以 归 约 为 图 论 问题 。 本 书 的 第 六 部 分 就 
对 图 论 里 面 比 较 重 要 的 一 些 问题 进行 讨论 。 

第 22 章 讨论 如 何在 计算 机 里 表示 一 张 图 ， 然 后 对 图 的 广度 优先 搜索 
和 深度 优先 搜索 算法 进行 讨论 。 同 时 ， 该 章 还 将 讨论 深度 优先 搜索 的 两 个 
应 用 : 有 回 图 的 拓扑 排序 和 将 有 辐 图 分 解 为 强 连 通 子 图 。 

第 23 章 阐 述 如 何 计 算 图 的 最 小 生成 树 。 最 小 生成 树 要 解决 的 问题 是 
在 一 个 每 条 边 都 有 权重 的 图 里 ， 以 最 小 权重 之 和 来 连接 所 有 的 结 点 。 计 算 
最 小 生成 树 的 算法 很 好 地 展示 了 贪心 算法 (关于 贪心 算法 ， 请 参阅 本 书 第 
16 章 的 内 容 )。 

第 24 章 和 第 25 章 讨论 如 何在 权重 图 里 计算 两 个 结 点 之 间 的 最 短路 
径 。 其 中 ， 第 24 章 摘 述 如 何 找到 从 给 定 源 结 点 至 所 有 其 他 结 点 的 最 短路 
径 ， 而 第 25 章 则 讨论 所 有 结 点 对 之 间 的 最 短路 径 。 

第 26 章 讨论 如 何在 流 网 络 中 计算 出 最 大 流 。 这 里 的 流 网 络 指 的 是 一 
个 有 同 图 ， 其 中 有 一 个 结 点 为 发 出 流量 的 源 结 点 ， 一 个 结 点 为 流量 汇集 的 
站 感 ， 图 中 每 条 边 上 的 权重 代表 该 条 边 所 允许 的 最 大 流量 ， 也 称 为 边 的 容 
量 。 访 网 络 问题 是 一 种 通用 问题 ， 它 的 表现 形式 多 种 多 样 ， 一 个 优秀 的 计 
算 最 大 流 的 算法 可 以 有 效 解 决 各 种 相关 的 问题 。 

对 图 算法 进行 讨论 需要 有 一 些 约定 和 表述 。 给 定 图 G E= (V,E) ， 当 
对 该 图 上 的 一 个 算法 的 运行 时 间 进 行 表述 时 ， 我 们 通常 以 图 的 结 点 数 |V| 
和 边 的 条 数 |E| 作 为 输入 的 规模 。 也 就 是 说 ,我们 用 的 是 两 个 参数 ， 而 不 
是 一 个 参数 ， 来 描述 输入 的 规模 。 对 这 些 参数 ,我们 采用 通常 的 约定 来 进 
行 表述 。 在 渐 近 记号 (如 大 O 表示 或 大 8 表示) 中， 也 仪 当 在 此 种 表示 法 
E, 符号 V 代 表 |V|, 符号 EE 代表 |E|。 例 如， 我 们 可 以 说 ,“ 某 算法 运 
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行 的 时 间 为 O(VE)”， 意 味 着 算法 运行 的 时 间 为 OV] | 五 | )。 这 种 约定 使 运行 时 间 的 表达 式 更 
容易 被 理解 ， 而 又 不 会 产生 模 精 性 。 
本 书 采 用 的 另 一 种 约定 涉及 伪 代 码 。 本 书 用 G.V 来 表示 图 G 的 结 点 集 ， 用 G. 五 表示 图 G 的 
边 集合 。 也 就 是 说 ， 在 伪 代 码 中 ， 我 们 将 结 点 和 边 看 做 是 图 的 属性 。 
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本 章 将 介绍 图 的 表示 和 图 的 搜索 。 图 的 搜索 指 的 是 系统 化 地 跟随 图 中 的 边 来 访问 图 中 的 每 
个 结 点 。 图 搜索 算法 可 以 用 来 发 现 图 的 结构 。 许 多 的 图 算法 在 一 开始 都 会 先 通 过 搜索 来 获得 图 
的 结构 ， 其 他 的 一 些 图 算法 则 是 对 基本 的 搜索 加 以 优化 。 可 以 说 ， 图 的 搜索 技巧 是 整个 图 算法 领 
域 的 核心 。 

22. 1 市 对 图 的 两 种 最 常见 的 计算 机 表示 法 进行 讨论 。 这 两 种 表示 法 分 别 是 邻接 链表 和 邻接 
矩阵 。22, 2 节 讲 解 一 种 简单 的 图 搜索 算法 ， 称 为 广度 优先 搜索 ， 并 演示 如 何 创建 一 棵 广度 优先 
树 。22. 3 节 讲 解 深度 优先 搜索 ， 同 时 对 此 种 搜索 所 访问 的 结 点 之 间 的 次 序 进行 讨论 ， 并 对 这 方 
面 的 一 些 标准 结果 进行 证 明 。22. 4 节 给 出 深度 优先 搜索 的 一 个 实际 应 用 : 有 向 无 环 图 中 的 拓扑 
排序 。22. 5 节 则 讨论 深 度 优先 搜索 的 为 一 个 实际 应 用 : 在 有 向 图 中 计算 强 连通 分 量 。 


22.1 图 的 表示 


HFE G= (V,E) ， 可 以 用 两 种 标准 表示 方法 表示 。 一 种 表示 法 将 图 作为 邻接 链表 的 组 合 ， 
另 一 种 表示 法 则 将 图 作为 邻接 矩阵 来 看 待 。 两 种 表示 方法 都 既 可 以 表示 无 向 图 ， 也 可 以 表示 有 
向 图 。 邻 接 链 表 因 为 在 表示 稀疏 图 ( 边 的 条 数 | 五 | 远 远 小 于 | 立 | 的 图 ) 时 非常 紧凑 而 成 为 通常 的 
选择 。 本 书 给 出 的 多 数 图 算法 都 假定 作为 输入 的 图 是 以 邻接 链表 方式 进行 表示 的 。 不 过 ， 在 稠密 
图 (|E| 接 近 |V|? 的 图 ) 的 情况 下 ， 我 们 可 能 倾向 于 使 用 邻接 和 矩阵 表示 法 。 另 外 ， 如 果 需 要 快速 
判断 任意 两 个 结 点 之 间 是 否 有 边 相 连 ， 可 能 也 需要 使 用 邻接 矩阵 表示 法 。 例 如 ， 第 25 章 将 讨论 
的 最 短路 径 算 法 中 的 两 种 算法 都 以 邻接 矩阵 来 表示 图 。 

对 于 图 G= (VE) 来 说 ， 其 邻接 链表 表示 由 一 个 包含 | 六 | 条 链表 的 数组 Adj7 所 构成 ， 每 个 
结 点 有 一 条 链表 。 对 于 每 个 结 点 KEV， 邻 接 链 表 Adj[Luj 包 含 所 有 与 结 点 之 间 有 边 相 连 的 结 点 
v， 即 Adj u BER G PNAS u 邻接 的 结 点 (也 可 以 说 ， 该 链表 里 包含 指向 这 些 结 点 的 指针 ) 。 
由 于 邻接 链表 代表 的 是 图 的 边 ， 在 伪 代 码 里 ， 我 们 将 数组 Adj 看 做 是 图 的 一 个 属性 ， 就 如 我 们 
将 边 集合 五 看 做 是 图 的 属性 一 样 。 因 此 ， 在 伪 代 码 里 ， 我 们 将 看 到 G. Adj [zj 这 样 的 表示 。 
图 22-1(a) 给 出 的 是 一 个 无 向 图 ， 图 22-1(b) 给 出 的 是 图 22-1 Ca) 的 邻接 链表 表示 。 类 似 地 ， 
图 22-2(b) 给 出 的 是 图 22-2(a) 的 有 向 图 的 邻接 链表 表示 。 
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(a) Cb) Cc) 


图 22-1 无 回 图 的 两 种 表示 。(a) 一 个 有 5 个 结 点 和 7 条 边 的 无 向 图 G。(b)G 的 邻接 链表 表示 。 
(c)G 的 邻接 矩阵 表示 


URGES, MIFA, ORL, HA v 将 出 现在 链表 Adj (ule, Alt, MA 
邻接 链表 的 长 度 之 和 等 于 |E| 。 如 果 G 是 一 个 无 向 图 ， 则 对 于 边 (u， 双 来 说 ， 结 点 vv 将 出 现在 链 
表 Aqdj[Luj 里 ， 结 点 将 出 现在 链表 AdjLvj 里 ， 因 此 ， 所 有 邻接 链表 的 长 度 之 和 等 于 2|E|。 但 
不 管 是 有 向 图 还 是 无 向 图 ， 邻 接 链 表 表 示 法 的 存储 空间 需求 均 为 @C(V 十 E)， 这 正 是 我 们 所 希望 
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的 数量 级 。 
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(b) (c) 


图 22-2 ”有 向 图 的 两 种 表示 。(a) 一 个 有 6 个 结 点 和 8 条 边 的 有 向 图 G。(b)G 的 邻接 链表 表示 。 
(c)G 的 邻接 矩阵 表示 


对 邻接 链表 稍 加 修改 ， 即 可 以 用 来 表示 权重 图 。 权 重 图 是 图 中 的 每 条 边 都 带 有 一 个 相关 的 
权重 的 图 。 该 权重 值 通常 由 一 个 w: ER 的 权重 函数 给 出 。 例 如 ， 设 G = (V,E) 为 一 个 权重 
图 ， 其 权重 函数 为 这， 我 们 可 以 直接 将 边 (u,v) E E KNE wu o) 存放 在 结 点 的 邻接 链表 
里 。 从 这 种 意义 上 说 ， 邻 接 链表 表示 法 的 鲁 棱 性 很 高 ， 可 以 对 其 进行 简单 修改 来 支持 许多 其 他 的 
图 变种 。 

邻接 链表 的 一 个 潜在 缺陷 是 无 法 快速 判断 一 条 边 (u，wv) 是 否 是 图 中 的 一 条 边 ， 唯 一 的 办 法 是 
在 邻接 链表 Adj[Luj 里 面 搜索 结 点 v。 邻 接 和 矩阵 表示 则 克服 了 这 个 缺陷 ， 但 付出 的 代价 是 更 大 的 
存储 空间 消耗 (存储 空间 的 渐 近 数量 级 更 大 )( 关 于 如 何在 邻接 链表 上 进行 快速 边 搜 索 的 信息 ， 请 
参阅 练习 22. 1-8) 。 

对 于 邻接 矩阵 表示 来 说 ， 我 们 通常 会 将 图 G 中 的 结 点 编 为 1，2，…，|V| ， 这 种 编号 可 以 
是 任意 的 。 在 进行 此 种 编号 之 后 ， 图 G 的 邻接 矩阵 表示 由 一 个 |V| X |V| 的 矩阵 A = (as ) 予以 
表示 ， 该 矩阵 满足 下 述 条 件 : 

f 若 (i,j)) EE 
Lo 其 他 
图 22-1(c) 和 图 22-2(c) 分 别 给 出 的 是 图 22-1(a) 的 无 向 图 和 图 22-2(a) 的 有 向 图 的 邻接 矩阵 表示 。 
不 管 一 个 图 有 和 多少 条 边 ， 邻 接 和 矩阵 的 空间 需求 皆 为 OV). 

从 图 22-1(c) 可 以 看 到 ， 无 向 图 的 邻接 矩阵 是 一 个 对 称 和 矩阵。 由 于 在 无 向 图 中 ， 边 (x，m) 和 
Wu, 是 同一 条 边 ， 无 向 图 的 邻接 矩阵 A 就 是 自己 的 转 置 ， 即 A 二 A'"。 在 某 些 应 用 中 ， 可 能 
只 需要 存放 对 角 线 及 其 以 上 的 这 部 分 邻接 矩阵 ( 即 半 个 矩阵 )， 从 而 将 图 存储 空间 需求 减少 几乎 
一 半 。 

与 邻接 链表 表示 法 一 样 ， 邻 接 和 矩阵 也 可 以 用 来 表示 权重 图 。 例 如 ， 如 果 G = (V,E) 为 一 个 
权重 图 ， 其 权重 函数 为 w， 则 我 们 直接 将 边 (u，wv) EE 的 权重 wlu,v) 存放 在 邻接 和 矩阵 中 的 第 u 
行 第 v 列 记录 上 。 对 于 不 存在 的 边 ， 则 在 相应 的 行列 记录 上 存放 值 NIL。 不 过 ， 对 于 许多 问题 来 
说 ， 用 0 或 者 ce 来 表示 一 条 不 存在 的 边 可 能 更 为 便捷 。 

虽然 邻接 链表 表示 法 和 邻接 矩阵 表示 法 在 渐 近 意义 下 至 少 是 一 样 空间 有 效 的 ， 但 邻接 和 矩阵 
表示 法 更 为 简单 ， 因 此 在 图 规模 比较 小 时 ， 我 们 可 能 更 倾向 于 使 用 邻接 矩阵 表示 法 。 而 且 ， 对 于 
无 向 图 来 说 ， 邻 接 和 矩阵 还 有 一 个 优势 ， 每 个 记录 项 只 需要 1 位 的 空间 。 

表示 图 的 属性 

对 图 进行 操作 的 多 数 算法 需要 维持 图 中 结 点 或 边 的 某 些 属性 。 这 些 属性 可 以 使 用 通常 的 表 
述 法 来 进行 表示 ， 如 v. d 表示 结 点 v 的 属性 4 。 当 使 用 一 对 结 点 来 表示 一 条 边 的 时 候 ， 我 们 也 可 
以 使 用 同样 风格 的 表述 。 例 如 ， 如 果 边 有 一 种 属性 f， 则 边 (u，w) 的 这 种 属性 可 以 表示 为 
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Cu, v). f。 对 于 表示 和 理解 算法 而 言 ， 这 种 属性 表述 足够 清晰 。 

不 过 ， 在 算法 的 实际 程序 里 面 实现 结 点 和 边 的 属性 则 完全 是 另外 一 回 事情 。 没 有 什么 最 好 
的 办 法 来 存放 和 访问 结 点 与 边 的 属性 。 对 于 给 定 的 场景 ， 我们 所 做 出 的 决定 可 能 依赖 于 诸多 因 
R: 所 使 用 的 程序 设计 语言 、 需 要 实现 的 算法 和 程序 中 使 用 图 的 方式 等 因素 。 如 果 使 用 邻接 链表 
来 表示 图 ， 一 种 可 能 的 方法 是 使 用 额外 的 数组 来 表示 结 点 属性 ， 如 一 个 与 Aqj 数组 相对 应 的 数 
组 d[1.. |1V|]J。 如 果 与 x 邻 接 的 结 点 都 在 Adj [四 中 ， 则 属性 xd 将 存放 在 数组 项 d[u] 里 。 还 有 
许多 其 他 方法 可 以 用 来 实现 属性 的 表示 。 例 如 ， 在 面向 对 象 的 程序 设计 语言 里 ， 结 点 属性 可 以 表 
示 为 Vertex 类 下 面 的 一 个 子 类 中 的 实例 变量 。 


练习 


22. 1-1 给 定 有 问 图 的 邻接 链表 ， 需 要 多 长 时 间 才 能 计算 出 每 个 结 点 的 出 度 ( 发 出 的 边 的 条 数 )? 
多 长 时 间 才 能 计算 出 每 个 结 点 的 人 度 ( 进 入 的 边 的 条 数 )? 

22.1-2 给 定 一 覃 有 ?7 个 结 点 的 完全 二 又 树 的 邻接 链表 ， 请 给 出 等 价 的 邻接 和 矩阵 表示 。 这 里 假设 
结 点 的 编号 为 从 1 一 7。 

22. 1-3 AMA G= (V,E) WRAEK G = (V,E") , XE ET = ((v,u) EVXV:(u,v) € E). 
因此 ， 图 G "就 是 将 有 向 图 G 中 所 有 边 的 方向 反 过 来 而 形成 的 图 。 对 于 邻接 链表 和 邻接 
矩阵 两 种 表示 ， 请 给 出 从 图 G 计 算出 GT 的 有 效 算 法 ， 并 分 析 算 法 的 运行 时 间 。 

22. 1-4 Be sk G=(V,E) 的 邻接 链表 (多 图 是 允许 重复 边 和 自 循环 边 的 图 )， 请 给 出 一 个 时 间 
为 O(V + E) 的 算法 ， 用 来 计算 该 图 的 “等 价 ” 无 向 图 G = (V,E ) 的 邻接 链表 表示 。 这 
里 五 是 将 五 中 的 宛 余 边 和 自 循环 边 删除 后 余下 的 边 。 删 除 宛 余 边 指 的 是 将 两 个 结 点 之 
闻 的 多 条 边 蔡 换 为 一 条 边 。 

22.15 有 向 图 G 二 (V,E) 的 平方 图 是 图 G = (V,E) , 这 里 ， 边 (u,v) E E 当 且 仅 当 图 G 包 
含 一 条 最 多 由 两 条 边 构 成 的 从 xx 到 的 路 径 。 请 给 出 一 个 有 效 算法 来 计算 图 G 的 平方 图 
G’. KER G 既 可 以 以 邻接 链表 表示 ， 也 可 以 以 邻接 矩阵 表示 。 请 分 析 算 法 的 运行 
时 间 。 

22. 1-6 多 数 以 邻接 矩阵 作为 输入 的 图 算法 的 运行 时 间 为 Q() ， 但 也 有 例外 。 给 定 图 G 的 邻 
接 和 矩阵 表示 ， 请 给 出 一 个 OM 时 间 的 算法 来 判断 有 向 图 G 是 否 存 在 一 个 通用 汇 点 
(universal sink)。 通 用 汇 点 指 的 是 入 度 为 |V| 一 1 但 出 度 为 0 的 结 点 。 

22.1-7 有 向 无 环 图 G = 二 (V,E) 的 关联 矩阵 (incidence matrix) 是 一 个 满足 下 述 条 件 的 |V| X |E| 
和 矩阵 B= (b; ): 

b; = 41 如 果 边 7 进入 结 点 i 

0 ”其 他 
请 说 明和 矩阵 乘积 BBY 里 的 每 一 个 元 素 代 表 什 么 意思 。 这 里 B 是 矩阵 B 的 转 置 。 

22.1-8 假定 数组 AdjLuj 的 每 个 记录 项 不 是 链表 ， 而 是 一 个 散 列 表 ， 里 面包 含 的 是 (u,v) € E 
的 结 点 v。 如 果 每 条 边 被 查询 的 概率 相同 ， 则 判断 一 条 边 是 否 在 图 中 的 期 望 时 间 值 是 多 
少 ? 这 种 表示 方式 的 缺陷 是 什么 ? 请 为 每 条 边 链 表 给 出 一 个 不 同 的 数据 结构 来 解决 这 个 
问题 。 与 散 列 表 相 比较 ， 你 所 给 出 的 新 方法 存在 什么 缺陷 吗 ? 


22.2 三 度 优先 搜索 


广度 优先 搜索 是 最 简单 的 图 搜索 算法 之 一 ， 也 是 许多 重要 的 图 算法 的 原型 。Prim 的 最 小 生 
成 树 算法 (请 参见 23. 2 节 ) 和 Dijkstra 的 单 源 最 短路 径 算法 (请 参见 24. 3 节 ) 都 使 用 了 类 似 广度 优 


本 如 果 边 7 从 结 点 i 发 出 


344 ， 第 六 部 分 算 法 


先 搜索 的 思想 。 
AER G= (V, E) 和 一 个 可 以 识别 的 源 结 点 *， 广 度 优先 搜索 对 图 G 中 的 边 进行 系统 性 的 探 
索 来 发 现 可 以 从 源 结 点 s 到 达 的 所 有 结 点 。 该 算法 能 够 计算 从 源 结 点 * 到 每 个 可 到 达 的 结 点 的 距 
离 ( 最 少 的 边 数 )， 同 时 生成 一 棵 “广度 优先 搜索 树 ”。 该 树 以 源 结 点 * 为 根 结 点 ， 包 含 所 有 可 以 从 
s 到 达 的 结 点 。 对 于 每 个 从 源 结 点 :可 以 到 达 的 结 点 v， 在 广度 优先 搜索 树 里 从 结 点 s 到 结 点 wv 的 
简单 路 径 所 对 应 的 就 是 图 G 中 从 结 点 s 到 结 点 v 的 “最 短路 径 ?， 即 包含 最 少 边 数 的 路 径 。 该 算法 
既 可 以 用 于 有 向 图 ， 也 可 以 用 于 无 回 图 。 
广度 优先 搜索 之 所 以 如 此 得 名 是 因为 该 算法 始终 是 将 已 发 现 结 点 和 未 发 现 结 点 之 间 的 边界 ， 
党 其 广度 方向 向 外 扩展 。 也 就 是 说 ， 算 法 需要 在 发 现 所 有 上 距离 源 结 点 s 为 的 所 有 结 点 之 后 ， 才 
会 发 现 距 离 源 结 点 s 为 & 十 1 的 其 他 结 点 。 
为 了 跟踪 算法 的 进展 ， 广 度 优先 搜索 在 概念 上 将 每 个 结 点 涂 上 日 色 、 灰 色 或 黑色 。 所 有 结 
所 在 一 开始 的 时 候 均 洲 上 白色 。 在 算法 推进 过 程 中 ， 这 些 结 点 可 能 会 变 成 灰色 或 者 黑色 。 在 搜 
索 过 程 中 ， 第 一 次 遇 到 一 个 结 点 就 称 该 结 点 被 “发现 ”"， 此 时 该 结 点 的 颜色 将 发 生 改 变 。 因 此 ， 
凡是 灰色 和 黑色 的 结 点 都 是 已 被 发 现 的 结 点 。 但 广度 优先 搜索 对 灰色 和 黑色 结 点 加 以 区 别 ， 以 
确保 搜索 按照 广度 优先 模式 进行 推进 ?。 如 果 边 (u,v) E EHR AUER, WAAR v 既 可 能 
是 灰色 也 可 能 是 黑色 。 也 就 是 说 ， 所 有 与 黑色 结 点 邻接 的 结 点 都 已 经 被 发 现 。 对 于 灰色 结 点 来 
说 ， 其 邻接 结 点 中 可 能 存在 未 被 发 现 的 日 色 结 点 。 灰 色 结 点 所 代表 的 就 是 已 知 和 未 知 两 个 集合 
之 间 的 边界 。 
在 执行 广度 优先 搜索 的 过 程 中 将 构造 出 一 棵 广度 优先 树 。 一 开始 ， 该 树 仅 含有 根 结 点 ， 就 是 
源 结 点 *。 在 扫描 已 发 现 结 点 zx 的 邻接 链表 时 ， 每 当 发 现 一 个 白色 结 点 w， 就 将 结 点 v 和 边 
(u，v) 同 时 加 入 该 棵 树 中 。 在 广度 优先 树 中 ， 称 结 点 是 结 点 wv 的 前 驱 或 者 父 结 点 。 由 于 每 个 结 
后 最 多 被 发 现 一 次 ， 它 最 多 只 有 一 个 父 结 点 。 广 度 优 先 树 中 的 祖先 和 后 代 关 系 皆 以 相对 于 根 结 
点 5 的 位 置 来 进行 定义 : 如 果 结 点 是 从 根 结 点 s 到 结 点 v 的 简单 路 径 上 的 一 个 结 点 ， 则 结 点 zx 
是 结 点 v 的 祖先 ， 结 点 v 是 结 点 w 的 后 代 。 
在 下 面 给 出 的 广度 优先 搜索 过 程 BFS 中 ,假定 输入 图 G 二 (V，E) 是 以 邻接 链表 所 表示 的 。 
该 算法 为 图 中 每 个 结 点 赋予 了 一 些 额 外 的 属性 : 我 们 将 每 个 结 点 的 颜色 存放 在 属性 u. color 里， 
将 u 的 前 驱 结 点 存放 在 属性 x.r 里。 如 果 v* 没 有 前 驱 结 点 (例如 ， 如 果 uss RA u 尚未 被 发 
现 )， 则 .7 二 NIL。 属 性 u. d 记录 的 是 广度 优先 搜索 算法 所 计算 出 的 从 源 结 点 * 到 结 点 v 之 间 的 
距离 。 该 算法 使 用 一 个 先进 先 出 的 队列 QC 请 参见 10. 1 节 ) 来 管理 灰色 结 点 集 。 
BFS(G, s) 
1 for each vertex u € G.V — {s} 
2 u. color = WHITE 
3 u. d = co 
4 u. x = NIL 
5 s.color = GRAY 
6 sd=0 
7 sr = NIL 
8 Q=% 
9 ENQUEUE(, s) 
10 while Q + Ø 


日 ”我们 对 灰色 和 黑色 结 点 加 以 区 分 的 目的 是 帮助 理解 广度 优先 搜索 是 如 何 运 行 的 。 事 实 上 ， 如 练习 22. 2-3 所 示 ， 
即使 不 对 这 两 种 颜色 的 结 点 进行 区 分 ， 获 得 的 结果 仍然 是 相同 的 。 
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11 u = DEQUEUE(Q) 
12 for each v € G. Adj[u) 


13 if v. color == WHITE 
14 v. color = GRAY 
15 vad=udtl 
16 Ur =U 

17 ENQUEUE(Q, v) 


18 u. color = BLACK 


图 22-3 描述 的 是 BFS 在 一 个 样本 图 上 的 推进 过 程 。 





图 22-3 ”BFS 在 无 向 图 上 的 运行 过 程 。 添 加 了 阴影 的 边 是 被 BFS 发 现 的 边 。 每 个 结 点 v 里 面 记录 的 是 
u.d 的 值 。 图 中 还 给 出 了 在 算法 第 10~18 行 的 while 循环 每 次 开始 时 的 队列 Q 的 内 容 。 结 点 距 
离 标记 在 队列 相应 结 点 的 下 方 


过 程 BFS 的 工作 过 程 如 下 。 除 了 源 结 点 s 以 外 ， 算 法 的 第 1~4 行 将 所 有 结 点 涂 上 白色 ,将 
每 个 结 点 Wu. d 属性 设置 为 无 穷 ， 将 每 个 结 点 的 父 结 点 设置 为 NIL。 第 5 行将 源 结 点 s 涂 上 灰 
色 ， 因 为 该 结 点 在 算法 开始 时 已 被 发 现 。 第 6 行将 s. a 初始 化 为 0， 第 7 行将 源 结 点 s 的 前 驱 设 
置 为 NIL。 第 8 一 9 行 对 队列 Q 进行 初始 化 ， 该 队列 的 初始 状态 仅 包 含 源 结 点 5 

算法 第 10 一 18 行 的 while 循环 一 直 执行 到 图 中 不 再 有 灰色 结 点 时 结束 。 如 前 所 示 ， 灰 色 结 点 
指 的 是 已 被 发 现 的 结 点 ， 但 其 邻接 链表 尚未 被 完全 检查 。 该 while 循环 的 不 变 式 如 下 : 

在 算法 第 10 行 的 测试 中 ， 队 列 Q 里 面包 含 的 是 灰色 结 点 集合 。 

虽然 我 们 不 打算 使 用 循环 不 变 式 来 证 明 算法 的 正确 性 ， 但 容易 看 出 ， 该 不 变 式 在 第 1 次 循环 
前 成 立 ， 且 每 次 循环 过 程 都 维持 该 不 变 式 的 成 立 。 在 第 1 次 循环 开始 之 前 ， 唯 一 的 灰色 结 点 ， 也 
是 队列 Q 里 面 的 唯一 结 点 ， 是 源 结 点 *。 算 法 第 11 行 取出 队列 Q 的 队 头 结 点 w， 将 其 从 队列 中 删 
除 。 第 12~17 行 的 for 循环 对 结 点 4 的 邻接 链表 中 的 每 个 结 点 v 进行 考察 。 如 果 结 点 v 是 白色 
的 ， 则 该 结 点 尚未 被 发 现 ， 算法 执行 第 14 一 17 行 的 程序 来 发 现 该 结 点 : 算法 将 结 点 v 涂 上 灰色 ， 
将 其 距离 od 设置 为 u. d 十 1， 并 且 将 结 点 记录 为 结 点 v 的 父 结 点 v. x， 将 其 插入 队列 Q 的 末 
尾 。 算 法 在 检查 完结 点 u 的 邻接 链表 里 的 所 有 结 扣 后 将 w 涂 上 黑色 (第 18 行 )。 由 于 一 个 结 点 在 
涂 上 灰色 (第 14 行 ) 的 同时 被 加 入 队列 Q 中 (第 17 行 )， 而 结 点 在 从 队列 里 删除 (第 11 行 ) 的 同时 
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被 涂 上 黑色 (第 18 行 )， 所 以 我 们 前 面 给 出 的 循环 不 变 式 一 直 得 到 保持 。 

广度 优先 搜索 的 结果 可 能 依赖 于 对 每 个 结 点 的 邻接 结 点 的 访问 顺序 (第 12 行 ): 广度 优先 树 
可 能 会 不 一 样 ， 但 本 算法 所 计算 出 来 的 距离 d 都 是 一 样 的 。( 请 参阅 练习 22. 2-5.) 

分 析 

在 证 明 广 度 优先 搜索 算法 的 各 种 性 质 前 ， 我 们 先 来 分 析 该 算法 的 运行 时 间 。 在 这 里 ， 我 们 将 
使 用 17. 1 市 介绍 的 聚合 分 析 。 在 初始 化 操作 结束 后 ， 广 度 优 先 搜索 不 会 再 给 任何 结 点 涂 上 白色 ， 
因此 ， 第 13 行 的 测试 可 以 确保 每 个 结 点 的 人 队 次 数 最 多 为 一 次 ， 因 而 出 队 最 多 一 次 。 入 队 和 出 
队 的 时 间 均 为 OCG) ， 因 此 ， 对 队列 进行 操作 的 总 时 间 为 OC(V) 。 因 为 算法 只 在 一 个 结 点 出 队 的 
时 候 才 对 该 结 点 的 邻接 链表 进行 扫描 ， 所 以 每 个 邻接 链表 最 多 只 扫描 一 次 。 由 于 所 有 邻接 链表 
的 长 度 之 和 是 @(E) ， 用 于 扫描 邻接 链表 的 总 时 间 为 OE) 。 初 始 化 操作 的 成 本 是 OV), Alb 
广度 优先 搜索 的 总 运行 时 间 为 OV +E). 。 因 此 ， 广 度 优先 搜索 的 运行 时 间 是 图 G 的 邻接 链表 大 
小 的 一 个 线性 函数 。 

最 短路 径 

在 本 节 开 始 的 时 候 ， 我 们 曾 说 过 ， 广 度 优先 搜索 能 够 找 出 从 给 定 源 结 点 SEV 到 所 有 可 以 到 
达 的 结 点 之 间 的 距离 。 我 们 定义 从 源 结 点 :到 结 点 的 最 短路 径 距 离 6Cs,v) 为 从 结 点 s BAA v 
之 间 所 有 路 径 里 面 最 少 的 边 数 。 如 果 从 结 点 s 到 结 点 v 之 间 没 有 路 径 ， 则 6Cs,v) = ce 。 我 们 称 

597| MÆR 到 结 点 " 的 长 度 为 6(s,v) 的 路 径 为 ;到 w 的 最 短路 径 ” 。 在 证 明 广 度 优先 搜索 可 以 正确 
计算 出 最 短路 径 距 离 之 前 ， 我 们 先 来 讨论 最 短路 径 距 离 的 一 个 重要 性 质 。 

引 理 22. 1 42 G= (V,E) ，G 为 一 个 有 向 图 或 无 向 图 ， 设 sSEV 为 任意 结 点 ， 则 对 于 任意 
lu, EE, 6(s, Gs, w) +1, 

证 明 如果 结 点 是 可 以 从 源 结 点 s 到 达 的 结 点 ， 则 wv 也 是 从 s 可 以 到 达 的 结 点 。 在 这 种 情 
wF, MIRAA s 到 结 点 的 最 短路 径 距 离 不 可 能 比 从 s Blu 的 最 短路 径 距 离 加 上 边 (u，) 更 长 ， 
因此 ， 上 述 不 等 式 成 立 。 如 果 结 点 u NREM s 到 达 ， 则 O(ssu) =O, 不 等 式 显 然 成 立 。 = 

我 们 现在 来 证 明 BFS 能 够 正确 计算 出 每 个 结 点 vEY 的 vd = 6(s,v) 。 首 先 证 明 v d 是 
O(s,v) 的 一 个 上 界 。 

引 理 22.2 设 G==(V,E) 为 一 个 有 向 图 或 无 向 图 ， 假 定 BFS 以 给 定 结 点 SEV 作为 源 结 点 在 
图 G 上 运行 。 那 么 在 BFS 终结 时 ， 对 于 每 个 结 点 vEV，BFS 所 计算 出 的 vd 满足 v.d > 
O(s,v) 。 . 

证 明 我们 通过 对 算法 里 面 ENQUEUE 操作 的 次 数 进行 归纳 来 证 明 本 引 理 。 我 们 的 归纳 假 
RE: 对 于 所 有 的 结 点 VEV, vud >l, v). 
归纳 的 基础 是 BFS 在 第 9 行将 源 结 点 ;加 入 队列 Q 后 的 场景 。 此 时 ， 因 为 s d= 二 0==6(s，s)， 
并 且 对 于 所 有 的 结 点 v EV 一 {s) ,ud=~OL>Msv) ， 所 以 归纳 假设 成 立 。 
对 于 归纳 步 ， 考 虑 从 结 点 u 进行 邻接 链表 搜索 时 所 发 现 的 白色 结 点 v。 根 据 归纳 假设 ， 有 
u.d > 6(s,u) 。 从 算法 第 15 行 的 赋值 操作 和 引 理 22. 1 可 知 ， 
v. d = u.d +1 之 6(s,w) 十 1 之 6(s,v) 
结 点 v 在 这 之 后 被 加 入 到 队列 Q@ 里 ， 并 且 因 为 v 在 人 队 时 涂 上 灰色 而 不 会 再 次 人 队 ， 因 此 ， 第 
14~17 行 的 then 子 句 仅 在 白色 结 点 上 执行 。 所 以 ，w. a 的 值 不 再 会 发 生变 化 ， 我 们 的 归纳 假设 
成 立 。 E 
要 证 明 v. d = 6(s,v) ， 首 先 需 要 更 加 精确 地 研究 队列 Q 在 BFS 过 程 中 是 如 何 操作 的 。 下 面 
的 引 理 将 证 明 在 任意 时 刻 ， 队 列 里 面 最 多 包含 两 个 不 同 的 & 值 。 


O 在 第 24 章 和 第 25 mH, 我 们 将 把 对 最 短路 径 的 研究 推广 到 权重 图 上 。 在 权重 图 里 ， 每 条 边 都 有 一 个 实数 权重 ， 
一 条 路 径 的 权重 是 组 成 该 路 径 的 所 有 边 的 权重 之 和 。 本 章 所 讨论 的 图 为 无 权重 图 ， 即 所 有 边 的 权重 为 单位 权重 。 
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引 理 22.3 假定 BFS 在 图 GG 二 (V,E) 上 运行 的 过 程 中 ， 队 列 Q 包含 的 结 点 为 《vi ，vs，，…， 
u), ZE u 是 队列 QQ 的 头 ， 也 ZRAQHA. RA ud Ku. dtl, FAAF i=l, 2, -, 
r—1, v. dui. do 

证 明 ”我 们 仍然 通过 对 算法 里 面 人 队 操作 的 次 数 进行 归纳 来 证 明 本 引 理 。 在 初始 情况 下 ， 
队列 Q@ 里 仅 包 含 源 结 点 ;， 引 理 直 接 成 立 。 

对 于 归纳 步 ， 我 们 必须 证 明 在 人 队 和 出 队 操作 时 ， 引 理 都 成 立 。 如 果 头 结 点 wv 被 删除 ，ws 
将 变 为 队列 里 新 的 头 结 点 (如 果 队 列 在 删除 头 结 点 后 为 空 ， 则 引 理 直接 成 立 ) 。 根 据 归 纳 假设 ， 我 
们 有 v,.d<v,.d, BÆRE v,.d<u.dtli<y.d+1, HREFHASRASHM. Alt, £ 
v 为 头 结 点 时 引 理 依然 成 立 。 

为 了 理解 在 将 一 个 结 点 加 入 队列 时 发 生 了 什么 事情 ， 我 们 需要 对 算法 进行 更 加 细致 的 检 
查 。 在 算法 的 第 17 行 将 结 点 v 加 入 队列 Q 时 ， 该 结 点 成 为 结 点 wHl。 在 这 个 时 候 ， 我 们 已 经 删 
除了 结 点 x， 并 正在 对 该 结 点 的 邻接 链表 进行 检查 。 根 据 归 纳 假设 ， 新 的 头 结 点 vw 满足 w. d 
ud, Al, vi,.d=vud=udtlixv,.dt+l., RRIAAAR., 我 们 还 有 v.du. d+1, Ak, 
vu. du. d+1=v. d 二 v1. d， 余 下 的 不 等 式 不 受 影响 。 因 此 ， 当 结 点 vv 加 入 队列 时 引 理 仍然 
成 立 。 rs 

下 面 的 推论 表明 ， 在 结 点 加 入 到 队列 时 ，4 值 随 时 间 推 移 单调 增长 。 

推论 22.4 ”假定 在 执行 BFS 时 ， 结 点 了 和 结 点 都 加 入 到 队列 Q@ 里 ， 并且 wv 在 v; WHA 
队 ， 则 在 u 入 队 时 ， 我 们 有 v; dY. do 

证 明 根据 引 理 22.3， 以 及 每 个 结 点 获得 的 4 值 都 是 有 限 的 且 BFS 过 程 中 最 多 只 取 一 次 d 
值 的 性 质 ， 可 以 立即 得 到 推论 22. 4。 E 

我 们 现在 可 以 来 证 明 广 度 优 先 搜索 算法 能 够 正确 计算 出 最 短路 径 距 离 。 

定理 22.5( 广 度 优先 搜索 的 正确 性 ) 设 G= (V,E) 为 一 个 有 向 图 或 无 向 图 ， 又 假设 BFS 以 
5 为 源 结 点 在 图 G 上 运行 。 那 么 在 算法 执行 过 程 中 ，BFS 将 发 现 从 源 结 点 了 可 以 到 达 的 所 有 结 
点 vuEV， 并 在 算法 终止 时 ， 对 于 所 有 的 vE€EV, vd 二 6(s,v) 。 而 且 ， 对 于 任意 可 以 从 s 到达 的 
结 点 v 了 3， 从 源 结 点 s 到 结 点 ov 的 其 中 一 条 最 短路 径 为 从 结 点 5s 到 结 点 v.x 的 最 短路 径 再 加 上 
(vu. nr, UV). 

证 明 我们 使 用 反 证 法 来 证 明 本 定理， 假定 某 些 结 点 获取 的 4 值 并 不 等 于 其 最 短路 径 距 离 。 
设 "为 这 样 一 个 结 点 ， 则 其 最 短路 径 距 离 为 6(s,v) ， 而 其 所 取得 的 4 值 不 等 于 该 数值 ， 显 然 
os, WBHES|HH22.2,ud>KXs,v., BEE vd >lo) o Bb, BHR v 必定 是 从 s 可 以 到 达 
的 ， 因 为 如 果 不 是 这 样 ， 则 将 出 现 6(s,v) =od. Wu 为 从 源 结 点 * 到 结 点 的 最 短路 径 上 
Ae vv 的 直接 前 驱 结 点 ， 则 6Cs,v) = 6Cs,w) 十 1 。 因 为 SGsx) <<8Gs oo) ， 并 且 因 为 我 们 对 结 点 v 
的 选择 ， 所 以 有 u. d= 二 6(s，w)。 将 这 些 分 析 合 并 起 来 有 : 

vd > 6(s,v) = lsu) +l =u d+1 (22.1) 
我 们 现在 来 考虑 BFS 选择 将 结 点 立 从 队列 Q 里 取出 的 时 间 ( 第 11 行 )。 在 这 个 时 候 ， 结 点 vv 可 以 
是 任何 颜色 。 而 我 们 将 证 明 ， 在 每 种 情况 下 ( 即 不 管 v 是 何 种 颜色 的 结 点 )， 我 们 都 将 导出 与 不 等 
式 (22. DF ERRE. WR wv 是 白色 结 点 ， 则 算法 的 第 15 行将 设置 v. d= 二 =u. d 十 1， 这 与 不 等 式 
(22.1) 矛 盾 。 如 果 wv 是 黑色 ， 则 该 结 点 已 经 从 队列 里 删除 ， 根 据 推论 22. 4， 我 们 有 vw d<ud, 
再 次 与 不 等 式 (22. 1) 了 矛盾。 如果 v 是 灰色 ， 则 wv 是 在 某 个 结 点 w 出 队 时 被 涂 上 灰色 的 ， 而 结 点 w 
FEA Ru 之 前 出 队 ， 并 且 wv. d= 二 w. qd 十 1。 根 据 推论 22.4, wd<ud, AWA vw.d==w. d 十 1 声 
u. d 十 1， 这 再 次 与 不 等 式 (22. 1) 相 矛盾 。 

因此 ， 我 们 得 出 结论 ， 对 于 所 有 的 vEV, wd 二 6(s,v) 。 所 有 从 s 可 以 到 达 的 结 点 v 都 必定 
被 发 现 ， 否 则 将 有 =v dq 二 6(s,v) 。 而 要 获得 最 终 的 结论 ， 只 要 注意 到 如 果 v nru, Mov. d= 
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4. d 十 1。 因 此 ， 通 过 将 从 源 结 点 s 到 结 点 v. x 的 最 短路 径 加 上 边 (v. x，v)， 我 们 即 可 以 获得 从 源 
4m sa» 的 最 短路 径 。 = 
广度 优先 树 。 

过 程 BFS 在 对 图 进行 搜索 的 过 程 中 将 创建 一 棵 广度 优先 树 ， 如 图 22-3 所 示 。 该 棵 树 对 应 的 
是 x 属性 。 更 形式 化 地 说 ， 对 于 图 G= VE) 和 源 结 点 *， 我 们 定义 图 G 的 前 驱 子 图 为 G, = 
(Voo E), HPV,={(vEV: v. rÆNIL}U {s}, E={(v.x, v): vEV,—{s)}, 

如 果 V, 由 从 源 结 点 s 可 以 到 达 的 结 点 组 成 ， 并 且 对 于 所 有 的 vEV.， 子 图 G 包含 一 条 从 源 
Zam s 到 结 点 v 的 唯一 简单 路 径 ， 且 该 路 径 也 是 图 C 里 面 从 源 结 点 * 到 结 点 wv 之 间 的 一 条 最 短路 
径 ， 则 前 驱 子 图 G 是 一 棵 广度 优先 树 。 广 度 优先 树 实际 上 就 是 一 棵 树 ， 因 为 它 是 连通 的 ， 并 且 
|E, |= |V, | 一 1( 请 参阅 本 书 的 定理 B. 2) 。 我 们 称 E, 中 的 边 为 树 边 。 

下 面 的 引 理 表明 BFS 过 程 所 生成 的 前 驱 子 图 是 一 棵 广度 优先 树 。 

引 理 22.6 当 运 行 在 一 个 有 向 或 无 向 图 G 二 (V,E) it, BFS 过 程 所 建造 出 来 的 x 属性 使 
FWT E G =V, ENDRA- -R ERAR. 

证 明 BFS 在 第 16 行 设置 v.x=w 当 且 仅 当 (u,v) EE 并 且 6(s,v) 二 oo ， 即 如 果 结 点 wv 可 
以 从 源 结 点 s BA, V, 由 从 源 结 点 s 可 以 到 达 的 V 集合 里 面 的 结 点 所 组 成 。 由 于 G 形成 一 棵 树 ， 
根据 定理 B. 2， 该 树 包含 从 源 结 点 s BV, 集合 里 每 个 结 点 的 一 条 唯一 简单 路 径 。 通 过 递归 应 用 
定理 22. 5， 我 们 可 以 获得 每 条 这 样 的 路 径 也 是 图 G 里面 的 一 条 最 短路 径 。 m 

下 面 的 伪 代 码 将 打印 出 从 源 结 点 s 到 结 点 的 一 条 最 短路 径 上 的 所 有 结 点 ， 这 里 假定 BFS 已 
经 计算 出 一 棵 广度 优先 树 。 | 


PRINT-PATH(G, s,v) 

1 ifv==s 

2 print s 

3 elseif v. c== NIL 

4 print “no path from” s “to” v “exists” 
5 else PRINT-PATH(G, s, v. 7) 

6 


print v 


因为 每 次 递归 调用 时 的 路 径 都 比 前 一 次 调用 中 的 路 径 少 一 个 结 点 ， 所 以 该 过 程 的 运行 时 间 
是 关于 所 输出 路 径 上 顶点 数 的 一 个 线性 函数 。 


练习 


22.2-1 请 计算 出 在 有 向 图 22-2C(a) 上 运行 广度 优先 搜索 算法 后 的 d 值 和 7 值 。 这 里 假定 结 点 3 
为 算法 所 用 的 源 结 点 。 

22.2-2 请 计算 出 在 图 22-3 所 示 无 向 图 上 运行 广度 优先 搜索 算法 后 的 4 值 和 x 值 。 这 里 假定 结 点 
u 为 算法 所 用 的 源 结 点 。 

22. 2-3 证 明 : 使 用 单个 位 来 存放 每 个 结 点 的 颜色 即 可 。 这 个 论点 可 以 通过 证 明 将 算法 第 18 行 
的 伪 代 码 删 除 后 ，BFS 过 程 生成 的 结果 不 变 来 得 到 。 

22.2-4 ”如 果 将 输入 的 图 用 邻接 矩阵 来 表示 ， 并 修改 算法 来 应 对 此 种 形式 的 输入 ， 请 问 BFS 的 运 
行 时 间 将 是 多 少 ? 

22.2-5 证明: 在 广度 优先 搜索 算法 里 ， 赋 给 结 点 x Wu. a 值 与 结 点 在 邻接 链表 里 出 现 的 次 序 无 
关 。 使 用 图 22-3 作为 例子 ， 证 明 :， BFS 所 计算 出 的 广度 优先 树 可 以 因 邻 接 链 表 中 的 次 
序 不 同 而 不 同 。 

22.2-6 举 出 一 个 有 向 图 G 二 (V，E) 的 例子 ， 对 于 源 结 点 SCV 和 一 组 树 边 正 .S 开 ， 使 得 对 于 每 
MES vEV， 图 (V，E) 中 从 源 结 点 s 到 结 点 v 的 唯一 简单 路 径 也 是 图 G 中 的 一 条 最 短 
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路 径 ， 但 是 ， 不 管 邻接 链表 里 结 点 之 阅 的 次 序 如 何 ， 边 集 E, 都 不 能 通过 在 图 G 上 运行 
BFS 来 获得 。 

22.2-7 职业 摔跤 手 可 以 分 为 两 种 类 型 :“ 娃 娃 脸 ”“ 好 人”) 型 和 “高 跟 鞋 ”坏人 ”) 型 。 在 任意 一 
对 职业 摔跤 手 之 间 都 有 可 能 存在 竞争 关系 。 假 定 有 ?7 个 职业 摔跤 手 ， 并 且 有 一 个 给 出 竞 
争 关系 的 > 对 摔跤 手 的 链表 。 请 给 出 一 个 时 间 为 O(n 十 7) 的 算法 来 判断 是 否 可 以 将 某 些 
摔跤 手 划 分 为 “娃娃 脸型 ， 而 剩 下 的 划分 为 "高跟鞋 型 ， 使 得 所 有 的 竞争 关系 均 只 存在 
于 娃娃 脸型 和 高 跟 鞋 型 选手 之 间 。 如 果 可 以 进行 这 种 划分 ， 则 算法 还 应 当 生成 一 种 这 样 
的 划分 。 

*22. 2-8 我 们 将 一 棵 树 T=(V, FF) 的 直径 定义 为 max,,,evo (uy ü); 也 就 是 说 ， 树 中 所 有 最 短路 

径 距 离 的 最 大 值 即 为 树 的 直径 。 请 给 出 一 个 有 效 算法 来 计算 树 的 直径 ， 并 分 析 算 法 的 运 
行 时 间 。 

22.2-9 设 G 王 (V, 尼 ) 为 一 个 连通 无 回 图 。 请 给 出 一 个 OCV 十 E) 时 间 的 算法 来 计算 图 G 中 的 一 
条 这 样 的 路 径 : 该 路 径 正 反 疝 通过 EE 中 每 条 边 恰 好 一 次 (该 路 径 通过 每 条 边 两 次 ， 但 这 
两 次 的 方向 相反 )。 如 果 给 你 大 量 的 分 币 作 为 奖励 ， 请 描述 如 何在 迷宫 中 找 出 一 条 路 。 [602 


22.3 深度 优先 搜索 


深度 优先 搜索 所 使 用 的 策略 就 像 其 名 字 所 隐 含 的 只 要 可 能 ， 就 在 图 中 尽量 “深入 ”。 深 度 优 
先 搜索 总 是 对 最 近 才 发 现 的 结 点 v 的 出 发 边 进 行 探索 ， 直 到 该 结 点 的 所 有 出 发 边 都 被 发 现 为 止 。 
一 旦 结 点 v 的 所 有 出 发 边 都 被 发 现 ， 搜 索 则 “回溯 ”到 wv 的 前 驱 结 点 (w 是 经 过 该 结 点 才 被 发 现 
的 )， 来 搜索 该 前 驱 结 点 的 出 发 边 。 该 过 程 一 直 持 续 到 从 源 结 点 可 以 达到 的 所 有 结 点 都 被 发 现 为 
止 。 如 果 还 存在 尚未 发 现 的 结 点 ， 则 深度 优先 搜索 将 从 这 些 未 被 发 现 的 结 点 中 任 选 一 个 作为 新 
的 源 结 点 ， 并 重复 同样 的 搜索 过 程 。 该 算法 重复 整个 过 程 ， 直 到 图 中 的 所 有 结 点 都 被 发 现 
为 止 。 

像 广度 优先 搜索 一 样 ， 在 对 已 被 发 现 的 结 点 x 的 邻接 链表 进行 扫描 时 ， 每 当 发 现 一 个 结 点 v 
时 ， 深 度 优先 搜索 算法 将 对 这 个 事件 进行 记录 ， 将 v 的 前 驱 属性 v. x 设置 为 uw。 不 过 ,与 广度 优 
先 搜索 不 同 的 是 ， 广 度 优先 搜索 的 前 驱 子 图 形成 一 棵 树 ， 而 深度 优先 搜索 的 前 驱 子 图 可 能 由 多 
棵 树 组 成 ， 因 为 搜索 可 能 从 多 个 源 结 点 重复 进行 。 因 此 ， 我 们 给 深度 优先 搜索 的 前 驱 子 图 所 下 的 
定义 与 对 广度 优先 搜索 前 驱 子 图 所 下 的 定义 略 有 不 同 : RE G, =V, E), H E, = {C m, 
v): veV H v. x 了 NIL})。 深 度 优 先 搜索 的 前 驱 子 图 形成 一 个 由 多 棵 深度 优先 树 构 成 的 深度 优先 
ARM. BRAK E 中 的 边 仍 然 称 为 树 边 。 

像 广度 优先 搜索 算法 一 样 ， 深 度 优先 搜索 算法 在 搜索 过 程 中 也 是 对 结 点 进行 涂 色 来 指明 结 
点 的 状态 。 每 个 结 点 的 初始 颜色 都 是 白色 ， 在 结 点 被 发 现 后 变 为 灰色 ， 在 其 邻接 链表 被 扫描 完成 
后 变 为 黑色 。 该 方法 可 以 保证 每 个 结 点 仅 在 一 棵 深度 优先 树 中 出 现 ， 因 此 ， 所 有 的 深度 优先 树 是 
不 相交 的 (disjoint) 。 

除了 创建 一 个 深度 优先 搜索 和 森林 外 ， 深 度 优先 搜索 算法 还 在 每 个 结 点 盖 上 一 个 时 间 惟 。 每 
个 结 点 忌 有 两 个 时 间 惟 : 第 一 个 时 间 惟 wd 记录 结 点 v 第 一 次 被 发 现 的 时 间 ( 涂 上 灰色 的 时 候 )， 
第 二 个 时 间 惟 wv. f 记录 的 是 搜索 完成 对 v 的 邻接 链表 扫描 的 时 间 ( 涂 上 黑色 的 时 候 )。 这 些 时 间 截 [ 


O 也许 看 上 去 有 点 随意 ， 在 讨论 广度 优先 搜索 算法 时 ， 我 们 将 源 结 点 的 数量 限制 为 一 个 ， 而 深度 优先 搜索 则 可 以 
有 多 个 源 结 点 。 虽 然 从 概念 上 看 ， 广 度 优先 搜索 可 以 从 多 个 源 结 点 开始 搜索 ， 深 度 优先 搜索 也 可 以 限制 为 从 一 
个 源 结 点 开始 ， 但 本 书 所 采取 的 方法 所 反映 的 是 这 些 搜索 结果 是 如 何 被 使 用 的 。 广 度 优先 搜索 通常 用 来 寻找 从 
特定 源 结 点 出 发 的 最 短路 径 距 离 ( 及 其 相关 的 前 驱 子 图 )， 而 深度 优先 搜索 则 常常 作为 另 一 个 算法 里 的 一 个 子 程 
序 ， 我 们 将 在 本 章 后 面 的 时 候 看 到 这 点 。 
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提供 了 图 结构 的 重要 信息 ， 通 常 能 够 帮助 推断 深度 优先 搜索 算法 的 行为 。 
下 面 的 深度 优先 搜索 算法 的 伪 代 码 将 其 发 现 结 点 的 时 刻 记 录 在 属性 u. 4 中 ， 将 其 完成 对 结 
点 入 处理 的 时 刻 记录 在 属性 u. f 中 。 因 为 |V| 个 结 点 中 每 个 结 点 只 能 有 一 个 发 现 事 件 和 一 个 完 
事件 ， 所 以 这 些 时 间 戳 都 是 处 于 1 和 2|V | 之 间 的 整数 。 很 显然 ， 对 于 每 个 结 点 w， 我 们 有 : 
ud<iu. f (22. 2) 
4m u ERZ u. d 之 前 为 白色 ， 在 时 刻 u.d Mu. f 之 间 为 灰色 ， 在 时 刻 u. f 之 后 为 黑色 。 
下 面 的 伪 代 码 给 出 的 是 基本 的 深度 优先 搜索 算法 。 输 入 图 G 既 可 以 是 无 向 图 ， 也 可 以 是 有 
问 图 。 变 量 time 是 一 个 全 局 变量 ， 用 来 计算 时 间 稚 。 
DFS(G) 
1 for each vertex u € G. V 
2 u. color = WHITE 
3 u. x = NIL 
4 time = 0 
5 for each vertex u € G. V 
6 if u. color == WHITE 
7 DFS-VISIT(G, w) 


DFS-VISIT(G, u) 


1 time = time + 1 // white vertex u has just been discovered 
2 u.d = time 

3 u.color = GRAY 

4 for each v € G:Adj[u] // explore edge (u, v) 

5 if v. color == WHITE 

6 Ut =U 

7 DFS-VISIT(G, v) 

8 u.color = BLACK // blacken u; it is finished 

9 time = time + 1 


10 u.f = time 


图 22-4 描述 的 是 深度 优先 搜索 算法 在 图 22-2 上 运行 的 过 程 。 

DFS 的 运行 过 程 如 下 。 第 1 一 3 行将 所 有 的 结 点 涂 成 白色 ， 将 所 有 结 点 的 r 属 性 设置 为 NIL。 
第 4 行将 全 局 时 间 计 数 器 进行 复位 。 第 5 一 ?7 行 依次 对 每 个 结 点 进行 检查 。 当 一 个 白色 结 点 被 发 
现时 ， 则 使 用 DFS-VISIT 对 结 点 进行 访问 。 每 次 在 算法 第 7 行 调用 DFS-VISIT(G， wj, Au 
便 成 为 深度 优先 森林 中 一 棵 新 的 深度 优先 树 的 根 结 点 。 当 DFS 算 法 返回 时 ， 每 个 结 点 都 已 经 
被 赋予 一 个 发 现时 间 u. d 和 一 个 完成 时 间 u. f。 

在 每 次 对 DFS-VISIT(G，zw) 的 调用 中 ， 结 点 的 初始 颜色 都 是 日 色 。 算 法 的 第 1 行将 全 局 
变量 time 的 值 进行 递增 , 第 2 行将 time 的 新 值 记录 为 发 现时 间 . 4， 第 3 行将 结 点 涂 上 灰色 。 
第 4 一 7 AMAR 的 每 个 邻接 结 点 v 进行 检查 ， 并 在 v 是 白色 的 情况 下 递归 访问 结 点 v。 随 着 每 
个 结 点 v€ Aqdj[Luj 在 第 4 行 被 考虑 ， 我 们 说 深度 优先 搜索 算法 已 经 探索 了 边 (u，v)。 最 后 ， 在 从 
iu 发 出 的 每 条 边 都 被 探索 后 ， 算 法 的 第 8 一 10 行将 结 点 2 涂 上 黑色 ， 对 变量 time 的 值 进行 
递增 ， 并 将 完成 时 间 记 录 在 属性 wx. fP. 

注意 ， 深 度 优 先 搜 索 的 结果 可 能 依赖 于 算法 DFS 中 第 5 行 对 结 点 进行 检查 的 次 序 和 算法 
DFS-VISIT 的 第 4 行 对 一 个 结 点 的 邻接 结 点 进行 访问 的 次 序 。 不 过 ， 这 些 不 同 的 访问 次 序 在 实际 
中 并 不 会 导致 问题 ， 因 为 我 们 通常 可 以 对 任意 的 深度 优先 搜索 结果 加 以 有 效 利用 ， 并 获得 等 价 
的 结果 。 
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图 22-4 ”深度 优先 搜索 算法 DFS 在 有 向 图 上 的 运行 过 程 。 随 着 算法 对 边 的 探索 的 推进 ， 这 些 边 或 者 恋 
成 有 阴影 的 边 ( 如 果 它 们 是 树 边 ) ， 或 者 变 为 虚线 边 ( 其 他 情况 ) 。 非 树 边 则 根据 其 为 后 向 (back) 
边 、 横 向 (cross) 边 或 前 向 (forward) 边 而 分 别 标记 为 B、C 或 上 。 结 点 中 的 时 间 惟 表明 该 结 点 的 
发 现时 间 和 完成 时 间 


DFS 的 运行 时 间 是 多 少 ? 如 果 排 除 调用 DFS-VISIT 的 时 间 ， 第 1 一 3 行 的 循环 和 第 5 一 ?7 行 的 
循环 所 需 的 时 间 为 B(V) 。 就 像 对 竺 广度 优先 搜索 算法 一 样 ， 我 们 在 这 里 也 使 用 聚合 分 析 。 对 每 
个 结 点 vEVY 来 说 ，DFS-VISIT 被 调用 的 次 数 刚好 为 一 次 ， 这 是 因为 在 对 一 个 结 点 x 调用 DFS 
VISIT 时 ， 该 结 点 u 必须 是 白色 ， 而 DFS-VISIT 所 做 的 第 一 件 事情 就 是 将 结 点 xx 涂 上 灰色 。 在 
执行 DFS-VISIT(G，w) 的 过 程 中 ， 算 法 第 4 一 ?7 行 的 循环 所 执行 的 次 数 为 |Adj[z]| 。 由 于 


>) |Adjlv]| = @CE) ， 执 行 DFSVISIT 第 4~7 行 操作 的 总 成 本 是 B(E) 。 因 此 ， 深 度 优先 搜索 


算法 的 运行 时 间 为 @(V 十 E)。 

深度 优先 搜索 的 性 质 

深度 优先 搜索 提供 的 是 关于 图 结构 的 价值 很 高 的 信息 。 也 许 深 度 优先 搜索 最 基本 的 性 质 是 ， 
其 生成 的 前 驱 子 图 G 形成 一 个 由 多 棵 树 所 构成 的 和 森林， 这 是 因为 深度 优先 树 的 结构 与 DFS- 
VISIT 的 递归 调用 结构 完全 对 应 。 也 就 是 说 ，《 二 vx 当 且 仅 当 DFS-VISIT(G，wv 在 算法 对 结 点 汉 
的 邻接 链表 进行 搜索 时 被 调用 。 此 外 ， 结 点 v 是 深度 优先 森林 里 结 点 w HRA RMA o E 
结 点 为 灰色 的 时 间 段 里 被 发 现 。 

深度 优先 搜索 的 另 一 个 重要 性 质 是 ， 结 点 的 发 现时 间 和 完成 时 间 具 有 所 谓 的 括号 化 结构 
(parenthesis structure) 。 如 果 以 左 括号 “(zx” 来 表示 结 点 x 的 发 现 ， 以 右 括 号 “zx)” 来 表示 结 点 2 的 
完成 ， 则 发 现 和 完成 的 历史 记载 形成 一 个 规整 的 表达 式 ， 这 里 “规整 ”的 意思 是 所 有 的 括号 都 适当 
地 舱 套 在 一 起 。 例 如 ， 对 图 22-5(a) 进 行 深度 优先 搜索 所 对 应 的 括号 化 结构 如 图 22-5(b) 所 示 。 下 
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面 的 定理 提供 了 另 一 种 对 括号 化 结构 进 和 Die a 
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图 22-5 深度 优先 搜索 的 性 质 。(a) 有 向 图 上 的 深度 优先 搜索 结果 。 与 图 22-4 一 样 ， 每 个 结 点 都 
有 上 自己 的 时 间 惟 ， 边 的 类 型 也 在 图 中 予以 注 明 。(b) 每 个 结 点 的 发 现时 间 和 完成 时 间 所 
构成 的 区 间 对 应 图 中 所 示 的 括号 化 结构 。 每 个 矩形 区 域 横 跨 由 相应 结 点 的 发 现 和 完成 时 
间 所 给 出 的 时 间 区 间 。 图 中 给 出 的 边 都 是 树 边 ( 非 树 边 被 略 去 了 ) 。 如 果 两 个 时 间 区 间 存 
在 重合 ， 则 其 中 一 个 区 间 必 定 完全 守 括 在 另 一 个 区 间 内 部 ， 而 对 应 较 小 区 间 的 结 点 是 对 
应 较 大 区 间 的 结 点 的 后 代 。(c) 对 图 (a) 所 进行 的 重 画 ， 该 图 给 出 了 深度 优先 树 中 所 有 的 
树 边 、 往 下 的 从 祖先 指向 后 代 的 前 向 边 和 往 上 的 从 后 代 指 向 祖先 的 后 向 边 


定理 22. 7( 括 号 化 定理 ) ”在 对 有 向 或 无 向 图 G 二 (V,E) 进行 的 任意 深度 优先 搜索 中 ， 对 于 
任意 两 个 结 点 和 vw 来 说 ， 下 面 三 种 情况 只 有 一 种 成 立 : 

。 区 间 [u. dq，w. f] PEAL vd, v 用 完全 分 离 ， 在 深度 优先 森林 中 ， 结 点 不 是 结 点 的 
后 代 ， 结 点 vv 也 不 是 结 点 的 后 代 。 
区 间 [uc d， u 站 完全 包含 在 区 间 [ 尺 d， 以 站 内， 在 深度 优先 树 中 ， 结 点 4 是 结 点 避 的 
后 代 。 
区 间 [v. d, v f 完 全 包含 在 区 间 [u.d，u. fj 内 ， 在 深度 优先 树 中 ， 结 点 是 结 点 的 
后 代 。 

证 明 我 们 从 u. d<v. d 的 情况 开始 。 在 该 情况 下 ， 根 据 不 等 式 vdu. f 是 否 成 立 又 可 以 
分 为 两 种 子 情况 。 第 一 种 子 情况 是 在 v. du. f RN, BA v 在 结 点 仍然 是 灰色 的 时 候 被 发 
现 ， 这 意味 着 结 点 v 是 结 点 WER. WME, KAAS v EA u 的 后 面 被 发 现 ， 其 所 有 的 出 发 
边 都 已 经 被 探索 完 ， 在 搜索 算法 返回 来 继续 处 理 结 点 x 时， 结 点 v 的 处 理 已 经 完成 。 在 这 种 情况 
F. Kijlvud, v. fj 完全 包含 在 区 间 [Lu. dg, u. f]. ERPAT F, u f<ud, REA F 
式 (22.2)， 我 们 有 ud<u. f<vud<v. f， 因 此 ， 区 间 [u. d, u. {IMKE d, v. 由 是 完全 分 离 
的 ， 没 有 一 个 结 点 是 在 另 一 个 结 点 为 灰色 的 时 候 被 发 现 的 ， 因 此 ， 没 有 一 个 结 点 是 另 一 个 结 点 的 
后 代 。 

对 于 v. du. d 的 情况 ， 证 明 过 程 类 似 ， 只 不 过 将 上 述 证 明 中 的 w 和 w 进行 对 调 即 可 。 a 

推论 22. 8( 后 代 区 间 的 般 套 ) 在 有 向 或 无 向 图 G 的 深度 优先 森林 中 ， 结 点 忌 是 结 点 & 的 真 
ERK A410 3 u. dv. du. fu. f 成立 。 
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证 明 从 定理 22.7 立即 可 得 。 By 

下 面 的 定理 给 出 的 是 在 深度 优先 森林 中 ， 当 一 个 结 点 是 另 一 个 结 点 的 后 代 时 的 另 一 个 重要 

定理 22. 9( 和 白色 路 径 定理 ) ”在 有 向 或 无 向 图 G 二 (V,E) 的 深度 优先 森林 中 ， 结 点 也是 结 点 2 
的 后 代 当 且 仅 当 在 发 现 结 点 取 的 时 间 xz.d， 存 在 一 条 从 结 点 & 到 结 点 卫 的 全 部 由 白色 结 点 所 构成 
的 路 径 。 

证 明 >: 如 果 vu, WAR 到 结 点 wv 的 路 径 仅 包含 结 点 uw， 而 该 结 点 在 算法 设置 u a 
的 值 时 仍然 是 白色 的 。 现 在 ,假定 在 深度 优先 森林 中 ， 结 点 v 是 结 点 的 真 后 代 。 根 据 推论 
22.8， 我 们 有 ud<vd, AAA v Æ Z) u.d NARS. AFAR vane 的 任意 后 代 ， 
在 深度 优先 森林 中 ， 从 结 点 u 到 结 点 wv 的 唯一 简单 路 径 上 的 所 有 结 点 在 时 刻 x. d 时 都 是 白色 的 。 

=; 假定 在 时 刻 u. d 时 存在 一 条 从 结 点 到 结 点 wv 的 全 部 由 白色 结 点 组 成 的 路 径 ， 但 结 点 v 
在 深度 优先 树 中 却 不 是 结 点 的 后 代 。 不 失 一 般 性 ， 假 定 从 结 点 u 到 结 点 v 的 路 径 上 除 结 点 v 以 
外 的 每 个 结 点 都 成 为 w 的 后 代 ( 否 则 ， 可 设 vv 为 路 径 上 离 结 点 4 最 近 的 没有 成 为 结 点 的 后 代 的 
结 点 )。 设 结 点 包 为 路 径 上 结 点 wv 的 前 驱 ， 使 得 多 是 的 一 个 后 代 ( 事 实 上 wA au 可 能 是 同一 个 
结 点 )。 根 据 推论 22.8， 我 们 有 w feu f。 因 为 结 点 v 必须 在 结 点 被 发 现 之 后 但 在 结 点 也 的 
处 理 完成 之 前 锌 发现 ， 所 以 u. dv. d 二 w. fu. fo 根据 定理 22.7， 区 间 Lwv. d, v fj 完全 包含 在 
区 间 [u. d, u. 及 中。 根据 推论 22. 8， 结 点 v 最 后 必然 成 为 结 点 的 后 代 。 is 

边 的 分 类 

深度 优先 搜索 的 另 一 个 有 趣 的 性 质 是 ， 可 以 通过 搜索 来 对 输入 图 G= (V, E 的 边 进行 分 类 。 
每 条 边 的 类 型 可 以 提供 关于 图 的 重要 信息 。 例 如 ， 在 下 一 节 的 讨论 中 ， 我 们 将 看 到 有 向 图 是 无 环 
图 当 且 仅 当 深度 优先 搜索 不 产生 “后 向 ? 边 ( 引 理 22. 11) 。 

对 于 在 图 G 上 运行 次 度 优先 搜索 算法 所 生成 的 次 度 优 先 森 林 C.， 我 们 可 以 定义 4 种 边 的 
类 型 

1. Bhd: 为 深度 优先 森林 G, 中 的 边 。 如 果 结 点 v 是 因 算 法 对 边 (u，w) 的 探索 而 首先 被 发 
现 ， Mij Cu, 2) 是 一 条 树 边 。 

2. 后 向 边 : And, VÆRA A u 连接 到 其 在 深度 优先 树 中 (一 个 ) 祖 先 结 点 wv 的 边 。 由 
于 有 向 图 中 可 以 有 自 循环 ， 自 循环 也 被 认为 是 后 向 边 。 

3. 前 向 边 : 是 将 结 点 连接 到 其 在 次 度 优先 树 中 一 个 后 代 结 点 "的 边 (x，Pv) 。 

4. 横向 边 :; 指 其 他 所 有 的 边 。 这 些 边 可 以 连接 同一 棵 深度 优先 树 中 的 结 点 ， 只 要 其 中 一 个 
结 点 不 是 另外 一 个 结 点 的 祖先 ， 也 可 以 连接 不 同 深 度 优先 树 中 的 两 个 结 点 。 

在 图 22-4 和 图 22-5 中 ， 每 条 边 上 的 标签 标明 了 该 条 边 的 类 型 。 图 22-5(c) 同 时 还 描述 了 如 何 
对 图 22-5(a) 进 行 重 画 ， 以 便 让 所 有 的 树 边 和 前 向 边 都 朝 下 指 ， 而 所 有 的 后 向 边 都 朝 上 指 。 事 实 
上 ,我 们 可 以 将 任何 图 都 重 画 成 这 种 模式 。 

在 遇 到 某 些 边 时 ，DEFS 有 足够 的 信息 来 对 这 些 边 进 行 分 类 。 这 里 的 关键 是 ， 当 第 一 次 探索 
Wu, oN, Am vo 的 颜色 能 够 告诉 我 们 关于 该 条 边 的 一 些 信息 。 

1. BR "为 白色 表明 该 条 边 (x， 切 是 一 条 树 边 。 

2. 结 点 v 为 灰色 表明 该 条 边 (w，v) 是 一 条 后 向 边 。 

3. Rm v 为 黑色 表明 该 条 边 (u，v) 是 一 条 前 向 边 或 横向 边 。 

第 一 种 情况 可 以 从 算法 的 规范 中 立即 推 知 。 对 于 第 二 种 情况 ， 只 要 注意 到 ， 灰 色 结 点 总 是 形成 一 
条 线性 的 后 代 链 ， 这 条 链 对 应 当前 活跃 的 DFS-VISIT 调用 栈 ; 灰色 结 点 的 数量 总 是 比 深度 优先 
森林 中 最 近 被 发 现 的 结 点 的 深度 多 1。 而 算法 对 图 的 探索 总 是 从 深度 最 深 的 灰色 结 点 往 前 推进 ， 
因此 ，( 从 当前 灰色 结 点 ) 通 向 另 一 个 灰色 结 点 的 边 所 到 达 的 是 当前 灰色 结 点 的 祖先 。 第 三 种 情况 
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处 理 的 是 剩 下 的 可 能 性 。 练 习 22. 3-5 将 要 求 读 者 证 明 这 种 情况 下 的 边 (x， 了 在 w d<v. d 时 为 前 
HA, Æ u. d>v. d 时 为 横向 边 。 

在 对 边 进行 分 类 时 ， 无 向 图 可 能 给 我 们 带 来 一 些 模 糊 性 ， 因 为 边 (u，v) 和 边 (vw，w) 实 际 上 是 
同一 条 边 。 在 这 种 情况 下 ， 我 们 将 边 (u，w) 划 分 为 分 类 列表 中 第 一 种 适合 该 边 的 类 型 。 等 价 地 
(请 参阅 练习 22. 3-6)， 我 们 也 可 以 根据 搜索 时 算法 是 先 探索 到 边 (u，wv) 还 是 边 (v，w) 来 进行 
分 类 。 

我 们 现在 来 证 明 ， 在 对 无 向 图 的 深度 优先 搜索 中 ， 从 来 不 会 出 现 前 向 边 和 横向 边 。 

定理 22.10 在 对 无 向 图 G 进 行 深度 优先 搜索 时 ， 每 条 边 要 么 是 树 边 ， 要 么 是 后 向 边 。 

证 明 Ru, 是 G 的 任意 一 条 边 。 不 失 一 般 性 ， 假 定 u. 4 二 v. 4d。 那 么 因为 结 点 v 在 结 点 4 
的 邻接 链表 中 ， 搜 索 算法 将 在 完成 结 点 u 的 处 理 之 前 ( 即 在 结 点 u 是 灰色 的 时 间 段 里 ) 必 定 发 现 和 
完成 对 结 点 v 的 处 理 。 如 果 在 搜索 算法 第 一 次 探索 边 (w，v) 时 ， 其 方向 是 从 结 点 到 结 点 v， 则 结 
A v 在 该 时 刻 之 前 没有 被 发 现 ( 颜 色 为 白色 )， 否 则 ， 搜 索 算 法 将 已 经 从 反方 向 探索 了 这 条 边 。 因 
此 ， 在 这 种 情况 下 ，(x， 妇 成 为 一 条 树 边 。 如 果 搜 索 算 法 第 一 次 探索 边 (x， 世 时 是 从 结 点 v 到 结 点 
& 的 方向 ， 则 (“， 妇 是 一 条 后 向 边 ， 因 为 在 边 (x， 切 被 第 一 次 探索 时 ， 结 点 2 仍然 是 灰色 的 。 w 

在 本 章 后 面 的 小 节 中 ， 我 们 将 看 到 这 些 定理 的 几 种 应 用 。 


练习 


22.3-1 BHiH—*+ 3X3 的 网 格 ， 行 和 列 的 抬头 分 别 标记 为 白色 、 灰 色 和 黑色 。 对 于 每 个 表单 元 
(i1，]7)， 请 指出 在 对 有 疝 图 进行 深度 优先 搜索 的 过 程 中 ， 是 否 可 能 存在 一 条 边 ， 连 接 -- 
个 颜色 为 i 的 结 点 和 一 个 颜色 为 ; 的 结 D 
点 。 对 于 每 种 可 能 的 边 ， 指 明 该 种 边 的 
类 型 。 另 外 ， 请 针对 无 向 图 的 深度 优先 
搜索 再 制作 一 张 这 样 的 网 格 。 

22. 3-2 给 出 深度 优先 搜索 算法 在 图 22-6 上 的 运 
5 一 7 行 的 for 循环 是 以 字母 表 顺 序 依 次 ”图 22-6 用 于 练习 22. 3-2 和 22. 5-2 的 有 向 图 
处 理 每 个 结 点 ， 并 假定 每 条 邻接 链表 缘 以 字母 表 顺 序 对 里 面 的 结 点 进行 了 排序 。 请 给 出 
每 个 结 点 的 发 现时 间 和 完成 时 间 ， 并 给 出 每 条 边 的 分 类 。 

22.3-3 给 出 图 22-4 的 深度 优先 搜索 的 括号 化 结构 。 

22.3-4 证明: 使 用 单个 位 来 存放 每 个 结 点 的 颜色 已 经 足够 。 这 一 点 可 以 通过 证 明 如 下 事实 来 得 
到 : 如 果 将 DFS VISIT 的 第 2 行 删 除 ，DFS 给 出 的 结果 相同 。 

22.3-5 WEHA (u, vÆ: 
3a. 树 边 或 前 向 边 当 且 仅 当 x du. du. f<u. f. 
b. 后 向 边 当 且 仪 当 vw. du. du. fXv. f. 
c. 横向 边 当 且 仅 当 v. du. fu. du. f. 

22.3-6 证明; 在 无 问 图 中 ， 根 据 深 度 优先 搜索 算法 是 先 探索 (u，wv) 还 是 先 探索 (vw，w) 来 将 边 
(uw， 马 分 类 为 树 边 或 者 后 向 边 ， 与 根据 分 类 列表 中 的 4 种 类 型 的 次 序 进行 分 类 是 等 价 的 。 

22.3-7 请 重 写 DFS 算 法 的 伪 代 码 ， 以 便 使 用 栈 来 消除 递归 调用 。 

22. 3-8 ”请 给 出 如 下 猜想 的 一 个 反例 ,如果 有 向 图 G 包 含 一 条 从 结 点 到 结 点 v 的 路 径 ， 并 且 在 对 图 
G 进行 深度 优先 搜索 时 有 ud 二 v. 4， 则 结 点 v 是 结 点 在 深度 优先 森林 中 的 一 个 后 代 。 

22. 3-9 请 给 出 如 下 猜想 的 一 个 反例 如 果 有 向 图 G 包含 一 条 从 结 点 到 结 点 v 的 路 径 ， 则 任何 
对 图 G 的 深度 优先 搜索 都 将 导致 v. du. f. 





22. 3-10 


22. 3-11 


22. 3-12 


*22. 3-13 
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修改 深度 优先 搜索 的 伪 代 码 ， 让 其 打印 出 有 向 图 G 的 每 条 边 及 其 分 类 。 并 指出 ， 如 果 
图 C 是 无 向 图 ， 要 进行 何 种 修改 才能 达到 相同 的 效果 。 

请 解释 有 向 图 的 一 个 结 点 怎样 才能 成 为 深度 优先 树 中 的 唯一 结 点 ， 即 使 结 点 Tel 
有 入 边 和 出 边 。 

证 明 : 我 们 可 以 在 无 向 图 G 上 使 用 深度 优先 搜索 来 获得 图 G 的 连通 分 量 ， 并 且 深 度 优 
先 森 林 所 包含 的 树 的 棵 数 与 G 的 连通 分 量 数 量 相同 。 更 准确 地 说 ， 请 给 出 如 何 修改 深 
度 优先 搜索 来 让 其 给 每 个 结 点 赋予 一 个 介 于 1 和 & 之 间 的 整数 值 v. cc, KE kG 的 
连通 分 量 数 ， 使 得 u cov. cc 当 且 仅 当 结 点 上 和 结 点 v 处 于 同一 个 连通 分 量 中 。 

对 于 有 向 图 G = (VE) 来 说 ， 如 果 wu~2v 意味 着 图 G 至 多 包含 一 条 从 * 到 wv 的 简单 路 
径 ， 则 图 C 是 单 连通 图 (singly connected) 。 请 给 出 一 个 有 效 算 法 来 判断 一 个 有 向 图 是 
否 是 单 连通 图 。 


22.4 振 扑 排序 


本 节 阐 述 如 何 使 用 深度 优先 搜索 来 对 有 向 无 环 图 进行 拓扑 排序 。 对 于 一 个 有 向 无 环 图 G = 
(V,E) 来 说 ， 其 拓扑 排序 是 G 中 所 有 结 点 的 一 种 线性 次 序 ， 该 次 序 满足 如 下 条 件 : 如 果 图 G 包 
Alu, o), WA u 在 拓扑 排序 中 处 于 结 点 o 的 前 面 (如 果 图 G 包含 环 路 ， 划 不 可 能 排出 一 个 
线性 次 序 ) 。 可 以 将 图 的 拓扑 排序 看 做 是 将 图 的 所 有 结 点 在 一 条 水 平 线 上 排 开 ， 图 的 所 有 有 向 边 
都 从 左 指向 右 。 因 此 ， 拓 扑 排 序 与 本 书 第 二 部 分 所 讨论 的 通常 意义 上 的 “排序 ”是 不 同 的 。 

许多 实际 应 用 都 需要 使 用 有 向 无 环 图 来 指明 事件 的 优先 次 序 。 图 22-7 描述 的 是 Bumstead 教 
授 每 天 早上 起 床 穿 衣 所 发 生 的 事件 的 次 序 图 。 教 授 必 须 先 穿 某 些 衣服 ， 才 能 再 穿 其 他 衣服 (如 先 
穿 袜 子 后 才能 再 穿 鞋 ) 。 有 些 服饰 则 可 以 以 任意 顺序 穿 上 (如 袜子 和 裤子 之 间 可 以 以 任意 次 序 进 
GER). ER 22-7(a) 所 示 的 有 向 无 环 图 中 ， 有 向 边 (x， 攻 表明 服装 “必须 在 服装 v SHEL. 
对 该 有 向 无 环 图 进行 拓扑 排序 所 获得 的 就 是 一 种 合理 穿 衣 的 次 序 。 图 22-7(b) 将 拓扑 排序 后 的 有 
向 无 环 图 在 一 条 水 平 线 上 展示 出 来 ， 在 该 水 平 线 上 ， 所 有 的 有 向 边 都 从 左 指向 右 。 





袜子 ) CAR DOTE) GED Ge 
17/18 11/16 12/15 13/14 9/10 /8 


1/16 RR ， HF) 17/18 





12/15 ( 裤子， 条) 13/14 



















(b) 


图 22-7 (a)Bumstead 教授 对 自己 每 天 早上 的 穿 衣 进 行 的 拓扑 排序 。 每 条 有 向 边 (u，wv) 表 明 服 


ie u 必须 在 服装 v 之 前 穿 上 。 深 度 优先 搜索 的 发 现时 间 和 完成 时 间 注 明 在 每 个 结 点 旁 
边 。(b) 以 拓扑 排序 展示 的 同一 个 图 ， 所 有 的 结 点 按照 其 完成 时 间 的 逆序 被 排 成 从 左 
至 右 的 一 条 水 平 线 。 所 有 的 有 向 边 都 从 左 指向 右 
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下 面 的 简单 算法 可 以 对 一 个 有 向 无 环 图 进行 拓扑 排序 : 


TOPOLOGICAL-SORT(G) 
1 call DFS(G) to compute finishing times v. f for each vertex v 
2 as each vertex is finished, insert it onto the front of a linked list 


3 return the linked list of vertices 


图 22-7(b) 描 述 的 是 经 过 拓扑 排序 后 的 结 点 次 序 ， 这 个 次 序 与 结 点 的 完成 时 间 恰 好 相反 。 

我 们 可 以 在 @(V 十 E) 的 时 间 内 完成 拓扑 排序 ， 因 为 深度 优先 搜索 算法 的 运行 时 间 为 
OV +E) ， 将 结 点 插入 到 链表 最 前 端 所 需 的 时 间 为 0(1) ， 而 一 共 只 有 |V | 个 结 点 需要 插入 。 

我 们 将 使 用 下 面 的 引 理 来 证 明 拓扑 排序 算法 的 正确 性 ， 该 引 理 描述 的 是 有 向 无 环 图 的 特征 。 

引 理 22. 11 一 个 有 向 图 G 二 (V， 区 ) 是 无 环 的 当 且 仅 当 对 其 进行 的 深度 优先 搜索 不 产生 后 
向 边 。 

证 明 >: 假定 对 图 G 进行 的 深度 优先 搜索 产生 了 一 条 后 向 边 (u，v)， 则 在 深度 优先 森林 
中 ， 结 点 v 是 结 点 的 祖先 。 因 此 ， 图 G 包 含 一 条 从 wv 到 的 路 径 ， 该 路 径 与 后 向 边 (w，w) 一 起 
形成 一 个 环 路 。 

=; 假定 G 包 含 一 个 环 路 c。 我 们 下 面 来 证 明 深度 优先 搜索 将 产生 一 条 后 向 边 。 设 结 点 v 晨 
环 路 c 上 第 一 个 被 发 现 的 结 点 ， 设 (x， 了 是 环 路 PAR 前 面 的 一 条 边 。 在 时 刻 vd, We c 
中 的 结 点 形成 一 条 从 结 点 ”到 结 点 x 的 全 日 色 结 点 路 径 。 根 据 日 色 路 径 定 理 ， 结 点 将 在 深度 优 
先 森 林 中 成 为 结 点 wv 的 后 代 。 因 此 ，(w，wv) 是 一 条 后 向 边 。 a 

定理 22.12 ”拓扑 排序 算法 TOPOLOGICAL-SORT 生成 的 是 有 向 无 环 图 的 拓扑 排序 。 

证 明 dE EA AHA G= (V,E) 上 运行 DFS 来 计算 结 点 的 完成 时 间 。 我 们 只 需要 证 明 ， 
对 于 任意 一 对 不 同 的 结 点 u,v E V ， 如 果 图 G 包 含 一 条 从 结 点 & MAR HW, Mv fu fo 
考虑 算法 DFS(G) 所 探索 的 任意 一 条 边 (u，v) 。 当 这 条 边 被 探索 时 ， 结 点 v 不 可 能 是 灰色 ， 因 为 
那样 的 话 ， 结 点 v 将 是 结 点 的 祖先 ， 这 样 (uw，wv) 将 是 一 条 后 向 边 ， 与 引 理 22. 11 矛盾 。 因 此 ， 
结 点 v 要 么 是 白色 ， 要 么 是 黑色 。 如 果 结 点 v EAE, CHRI u WER, Alt v f<u. f. 
如 果 结 点 v 是 黑色 ， 则 对 其 全 部 的 处 理 都 已 经 完成 ， 因 此 v f 已 经 被 设置 。 因 为 我 们 还 需要 对 结 
点 进行 探索 ，u. f 尚 需要 设 定 。 但 一 旦 我 们 对 u f 进行 设 定 ， 则 其 数值 必定 比 v. SK, HM 
v. f<u. f。 因 此 ， 对 于 任意 一 条 边 (u，v)， 我 们 有 v. f<u f. | 


练习 


22. 4-1 给 出 算法 TOPOLOGICAL-SORT 运行 于 图 22-8 上 时 所 生成 的 结 点 次 序 。 这 里 的 所 有 假 
设 与 练习 22. 3-2 一 样 。 

22. 4-2 ”请 给 出 一 个 线性 时 间 的 算法 ， 算 法 的 输入 为 一 
个 有 向 无 环 图 G= (VE) 以 及 两 个 结 点 和 总， 
算法 的 输出 是 从 结 点 到 结 点 上 之 间 的 简单 路 径 
的 数量 。 例 如 ， 对 于 图 22-8 所 示 的 有 向 无 环 
图 ， 从 结 点 p 到 结 点 wv 一 共有 4 条 简单 路 径 ， 
分 别 是 pou、poryv、posryv Fl psryv. (ARM Si L 
要 求 计数 简单 路 径 的 条 数 ， 而 不 要 求 将 简单 路 ”图 22-8 一 个 用 于 拓扑 排序 的 有 向 无 环 图 
径 本 身 列 举 出 来 。) 

22. 4-3 ”给 出 一 个 算法 来 判断 给 定 无 向 图 G= VE) 是 否 包 含 一 个 环 路 。 算 法 运行 时 间 应 该 在 
OW MER, AA|E| 无关。 

22.4-4 证 明 或 反 证 下 述 论 断 : 如 果 有 向 图 CG 包 含 环 路 ， 则 在 算法 TOPOLOGICAL-SORT(G) Ff 
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生成 的 结 点 序列 里 ， 图 G 中 与 所 生成 序列 不 一 致 的 “ 坏 ” 边 的 条 数 最 少 。 

22. 4-5 在 有 向 无 环 图 G = (V,E) 上 执行 拓扑 排序 还 有 一 种 办 法 ， 就 是 重复 寻找 入 度 为 0 的 结 
点 ， 输 出 该 结 点 ， 将 该 结 点 及 从 其 发 出 的 边 从 图 中 删除 。 请 解释 如 何在 OC(V 十 E) 的 时 
间 内 实现 这 种 思想 。 如 果 图 G 包含 环 路 ， 将 会 发 生 什么 情况 ? 


22.5 强 连通 分 量 


我 们 现在 来 考虑 深度 优先 搜索 的 一 个 经 典 应 用 : 将 有 向 图 分 解 为 强 连通 分 量 。 本 节 将 阐述 
如 何 使 用 深度 优先 搜索 来 做 到 这 一 点 。 许 多 针对 有 回 图 的 算法 都 以 此 种 分 解 操 作 开始 。 在 将 图 
分 解 为 强 连 通 分 量 后 ， 这 些 算 法 将 分 别 运行 在 每 个 连通 分 量 上 ， 然 后 根据 连通 分 量 之 间 的 连接 
结构 将 各 个 结果 组 合 起 来 ， 从 而 获得 最 终 所 需 的 结果 。 

从 本 书 附录 B 的 讨论 可 知 ， 有 向 图 G = 二 (V,E) 的 强 连 通 分 量 是 一 个 最 大 结 点 集合 CCV， 对 
于 该 集合 中 的 任意 一 对 结 点 u 和 w R, MAE uo 和 路 径 v ~u 同时 存在 ; 也 就 是 说 ， 结 点 u 
和 结 点 v 可 以 互相 到 达 。 图 22-9 描述 的 是 强 连通 分 量 的 一 个 例子 。 

sai y Had, EE 





图 22-9 (a) 有 向 图 G。 每 个 加 了 阴影 的 区 域 是 G 的 一 个 强 连通 分 量 。 每 个 结 点 上 注 明 了 其 在 深 
度 优先 搜索 中 的 发 现时 间 和 完成 时 间 ， 所 有 的 树 边 都 加 了 额外 的 阴影 。(b) 图 G 的 转 
置 图 G'， 图 中 注 明 了 由 算法 STRONGLY-CONNECTED-COMPONENTS 第 3 行 所 计 
算出 来 的 深度 优先 森林 ， 所 有 树 边 都 加 上 了 额外 的 阴影 。 每 个 强 连通 分 量 对 应 一 棵 深 
度 优先 树 。 加 了 深 阴 影 的 结 点 5、c、g Ah 全 部 是 深度 优先 树 的 根 结 点 。 这 些 深度 优 
先 树 是 在 转 置 图 C 上 运行 深度 优先 搜索 算法 所 获得 的 。(c) 无 环 分 量 图 Gac ， 由 对 图 
G 的 强 连通 分 量 进 行 收缩 而 成 ， 这 种 收缩 将 每 个 强 连通 分 量 收缩 为 一 个 结 点 ， 即 由 一 
个 结 点 来 替换 整个 连通 分 量 
我 们 用 于 寻找 强 连 通 分 量 的 算法 需要 用 到 图 G=(V，E) 的 转 置 ， 在 练习 22.13 中 将 其 定义 
4 GT=(V, ET), XHET=((u, v): (v, w CE). WHER, ET 由 对 图 G 中 的 边 进行 反 向 而 
获得 。 给 定 图 G 的 邻接 链表 ， 创 建 Gr 的 时 间 为 OOV 十 E) 。 有 趣 的 是 ， 图 G 和 图 G7 的 强 连 通 分 
量 完全 相同 , wu 和 wv 在 图 G 中 可 以 相互 到 达 当 且 仅 当 它们 在 图 GT 中 可 以 相互 到 达 。 图 22-9(b) 描 
述 的 就 是 图 22-9(a) 的 转 置 ， 我 们 在 其 强 连 通 分 量 上 加 了 阴影 。 
下 面 的 线性 时 间 ( 即 @(V 十 E) 时 间 ) 算 法 使 用 两 次 深度 优先 搜索 来 计算 有 向 图 G 二 (V,E) 的 
强 连通 分 量 。 这 两 次 深度 优先 搜索 一 次 运行 在 图 G 上， 一 次 运行 在 转 置 图 Gr E. 


STRONGLY-CONNECTED-COMPONENTS(G) 

1 call DFS (G) to compute finishing times u. f for each vertex u 

2 compute G" 

3 call DFS(G"), but in the main loop of DFS, consider the vertices 


in order of decreasing u. f (as computed in line 1) 


358 © 第 六 部 分 算 法 


4 output the vertices of each tree in the depth-first forest formed in line 3 as a 


separate strongly connected component 


上 述 算 法 背后 的 思想 来 自 于 分 量 图 GO = (V8, ES) SSE EER, NSE EE RAE 
义 如 下 : 假定 图 G 有 强 连 通 分 量 Ci， Cr, 5 Go 结 点 集 V J (v, Urs ts VE}, 对 于 图 G 的 
每 个 强 连 通 分 量 C; 来 说 ， 该 集合 包含 代表 该 分 量 的 结 点 v:。 如 果 对 于 某 个 TE€EC; MyEG, AG 
包含 一 条 有 向 边 (x，y)， 则 边 (v;:，wv)EEY。 从 另 一 个 角度 来 看 ， 通 过 收缩 所 有 相 邻 结 点 都 在 
同一 个 强 连通 分 量 中 的 边 ， 剩 下 的 图 就 是 CK. A 22-9(c) 描 述 的 就 是 图 22-9(a) 的 分 量 图 。 

分 量 图 的 关键 性 质 就 是 : 分 量 图 是 一 个 有 向 无 环 图 。 该 事实 可 由 下 面 的 引 理 所 推 出 。 

引 理 22.13 设 C 和 C 为 有 向 图 G 二 (V， EE) 的 两 个 不 同 的 强 连 通 分 量 ， 设 结 点 WU，vEC， 结 
au, VEC, 假定 图 G 包含 一 条 从 结 点 到 结 点 & 的 路 径 u~u 。 那 么 图 G 不 可 能 包含 一 条 从 
结 点 vv 到 结 点 vv 的 路 径 v' 人 ~ v, 

证 明 如果 图 G 包 含 一 条 从 结 点 v 到 结 点 v 的 路 径 v~2v， 则 GG 也 将 包含 路 径 w ~u ~v 和 
vunu., 因此, u 和 wv 可 以 互相 到 达 ， 从 而 与 C 和 C' 是 不 同 的 强 连通 分 量 的 假设 矛盾 。 20 

在 后 面 我 们 将 看 到 ， 在 进行 第 二 次 深度 优先 搜索 时 ， 以 第 一 次 深度 优先 搜索 所 计算 出 的 结 
点 完成 时 间 的 递减 顺序 来 对 结 点 进行 考察 ， 我 们 实际 上 是 在 以 拓扑 排序 的 次 序 来 访问 分 量 图 中 
的 结 点 (每 个 结 点 对 应 图 G 的 一 个 强 连通 分 量 )。 

因为 算法 STRONGLY-CONNECTED-COMPONENTS 执行 两 次 深度 优先 搜索 ， 在 讨论 u d 
Mu. f 时 可 能 存在 潜在 的 模糊 性 。 在 本 节 的 讨论 中 ， 这 些 值 指 的 都 是 第 一 次 深度 优先 搜索 (算法 
第 1 行 ) 所 计算 出 的 发 现时 间 和 完成 时 间 。 

下 面 我 们 将 结 点 的 发 现时 间 和 完成 时 间 的 概念 推广 到 结 点 集合 上 : 如 果 结 点 集合 USCSV， 则 
定义 d(U)= min{u. dj 和 f(U) = max{ u f)。 也 就 是 说 ，d(U) 和 f(D) 分 别 是 结 点 集合 U 中 所 有 
结 点 里 最 早 的 发 现时 间 和 最 晚 的 完成 时 间 ， 

下 面 的 引 理 及 其 推论 给 出 的 是 一 个 关键 性 质 ， 该 性 质 将 图 G 的 强 连通 分 量 与 第 一 次 深度 优 
先 搜索 所 计算 出 的 完成 时 间 关 联 起 来 。 

引 理 22.14 设 C 和 C 为 有 向 图 G 二 (V，) 的 两 个 不 同 的 强 连 通 分 量 。 假 如 存在 一 条 这 
(u, EE, 这 里 u€EC, veC, mM O>). 

证 明 ”根据 深度 优先 搜索 算法 中 最 早 发 现 的 结 点 在 哪个 强 连通 分 量 里 而 分 为 两 种 情况 进行 考虑 . 

第 一 种 情况 : MR d(C) 二 d(C'), 设 工 为 连通 分 量 C 中 最 早 被 发 现 的 结 点 ， 那 么 在 时 刻 
zx.d， 所 有 C 和 C' 中 的 结 点 都 是 白色 的 。 在 该 时 刻 ， 图 G 包含 一 条 从 结 点 x 到 C 中 每 个 结 点 的 仪 
包 合 白色 结 点 的 路 径 。 因 为 (w，v) EE， 对 于 任意 结 点 wEC ， 在 时 刻 x. dit, 中 也 存在 一 打 
从 结 点 z 到 结 点 也 的 仅 包含 白色 结 点 的 路 径 zx ~u->v~2w。 根 据 白 色 路 径 定理 ， 连 通 分 量 C 和 
C' 中 的 所 有 结 点 都 成 为 深度 优先 树 里 结 点 zx 的 后 代 。 根 据 推论 22.8， 结 点 z 的 完成 时 间 比 其 所 
有 的 后 代 都 晚 ， 因 此 xz. f=f(O>f(C). 

第 二 种 情况 :如果 d(C)>>d(C'), 设 y 为 C' 中 最 早 被 发 现 的 结 点 ， 那么 在 时 刻 yd, WMA C 
中 的 结 点 都 是 白色 的 ， 且 图 G 包 含 一 条 从 结 点 y 到 C 中 每 个 结 点 的 仅 包含 白色 结 点 的 路 径 。 根 
据 白色 路 径 定理 ， 连 通 分 量 C 中 的 所 有 结 点 都 将 成 为 深度 优先 树 里 结 点 y 的 后 代 。 根 据 推论 
22.8，y. f= 二 fC )。 在 时 刻 yd, BHO C 中 的 所 有 结 点 都 是 白色 的 。 由 于 存在 边 (u，%) 
将 C 连 接 到 C'， 引 理 22. 13 告诉 我 们 ， 不 可 能 存在 一 条 从 C 到 C 的 路 径 。 因 此 ，C 中 的 结 点 不 
可 能 从 yy 到 达 。 在 时 刻 y. fit, WMA C 中 的 结 点 仍然 是 白色 。 因 此 ， 对 于 任意 结 点 wEC 
RTA w. >y. f， 这 就 意味 着 FCC) 之 CC )。 i 

下 面 的 推论 告诉 我 们 ， 转 置 图 C- da ease 
一 次 深度 优先 搜索 所 计算 出 的 完成 时 间 ) 的 分 量 指向 完成 时 间 较 迟 的 分 量 。 
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推论 22.15 设 C 和 C' 为 有 向 图 G 一 (V， 匹 ) 的 两 个 不 同 的 强 连通 分 量 ， 假 如 存在 一 条 边 
(uy WEE’, KZ ucc, vEC, WM f(O<f(C), 

证 明 由 于 边 (u，v) EE', RNA WEE, K GARG 的 强 连 通 分 量 相同 ， 引 理 
22. 14 FRI], O<). Bi 

推论 22.15 是 我 们 理解 为 什么 强 连通 分 量 算法 能 够 正确 工作 的 关键 。 我 们 来 看 一 下 在 进行 
二 次 深度 优先 搜索 时 到 底 发 生 了 什么 。 第 二 次 深度 优先 搜索 运行 在 图 G 的 转 置 图 CGI 上 。 我 们 从 
完成 时 间 最 晚 的 强 连 通 分 量 C 开始 。 搜 索 算法 从 C 中 的 某 个 结 点 z 开始 ， 访 问 C 中 的 所 有 结 点 。 
根据 推论 22.15, G 不 可 能 包含 从 C 到 任何 其 他 强 连 通 分 量 的 边 ， 因 此 ， 从 结 点 工 开 始 的 搜索 
不 会 访问 任何 其 他 分 量 中 的 结 点 。 因 此 ， 以 z 为 根 结 点 的 树 仅 包含 C 的 所 有 结 点 。 在 完成 对 C 
中 所 有 结 点 的 访问 后 ， 算 法 第 3 行 从 另 一 个 强 连通 分 量 C 选择 一 个 结 点 作为 根 结 点 来 继续 进行 
深度 优先 搜索 ， 这 里 f(C') 的 取 值 在 除 C 以 外 的 所 有 强 连 通 分 量 里 面 为 最 大 。 再 一 次 ， 搜 索 算 法 
将 访问 C 中 的 所 有 结 点 ， 但 是 根据 推论 22.15， 图 G 中 从 C 到 任何 其 他 连通 分 量 的 边 必定 是 从 
C 到 C 的 边 ， 而 这 些 边 我 们 已 经 访问 过 。 一 般 来 说 ， 当 算法 第 3 行 对 GT 的 深度 优先 搜索 访问 任 
意 一 个 强 连 通 分 量 时 ， 从 该 连通 分 量 发 出 的 所 有 边 只 能 是 通 向 已 经 被 访问 过 的 强 连 通 分 量 。 因 
此 ， 每 棵 深度 优先 树 恰恰 是 一 个 强 连通 分 量 。 下 面 的 定理 对 该 论点 进行 了 正式 表述 。 

定理 22.16 ”算法 STRONGLY-CONNECTED-COMPONENTS 能 够 正确 计算 出 有 向 图 G 的 
强 连通 分 量 。 

证 明 我 们 以 算法 第 3 行 对 图 G 进行 深度 优先 搜索 时 所 发 现 的 深度 优先 树 的 棵 数 来 进行 归 
纳 。 我 们 的 归纳 假设 是 ,算法 第 3 行 所 生成 的 前 面 棵 树 都 是 强 连通 分 量 。 归 纳 证 明 的 初始 情况 
Æ k=0 时 ， 归 纳 假设 显然 成 立 。 

在 归纳 步 ， 假 定 算法 第 3 行 所 生成 的 前 & 棵 树 都 是 强 连通 分 量 ， 现 在 需要 考虑 第 Ck 十 1) 棵 
树 。 设 该 树 的 根 结 点 为 w， 结 点 处 于 强 连通 分 量 C 中 。 根 据 我 们 在 算法 第 3 行 选 择 深度 优先 搜 
索 的 根 结 点 的 方式 ， 对 于 任意 除 C 以 外 且 尚 未 被 访问 的 强 连 通 分 量 C RU, Au f=f(O> 
f(C')。 根 据 归纳 假设 ， 在 搜索 算法 访问 结 点 u 的 时 刻 ，C 中 的 所 有 结 点 都 是 白色 的 。 根 据 白 色 
路 径 定 理 ，C 中 的 其 他 所 有 结 点 都 是 结 点 在 深度 优先 树 中 的 后 代 。 而 且 ， 根 据 归 纳 假设 和 推论 
22.15， 转 置 图 G 中 所 有 从 C 发 出 的 边 只 能 是 指向 已 经 访问 过 的 强 连通 分 量 。 因 此 ， 除 C 以 外 
的 强 连 通 分 量 中 的 结 点 不 可 能 在 对 G' 进行 深度 优先 搜索 时 成 为 结 点 u 的 后 代 。 因 此 ， 转 置 图 G 
里 根 结 点 为 结 点 u 的 深度 优先 树 中 的 所 有 结 点 恰好 形成 一 个 强 连通 分 量 。 B 

我 们 也 可 以 从 另 一 个 角度 来 看 第 二 次 深度 优先 搜索 的 运行 过 程 。 考 虑 转 置 图 C 的 分 量 图 
(CD 。 如 果 将 第 二 次 深度 优先 搜索 所 访问 的 每 个 强 连通 分 量 映射 到 (CD) 史 的 一 个 结 点 上 ， 则 
第 二 次 深度 优先 搜索 将 以 拓扑 排序 次 序 的 逆序 来 访问 (GD) 叶 中 的 结 点 。 如 果 将 (GD 号 中 的 边 翻 
转 过 来 ， 我 们 将 获得 图 ((GT)sz)7。 因 为 ((GIT)sz)T 一 G8c (请 参阅 练习 22. 5-4) ， 所 以 第 二 次 深度 
优先 搜索 是 以 拓扑 排序 次 序 访 问 C 中 的 结 点 的 。 


练习 

22.5-1 如 果 在 图 G 中 加 入 一 条 新 的 边 ，G 中 的 强 连通 分 量 的 数量 会 发 生 怎样 的 变化 ? 

22.5-2 给 出 算法 STRONGLY-CONNECTED-COMPONENTS 在 图 22-6 上 的 运行 过 程 。 具 体 要 
求 是 ， 给 出 算法 第 1 行 所 计算 出 的 完成 时 间 和 第 3 行 所 生成 的 木林。 假定 DFS 的 第 
5 一 7 行 的 循环 是 以 字母 表 顺 序 来 对 结 点 进行 处 理 ， 并 且 连 接 链 表 中 的 结 点 也 是 以 字母 表 
顺序 排列 好 的 。 

22.5-3 Bacon 教授 声称 ， 如 果 在 第 二 次 深度 优先 搜索 时 使 用 原始 图 G 而 不 是 图 G 的 转 置 图 C ， 
并 且 以 完成 时 间 的 递增 次 序 来 扫描 结 点 ， 则 计算 强 连 通 分 量 的 算法 将 会 更 加 简单 。 这 个 
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更 加 简单 的 算法 总 是 能 计算 出 正确 的 结果 吗 ? 


22.5-4 WHR: 对 于 任意 有 向 图 G 来 说 ，((G )) 二 GY 。 也 就 是 说 ， 转 置 图 G 的 分 量 图 的 转 


置 与 图 G 的 分 量 图 相同 。 


22.5-5 给 出 一 个 时 间 复 杂 度 为 OC(V 十 E) 的 算法 来 计算 有 向 图 G 二 (V，E) 的 分 量 图 。 请 确保 在 


算法 所 生成 的 分 量 图 中 ， 任 意 两 个 结 点 之 间 至 多 存在 一 条 边 。 


22.5-6 给 定 有 向 图 G 二 (V，E)， 请 说 明 如 何 创建 另 一 个 图 G =V, E), 使 得 :(a)G 的 强 连 


通 分 量 与 G 的 相同 ，(b)G 的 分 量 图 与 G 的 相同 ， 以 及 (c)E 所 包含 的 边 尽 可 能 少 。 请 
给 出 一 个 计算 图 G 的 快速 算法 。 


22.5-7 给 定 有 向 图 G 一 (V，E)， 如 果 对 于 所 有 结 点 对 uw，vEV, RITA uv Rou, WG 


是 半 连 通 的 。 请 给 出 一 个 有 效 的 算法 来 判断 图 G 是 否 是 半 连 通 的 。 证 明 算 法 的 正确 性 
并 分 析 其 运行 时 间 。 


思考 题 


22-1 


22-2 


(以 广度 优先 搜索 来 对 图 的 边 进 行 分 类 ) ”深度 优先 搜索 将 图 中 的 边 分 类 为 树 边 、 后 向 边 、 
前 向 边 和 横向 边 。 广 度 优 先 搜 索 也 可 以 用 来 进行 这 种 分 类 。 具 体 来 说 ， 广 度 优先 搜索 将 从 
源 结 点 可 以 到 达 的 边 划 分 为 同样 的 4 种 类 型 。 
a. 证 明 在 对 无 回 图 进行 的 广度 优先 搜索 中 ， 下 面 的 性 质 成 立 : 

1. 不 存在 后 向 边 ， 也 不 存在 前 向 边 。 

2. 对 于 每 条 树 边 (xu，v)， 我 们 有 v. d=u. ad 十 1。 

3. 对 于 每 条 横向 边 (u，v)， 我 们 有 v. d=u. d X v. d=u. d 十 1。 
b 证 明 在 对 有 向 图 进行 广度 优先 搜索 时 ， 下 面 的 性 质 成 立 : 

1. 不 存在 前 向 边 。 

2. 对 于 每 条 树 边 (uw，wv) ， 我 们 有 v.d=u.dt+1. 

3. HTAR Cu, v, RIJE v.d<u.dt+l1. 

4. 对 于 每 条 后 向 边 (x，vm) ， 我 们 有 Kv. d<u. d. 
(衔接 点 、 桥 和 双 连 通 分 量 ) 设 G=(V，E) 为 一 个 连通 无 向 图 。 图 G 的 衔接 点 是 指 图 G 
中 的 一 个 结 点 ， 删 除 该 结 点 将 导致 图 不 连通 。 图 G 的 桥 是 指 图 中 的 一 条 边 ， 删 除 该 条 边 ， 
图 就 不 再 连通 。 图 G 的 双 连 通 分 量 是 指 一 个 最 大 的 边 集合 ， 里 面 的 任意 两 条 边 都 处 于 同一 
条 简单 环 路 中 。 图 22-10 描述 的 就 是 这 些 概 念 的 定义 。 我 们 可 以 使 用 深度 优先 搜索 算法 来 
判断 图 G 的 衔接 点 、 桥 和 双 连 通 分 量 。 设 G, 二 (V，E) 为 图 G 的 深度 优先 树 。 









is cH 
seh Sema mn 
oc me na EA 
fy i 


ST LT 


图 22-10 思考 题 22-2 中 所 用 到 的 连通 无 向 图 的 衔接 点 、 桥 和 双 连 通 分 量 。 图 中 深 阴影 的 
结 点 为 衔接 点 ， 深 阴影 的 边 为 桥 ， 图 中 阴影 覆盖 的 区 域 中 的 边 ( 旁 边 示 出 了 一 
个 bcc 编号 ) 表 示 双 连通 分 量 


a. 证 明 : G 的 根 结 点 是 图 G 的 衔接 点 当 且 仅 当 它 在 G. 中 人 至少 有 两 个 子 结 点 。 
b. 设 结 点 "为 G。 的 一 个 非 根 结 点 。 证 明 : v 是 G 的 衔接 点 当 且 仪 当 结 点 v 有 一 个 子 结 点 
5， 且 没有 任何 从 结 点 s RAEM s 的 后 代 结 点 指向 v 的 真 祖先 的 后 向 边 。 


第 22 章 基本 的 图 算法 。 361 


ce 定义 
”mu ds (uy WEAR OMERERA A u 的 一 条 后 向 边 
请 说 明 如 何在 OCE) 的 时 间 内 为 所 有 结 点 v 计 算出 v. low 的 值 。 
说 明 如 何在 OC(E) 时 间 内 计算 出 图 G 的 所 有 衡 接点 。 
证 明 : 图 G 的 一 条 边 是 桥 当 且 仅 当 该 边 不 属于 G 中 的 任何 简单 环 路 。 
说 明 如 何在 OCE) 时 间 内 计算 出 图 G 的 所 有 桥 。 
证 明 : G 的 双 连 通 分 量 是 G 的 非 桥 边 的 一 个 划分 。 
给 出 一 个 O(E) 时 间 复 杂 度 的 算法 来 给 图 G 的 每 条 边 e 做 出 标记 。 这 个 标记 是 一 个 正 整 
数 e. bcc 且 满 足 e. bcc=e'. bec SAM 4 e 和 边 e 在 同一 个 双 连 通 分 量 中 。 
22-3 〈 欧 拉 回 路 ) ” 强 连 通 有 问 图 G 二 (V，E) 中 的 一 个 欧 拉 回路 是 指 一 条 遍历 图 G 中 每 条 边 恰 
好 一 次 的 环 路 。 不 过 ， 这 条 环 路 可 以 多 次 访问 同一 个 结 点 。 
a WH: 图 G 有 一 条 欧 拉 回路 当 且 仅 当 对 于 图 中 的 每 个 绪 点 w， 有 in-degree(v) = out- 


ro mf 他 


degree(v) 。 
b 给 出 一 个 复杂 度 为 OC(E) 的 算法 来 找 出 图 G 的 一 条 欧 拉 回路 。( 提 示 : 对 边 不 相交 环 路 

进行 归并 。) 
22-4 〈 可 到 达 性 ) 设 G 一 (V， 己 ) 为 一 个 有 向 图 ， 且 每 个 结 点 wEV 都 标 有 一 个 唯一 的 整数 值 标 
记 L(u)，L(w) 的 取 值 为 集合 {1，2,，…，|V|}。 对 于 每 个 结 点 KEV， 设 Ru) 二 {vEV: 


u~v} 为 从 结 点 可 以 到 达 的 所 有 结 点 的 集合 。 定 义 minu) H RC(w) 中 标记 为 最 小 的 结 
点 ， 即 min(w) 为 结 点 v， 满足 上 L(v) 二 min{L(w): wER(u)}。 请 给 出 一 个 时 间 复 杂 度 为 
OV 十 E) 的 算法 来 计算 所 有 结 点 EV 的 min(w)。 
本 章 注 记 
Even[ 103] 和 Tarjan[ 330j 是 非常 好 的 关于 图 算法 方面 的 参考 资料 。 
广度 优先 搜索 算法 由 Moore 260j] 在 研究 迷宫 路 径 问 题 时 所 发 现 。Lee[L226 在 研究 电子 线路 
板 的 排 线 问题 时 独立 地 发 现 了 同一 个 算法 。 
Hopcroft 和 TarjanL178] 提 倡 使 用 邻接 链表 而 不 是 邻接 矩阵 来 表示 稀疏 图 ， 并 最 先 认 识 到 深 
度 优先 搜索 算法 的 重要 性 。 深 度 优先 搜索 在 20 世纪 50 年 代 晚 期 获得 广泛 使 用 ， 尤 其 是 在 人 工 智 
能 方面 。 
TarjanL327] 给 出 了 一 个 找 出 强 连 通 分 量 的 线性 时 间 算 法 。22. 5 节 所 讨论 的 找 出 强 连 通 分 量 
的 算法 摘自 于 Aho、Hopcroft 和 UllmanL6]j， 而 该 文 的 作者 则 将 功劳 归于 S. R. Kosaraju( 未 发 表 ) 
和 M. SharirL 314j。Gabow[L119] 也 提出 了 一 个 计算 强 连 通 分 量 的 算法 ， 它 的 做 法 是 收缩 环 路 ， 并 
使 用 两 个 栈 结构 来 保证 算法 以 线性 时 间 运 行 。Knuth[209] 第 一 个 给 出 了 计算 图 的 拓扑 排序 的 线 
性 时 间 算 法 。 
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最 小 生成 树 


在 电子 电路 设计 中 ， 我 们 常常 需要 将 多 个 组 件 的 针脚 连接 在 一 起 。 要 连接 n 个 针脚 ， 我 们 可 
以 使 用 nn 一 1 根 连 线 ， 每 根 连 线 连接 两 个 针脚 。 很 显然 ， 我 们 希望 所 使 用 的 连 线 长 度 最 短 。 

我 们 可 以 将 上 述 的 布线 问题 用 一 个 连通 无 向 图 G 二 (V，E) 来 予以 表示 ， 这 里 的 V 是 针脚 的 
REA, E 是 针脚 之 间 的 可 能 连接 ， 并 且 对 于 每 条 边 (u，v) € E， 我 们 为 其 赋予 权重 wau, VEX 
连接 针脚 和 和 针脚 vw 的 代价 (也 就 是 连 线 的 长 度 ) 。 我 们 希望 找到 一 个 无 环 子 集 TCE， 既 能 够 将 


所 有 的 结 点 (针脚 ) 连 接 起 来 ， 又 具有 最 小 的 权重 ， 即 w(T)= 2， w(u，v) 的 值 最 小 。 HFT 
是 无 环 的 ， HEERMA KAR. Alb, 械 必 然 是 一 棵 树 。 我 们 称 这 样 的 树 为 (图 G 的 ) 生 成 树 ， 


因为 它 是 由 图 G 所 生成 的 。 我 们 称 求 取 该 生成 树 的 问题 为 最 小 生成 树 问题 >。 图 23-1 描 述 的 是 一 
个 连通 图 及 其 最 小 生成 树 的 例子 。 








图 23-1 连通 图 的 最 小 生成 树 。 每 条 边 上 标记 的 数值 为 该 条 边 的 权重 。 在 图 中 ， 属 于 最 小 生成 树 的 
边 都 加 上 了 阴影 。 图 中 所 示 的 生成 树 的 总 权重 为 37。 不 过 ， 该 最 小 生成 树 并 不 是 唯一 的 ， 
删除 边 (5，c)， 然 后 加 入 边 (a，h) ， 将 形成 男 一 棵 权重 也 是 37 的 最 小 生成 树 


在 本 章 中 ， 我 们 将 详细 讨论 解决 最 小 生成 树 问题 的 两 种 算法 Kruskal 算法 和 Prim 算 法。 如 
果 使 用 普通 的 二 叉 堆 ， 那 么 可 以 很 容易 地 将 这 两 个 算法 的 时 间 复 杂 度 限制 在 O(E1lgV) 的 数量 级 
内 。 但 如 果 使 用 斐 波 那 契 堆 ，Prim 算法 的 运行 时 间 将 改善 为 O(E 十 V lgV)。 此 运行 时 间 在 |V| 
远 远 小 于 | 五 | 的 情况 下 较 二 叉 堆 有 很 大 改进 。 

我 们 讨论 的 两 种 最 小 生成 树 算 法 都 是 贪心 算法 。 如 本 书 第 16 章 所 讨论 的 ， 贪 心算 法 的 每 一 步 
必须 在 多 个 可 能 的 选择 中 选择 一 种 。 贪 心算 法 推荐 选择 在 当前 看 来 最 好 的 选择 。 这 种 策略 一 般 并 
不 能 保证 找到 一 个 全 局 最 优 的 解决 方案 。 但 是 ， 对 于 最 小 生成 树 问 题 来 说 ， 我 们 可 以 证 明 ， 某 些 
贪心 策略 确实 能 够 找到 一 棵 权重 最 小 的 生成 树 。 虽 然 读 者 可 能 在 阅读 本 章 的 内 容 时 并 没有 将 其 与 第 
16 章 的 内 容 关联 起 来 ， 但 这 里 所 阐述 的 贪心 策略 正 是 第 16 章 所 介绍 的 理论 思想 的 一 种 经 典 应 用 。 

因为 树 是 图 的 一 种 ， 为 了 精确 起 见 ， 我 们 在 定义 树 时 不 仅 要 用 到 边 ， 还 必须 用 到 结 点 。 虽 然 
本 章 在 讨论 树 的 时 候 关 注 的 是 它 的 边 ， 但 我 们 必须 留意 的 是 ， 树 工 中 的 结 点 是 指 由 工 中 的 边 所 
连接 的 结 点 。 


23.1 最 小 生成 树 的 形成 
假定 有 一 个 连通 无 向 图 CHV, EAB w: E>R， 我 们 希望 找 出 图 G 的 一 棵 最 小 生成 树 。 
本 章 所 讨论 的 两 种 算法 都 使 用 贪心 策略 来 解决 这 个 问题 ， 但 它们 使 用 贪心 策略 的 方式 却 有 所 不 同 。 


O 术语 “最 小 生成 树 ”" 是 术语 “最 小 权重 生成 树 ” 的 简称 。 例 如 ， 我 们 并 不 打算 将 工 中 的 边 的 条 数 减 到 最 少 ， 因 为 根 
据 定理 B. 2， 生 成 树 必须 恰好 有 | V | 一 1 条 边 。 
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这 个 贪心 策略 可 以 由 下 面 的 通用 方法 来 表述 。 该 通用 方法 在 每 个 时 刻 生 长 最 小 生成 树 的 一 
条 边 ， 并 在 整个 策略 的 实施 过 程 中 ， 管 理 一 个 遵守 下 述 循环 不 变 式 的 边 集合 A: 

在 每 遍 循 环 之 前 ，A 是 某 棵 最 小 生成 树 的 一 个 子 集 。 

在 每 一 步 ， 我 们 要 做 的 事情 是 选择 一 条 边 (u，v)， 将 其 加 入 到 集合 A 中 ， 使 得 A 不 违反 循 
环 不 变 式 ， 即 AU (Cu, v) } 也 是 某 棵 最 小 生成 树 的 子 集 。 由 于 我 们 可 以 安全 地 将 这 种 边 加 入 到 集 
合 A 而 不 会 破坏 A 的 循环 不 变 式 ， 因 此 称 这 样 的 边 为 集合 A 的 安全 边 。 

GENERIC-MST(G, w) 

1 A=Ø 


while A does not form a spanning tree 


A=AU {(u,v)} 


2 
3 find an edge(u,v) that is safe for A 
4 
5 return A ~ 


我 们 使 用 循环 不 变 式 的 方式 如 下 : 

初始 化 : 在 算法 第 1 行 之 后 ， 集 合 A 直接 满足 循环 不 变 式 。 

保持 : 算法 第 2~4 行 的 循环 通过 只 加 入 安全 边 来 维持 循环 不 变 式 。 

终止 所 有 加 入 到 集合 A 中 的 边 都 属于 某 棵 最 小 生成 树 ， 因 此 ， 算 法 第 5 行 所 返回 的 集合 A 
必然 是 一 棵 最 小 生成 树 。 

当然 ， 这 里 的 奥妙 是 算法 的 第 377: 找到 一 条 安全 边 。 这 条 安全 边 必 然 存 在 ， 因 为 在 执行 
法 第 3 行 时 ， 循环 不 变 式 告 诉 我 们 存在 一 棵 生成 树 TT， 满足 ACT。 在 第 2 一 4 行 的 while 循环 体 
内 ， 集 合 A 一 定 是 工 的 真子 集 ， 因 此 ， 必 然 存在 一 条 边 (x，z) ET， 使 得 (wu，wv) 多 A， 并 且 
(u，v) 对 于 集合 A 是 安全 的 。 

在 本 他 剩 下 的 篇 幅 里 ， 我 们 将 介绍 辨认 安全 边 的 规则 (和 定理 23. 1) 。 下 一 节 则 讨论 使 用 这 条 
规则 来 快速 找到 安全 边 的 两 个 算法 。 

我 们 首先 需要 一 些 定义 。 无 向 图 G 二 (V，E) 的 一 个 切割 (S,，V 一 SS) 是 集合 V 的 一 个 划分 ， 如 
图 23-2 所 示 。 如 果 一 条 边 (u，v) EE 的 一 个 端点 位 于 集合 S， 另 一 个 端点 位 于 集合 V 一 S， 则 称 该 
RURSUS, VS). WERE A 中 不 存在 横 跨 该 切割 的 边 ， 则 称 该 切割 尊重 集合 A。 在 横 跨 
一 个 切割 的 所 有 边 中 ， 权 重 最 小 的 边 称 为 轻 量 级 边 。 注 意 ， 轻 量 级 边 可 能 不 是 唯一 的 。 一 般 ， 如 
果 一 条 边 是 满足 某 个 性 质 的 所 有 边 中 权重 最 小 的 ， 则 称 该 条 边 是 满足 给 定性 质 的 一 条 轻 量 级 边 。 

: cid, 





图 23-2 图 23-1 所 示 的 图 的 切割 (S，V 一 S) ， 这 里 给 出 了 两 个 视角 。(a) 黑色 结 点 位 于 集合 S 中 ， 白 色 结 
点 位 于 集合 V 一 S 中 。 横 跨 该 切割 的 边 是 那些 连接 白色 结 点 和 黑色 结 点 的 边 。 边 (4d，c) 是 横 跨 该 
切割 的 唯一 一 条 轻 量 级 边 。 加 了 阴影 的 边 属于 子 集 A: 注意 切割 (S，V 一 S) 尊 重 集合 A， 因 为 集 
合 A 中 没有 横 跨 该 切割 的 边 。(b) 同 一 个 图 ， 只 不 过 将 集合 S 中 的 结 点 画 在 左边 ， 集 合 V 一 S 中 
的 结 点 画 在 右面 。 横 跨 切 割 的 边 所 连接 的 一 端 是 左面 的 结 点 ， 另 一 端 是 右面 的 结 点 
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用 来 辨认 安全 边 的 规则 由 下 面 的 定理 给 出 。 

定理 23.1 设 G 二 (V，E) 是 一 个 在 边 玉 上 定义 了 实数 值 权 重 函 数 w 的 连通 无 向 图 。 设 集合 
和 为 下 的 一 个 子 集 ， 且 A 包括 在 图 G 的 菜 棵 最 小 生成 树 中 ,， 设 (S,，V 一 S) 是 图 G 中 尊重 集合 A 
的 任意 一 个 切割 ， 又 设 (wuw， 忆 是 横 跨 切割 (S，V 一 9S) 的 一 条 轻 量 级 边 。 那 么 边 (uw，v) 对 于 集合 A 
是 安全 的 。 

证 明 i TRA 的 最 小 生成 树 ， 并 假定 不 包含 轻 量 级 边 (4u，v); 否则 ， 我 们 已 
经 证 明 完 毕 。 现 在 来 构建 另 一 棵 最 小 生成 树 了 ， 我 们 通过 剪 切 和 粘贴 来 将 AU {(u，vw)} 包 括 在 
树 中， 从 而 证 明 (w，wv) 对 于 集合 A 来 说 是 安全 的 。 

Wu, oT PABA 到 结 点 vv 的 简单 路 径 pp 形成 一 个 环 路 ， 如 图 23-3 所 示 。 由 于 结 点 
u 和 结 点 v 分 别处 在 切割 (CS,，V 一 S) 的 两 端 ， 荆 中 至 少 有 一 条 边 属于 简单 路 径 p 并 且 横 跨 该 切 
割 。 设 (zx，y) 为 这 样 的 一 条 边 。 因 为 切割 (S，V 一 S) 尊 重 集合 A， 边 (x，y) 不 在 集合 A 中 。 由 于 
边 (z，) 位 于 工 中 从 到 ww 的 唯一 简单 路 径 上 ， 将 该 条 边 删 除 会 导致 本 被 分 解 为 两 个 连通 分 量 。 
将 (uw， 马 加 上 去 可 将 这 两 个 连通 分 量 连接 起 来 形成 一 棵 新 的 生成 树 T'= 二 T 一 {Cz，y)}U{Cu, v)}. 





图 23-3 定理 23. 1 的 证 明 。 黑 色 结 点 位 于 集合 S 里 ， 白 色 结 点 位 于 集合 V 一 和 里。 图 中 仅 
描述 了 最 小 生成 树 工 中 的 边 ， 而 没有 绘 出 图 G 中 的 其 他 边 。 集 合 A 中 的 边 都 加 了 
阴影 ， 边 (“， 也 是 横 跨 切 制 (S，V 一 S) 的 一 条 轻 量 级 边 。 边 (z，y) 是 树 TEHA 
结 点 到 结 点 v 的 唯一 简单 路 符 上 的 一 条 边 。 要 形成 一 棵 包含 (u，wv) 的 最 小 生成 
HT, RARE 开 中 删除 边 (z， 妨 ， 然 后 加 上 边 (x， 切 即 可 


下 面 证 明 人 "是 一 棵 最 小 生成 树 。 由 于 边 (x“， 了 是 横 跨 切割 (S，V 一 S) 的 一 条 轻 量 级 边 并 且 

边 (x，y) 也 横 跨 该 切割 ， 我 们 有 wu, Kwl, y). A, 
w(T') = wT) — wlz, y) + wlu, v) < WT) 

但 是 ， 工 是 一 棵 最 小 生成 树 ， 我 们 有 w( 了 Dw《T'); 因此，T 一 定 也 是 一 棵 最 小 生成 树 。 

下 面 还 需要 证 明 边 (xu，wv) 对 于 集合 A 来 说 是 一 条 安全 边 。 因 为 ACT 并 且 (zx，y) EA, WA 
有 AST ; 因此 AU{(C“，mZ}ST 。 由 于 人 是 最 小 生成 树 ，(w， 了 切 对 于 集合 A 是 安全 的 。 E 

定理 23. 1 能 够 帮助 我 们 更 好 地 理解 连通 图 G=(V, E) EY GENERIC-MST 的 工作 原理 . 
随 着 该 算法 的 推进 ， 集 合 A 总 是 保持 在 无 环 状态 ; 否则 ， 包 含 A 的 最 小 生成 树 将 包含 一 个 环 路 ， 
这 将 与 树 的 定义 相 了 矛盾 。 在 算法 执行 的 任意 时 刻 ， 图 G4 二 (V，A) 是 一 个 森林 ，G 中 的 每 个 连 
通 分 量 则 是 一 棵 树 ( 某 些 树 可 能 仅 包 含 一 个 结 点 ， 如 在 算法 开始 时 ， 集合 A 为 空 ， 而 森林 中 包含 
1V| 棵 树 ， 每 棵 树 中 只 有 一 个 结 点 )。 而 且 ， 由 于 AU {Cwu，wv)} 必 须 是 无 环 的 ， 所 有 对 于 集合 A 
为 安全 的 边 (u，wv) 所 连接 的 是 CA 中 不 同 的 连通 分 量 。 

GENERIC-MST 算法 的 第 2 一 4 行 的 while 循环 执行 的 总 次 数 为 |V| 一 1 次 ， 因 为 该 循环 的 每 
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遍 循环 都 找 出 最 小 生成 树 所 需 |V| 一 1 条 边 中 的 一 条 。 在 初始 时 ， 当 ASS, Ga 中 有 |V| 棵 
树 ， 每 遍 循 环 将 树 的 数量 减少 1 棵 。 当 整个 森林 仅 包含 一 棵 树 时 ， 该 算法 就 终止 。 

23. 2 节 中 的 两 个 算法 将 使 用 定理 23. 1 的 下 列 推论 。 

推论 23.2 设 G 王 (V， 匹 ) 是 一 个 连通 无 向 图 ， 并 有 定义 在 边 集合 正 上 的 实数 值 权 重 邓 数 记 。 
设 集合 A 为 巨 的 一 个 子 集 ， 且 该 子 集 包 括 在 G 的 菜 村 最 小 生成 树 里 ， 并 设 C= 二 (Vc，Ec) 为 森林 
G4 二 (V，A) 中 的 一 个 连通 分 量 ( 树 )。 如 果 边 (u，v) 是 连接 C 和 Ga 中 某 个 其 他 连通 分 量 的 一 条 
轻 量 级 边 ， 则 边 (wu，v) 对 于 集合 A LEAN. 


证 明 切 定 (Vc，V 一 Vc) 尊 重 集合 A， 边 (4u，v) 是 横 跨 该 切割 的 一 条 轻 量 级 边 ， 因 此 ， 边 
u, OM FREA 是 安全 的 。 E 
练习 


23.1-1 Ku, JRA G 中 的 一 条 权重 最 小 的 边 ， 证 明 : Wu, DAR G 的 某 棵 最 小 生成 
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1-6 


1-7 


1-8 


1-9 


1-10 


树 中 的 一 条 边 。 
Sabatier 教授 猜想 出 了 定理 23.1 的 一 个 逆 定 理 如 下 : 设 G==(V，E) 是 一 个 连通 无 向 图 ， 
并 有 定义 在 边 集合 上 的 实数 值 权重 旺 数 ww。 设 集合 A 为 E 的 一 个 子 集 ， 该 子 集 包 含 
在 图 G 的 某 个 最 小 生成 树 中 。 又 设 (S，V 一 S) 为 G 中 任意 尊重 集合 A 的 一 个 切割 ， 边 
(u，v) 是 一 条 横 跨 切割 (S，V 一 S) 且 对 于 集合 A 安全 的 边 。 那 么 边 (“， 切 是 该 切割 的 一 
条 轻 量 级 边 。 请 通过 举 出 反例 来 证 明 Sabatier 教授 的 猜想 是 不 正确 的 。 
TERR: 如 果 图 G 的 一 条 边 (u，w) 包 含 在 图 G 的 某 棵 最 小 生成 树 中 ， 则 该 条 边 是 横 跨 图 G 
的 某 个 切割 的 一 条 轻 量 级 边 。 
给 出 一 个 连通 图 的 例子 ， 使 得 边 集合 {(u，w) : 存在 一 个 切割 (S,，V 一 S)， 使 得 (wu，w) 
是 横 跨 该 切割 的 一 条 轻 量 级 边 )} 不 形成 一 棵 最 小 生成 树 。 
设 e 为 连通 图 G 二 (V，E) 的 某 条 环 路 上 权重 最 大 的 边 。 证 明 ; 图 G = 二 (V，E 一 {e}) 中 存 
在 一 棵 最 小 生成 树 ， 它 也 同时 是 G 的 最 小 生成 树 。 也 就 是 说 ， 图 G 中 存在 一 棵 不 包含 
We 的 最 小 生成 树 。 
TER: 如 果 对 于 图 的 每 个 切割 ， 都 存在 一 条 横 跨 该 切割 的 唯一 的 轻 量 级 边 ， 则 该 图 存在 
一 棵 唯一 的 最 小 生成 树 。 并 通过 举 出 反例 来 证 明 其 逆 论 断 不 成 立 。 
WAR: 如 果 一 个 图 的 所 有 边 的 权重 都 是 正 值 ， 则 任意 一 个 连接 所 有 结 点 且 总 权重 最 小 的 
一 个 边 集合 必然 形成 一 棵 树 。 另 外 ， 请 举 出 例子 来 证 明 : 如 果 人 允许 某 些 边 的 权重 为 负 
值 ， 则 该 论断 不 成 立 。 
设 T 为 图 G 的 一 棵 最 小 生成 树 ， 设 工 为 树 工 中 一 个 边 权 重 的 有 序列 表 。 证 明 ， 对 于 图 
G 的 任何 其 他 最 小 生成 树 T'， 列 表 工 也 是 TT' 中 一 个 边 权 重 的 有 序列 表 。 
设 T 为 G= 二 (V，E) 的 一 棵 最 小 生成 树 ,， 设 VV 为 V 的 一 个 子 集 。 设 T 为 由 六 所 诱导 的 
THTA, 设 G 为 由 V 诱导 的 G 的 子 图 。 WH: MR TRH, 则 人 是 G 的 一 棵 
最 小 生成 树 。 
给 定 图 G 和 0G 的 一 棵 最 小 生成 树 T， 假 设 减 小 了 工 中 一 条 边 的 权重 。 证 明 : TRA GH 
一 棵 最 小 生成 树 。 更 形式 化 地 ， 设 TA G 的 一 棵 最 小 生成 树 ，G 的 边 权重 由 权重 函数 多 给 
出 。 选 择 一 条 边 (z，y)E 开 和 一 个 正 数 &， 并 定义 下 述 的 权重 函数 w: 
wlu, v) (u,v) Æ (x,y) 
wlrsy)—k 车 (xu) = (x,y) 
WER: 工 仍然 是 G 的 一 棵 最 小 生成 树 ， 这 里 G 的 边 权重 由 函数 w' 给 出 。 


w (u,v) = 


366 。 第 六 部 分 算 法 


*23. 1-11 给 定 图 G 和 一 棵 最 小 生成 树 工 ， 假 设 减 小 了 位 于 工 之 外 的 某 条 边 的 权重 。 请 给 出 一 个 


在 修改 后 的 图 中 寻找 最 小 生成 树 的 算法 。 


23.2 Kruskal 算法 和 Prim 算法 


本 节 对 最 小 生成 树 问 题 的 两 个 经 典 算法 进行 讨论 。 这 两 种 算法 都 是 前 一 节 所 讨论 的 通用 算 
法 的 细 化 ， 每 种 算法 都 使 用 一 条 具体 的 规则 来 确定 GENERIC-MST 算 法 第 3 行 所 描述 的 安全 边 ， 
在 Kruskal 算法 中 ， 集 合 A 是 一 个 和 森林， 其 结 点 就 是 给 定 图 的 结 点 。 每 次 加 入 到 集合 A 中 的 安 
全 边 永 远 是 权重 最 小 的 连接 两 个 不 同 分 量 的 边 。 在 Prim 算法 里 ， 集合 A 则 是 一 棵 树 。 每 次 加 入 
到 A 中 的 安全 边 永远 是 连接 A 和 A 之 外 某 个 结 点 的 边 中 权重 最 小 的 边 。 

Kruskal 算法 

Kruskal 算法 找到 安全 边 的 办 法 是 ， 在 所 有 连接 森林 中 两 棵 不 同 树 的 边 里 面 ， 找 到 权重 最 小 
HJ Cu, v) WC 和 Ci 为 边 (u，) 所 连接 的 两 棵 树 。 由 于 边 (u，wv) 一 定 是 连接 C MEHR 
树 的 一 条 轻 量 级 边 ， 推 论 23. 2 隐 含 告诉 我 们 ， 边 (wu，wv) 是 C 的 一 条 安全 边 。 很 显然 ，Kruskal 
算法 属于 贪心 算法 ， 因 为 它 每 次 都 选择 一 条 权重 最 小 的 边 加 入 到 森林 。 

Kruskal 算法 的 实现 与 21. 1 证 所 讨论 的 计算 连通 分 量 的 算法 类 似 。 我 们 使 用 一 个 不 相交 和 集 
合 数 据 结构 来 维护 几 个 互 不 相交 的 元 素 集 合 。 每 个 集合 代表 当前 森林 中 的 一 棵 树 。 操 作 FIND 
SET(w) 用 来 返回 包 仿 元素 u 的 集合 的 代表 元 素 。 我 们 可 以 通过 测试 FIND-SET(w) 是 否 等 于 
FIND-SET(v) 来 判断 结 点 u 和 结 点 v 是 否 属于 同一 棵 树 。Kruskal 算法 使 用 UNION 过 程 来 对 两 
棵 树 进行 合并 。 

MST-KRUSKAL(G, w) 

A= 
for each vertex VE G. V 
MAKE-SET(v) 


sort the edges of G. E into nondecreasing order by weight w 


if FIND-SET(v) ÆFIND-SET (v) 
A=AU {(u,v)} 
UNION (Cu 9 v) 


1 
2 
3 
4 
5 for each edge(u,v) €G. E, taken in nondecreasing order by weight 
6 
7 
8 
9 return A 


图 23-4 描述 的 是 Kruskal 算法 的 工作 过 程 。 算 法 的 第 1 一 3 行将 集合 A 初始 化 为 一 个 空 集 
合 ， 并 创建 |V| 棵 树 ， 每 棵 树 仅 包含 一 个 结 点 。 算 法 第 5 一 8 行 的 for 循环 按照 权重 从 低 到 高 的 次 
序 对 每 条 边 逐 一 进行 检查 。 对 于 每 条 边 (u，wv) 来 说 ， 该 循环 将 检查 端点 u 和 端点 v 是 否 属于 同 -一 
棵 树 。 如 果 是 ， 该 条 边 不 能 加 入 到 森林 里 (否则 将 形成 环 路 ) 。 如 果 不 是 ， 则 两 个 端点 分 别 属 于 不 
同 的 树 ， 算 法 第 7 行将 把 这 条 边 加 入 到 集合 A 中 ,第 8 行 则 将 两 棵 树 中 的 结 点 进行 合并 。 

对 于 图 G=(V, E), Kruskal 算法 的 运行 时 间 依 赖 于 不 相交 集合 数据 结构 的 实现 方式 。 假 定 
使 用 21. 3 节 所 讨论 的 不 相交 集合 森林 实现 ， 并 增加 按 秩 合并 和 路 径 压 缩 的 功能 ， 因 为 这 是 目前 
已 知 的 渐 近 时 间 最 快 的 实现 方式 。 在 这 种 实现 模式 下 ， 算 法 第 1 行 对 集合 A 的 初始 化 时 间 为 
O(1)， 第 4 行 对 边 进行 排序 的 时 间 为 O(CElg 匹 )( 稍 后 将 会 讨论 算法 第 2~3 行 for 循环 中 的 | 人 | 个 
MAKE-SET 操作 的 代价 ) 。 算 法 第 5 一 8 行 的 for 循环 执行 OCEA FIND-SET 和 UNION 操作 。 
与 |V | 个 MAKE-SET 操作 一 起 ， 这 些 操作 的 总 运行 时 间 为 O((V 十 E)a(V))， 这 里 a 是 21.4 节 
所 定义 的 一 个 增长 非常 缓慢 的 函数 。 由 于 假定 图 G 是 连通 的 ， 因 此 有 |E| 宇 |V| 一 1， 所 以 不 相 
交集 合 操 作 的 时 间 代 价 为 OCEa(V))。 而 且 ， 由 于 a(|V|)= 二 OUgV) 二 O(NgE)，Kruskal 算法 的 
总 运行 时 间 为 O(ElgE)。 如 果 再 注意 到 |E| 二 |V|1?, WE lg|E|= 二 OUgV)， 因 此 ， 我 们 可 以 将 
Kruskal 算法 的 时 间 重 新 表示 为 OC(ElgV)。 





图 23-4 





H Ita URNATA 


A 
ished Pe REY 





prear 
OLILAR] 





(m) (n) 


在 图 23-1 上 执行 Kruskal 算 法 的 过 程 。 加 了 阴影 的 边 属于 不 断 增长 的 森林 A。 该 算法 按 
照 边 的 权重 大 小 依次 进行 考虑 。 箭 头 指向 的 边 是 算法 每 一 步 所 考察 的 边 。 如 果 该 条 边 
将 两 棵 不 同 的 树 连 接 起 来 ， 它 就 被 加 入 到 森林 里 ， 从 而 完成 对 两 棵 树 的 合并 
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Prim 算法 

与 Kruskal 算法 类 似 ，Prim 算法 也 是 23. 1 节 所 讨论 的 通用 最 小 生成 树 算 法 的 一 个 特例 。 
Prim 算法 的 工作 原理 与 Dijkstra 的 最 短路 径 算 法 相似 (该 算法 将 在 24. 3 市 中 讨论 ) Prim 算法 所 
具有 的 一 个 性 质 是 集合 A 中 的 边 总 是 构成 一 棵 树 。 如 图 23-5 所 示 ， 这 棵 树 从 一 个 任意 的 根 结 点 
开始， 一 直 长 大 到 有 覆盖 V 中 的 所 有 结 点 时 为 止 。 算 法 每 一 步 在 连接 集合 A 和 A 之 外 的 结 点 的 
所 有 边 中 ， 选 择 一 条 轻 量 级 边 加 入 到 A 中 。 根 据 推论 23.2， 这 条 规则 所 加 入 的 边 都 是 对 A 安全 
的 边 。 因 此 ， 当 算法 终止 时 ，A 中 的 边 形 成 一 棵 最 小 生成 树 。 本 策略 也 属于 贪心 策略 ， 因 为 每 一 
步 所 加 入 的 边 都 必须 是 使 树 的 总 权重 增加 量 最 小 的 边 。 





图 23-5 在 图 23-1 上 执行 Prim 算 法 的 过 程 。 初 始 的 根 结 点 为 a。 加 阴影 的 边 和 黑色 的 结 点 都 属于 树 
A。 在 算法 每 一 步 ， 树 中 的 结 点 就 决定 了 图 的 一 个 切割 ， 横 跨 该 切割 的 一 条 轻 量 级 边 被 加 入 
到 树 中 。 例 如 ， 在 图 中 的 第 2 步 ， 该 算法 可 以 选择 将 边 (5，c) 加 入 到 树 中 ， 也 可 以 选择 将 边 
(a，h) 加 入 到 树 中 ， 因 为 这 两 条 边 都 是 横 跨 该 切割 的 轻 量 级 边 
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为 了 有 效 地 实现 Prim 算法 ， 需 要 一 种 快速 的 方法 来 选择 一 条 新 的 边 ， 以 便 加 入 到 由 集合 A 
中 的 边 所 构成 的 树 里 。 在 下 面 的 伪 代 码 中 ， 连 通 图 C 和 最 小 生成 树 的 根 结 点 7 将 作为 算法 的 输 
和 人 入。 在 算法 的 执行 过 程 中 ， 所 有 不 在 树 A 中 的 结 点 都 存放 在 一 个 基于 key 属性 的 最 小 优先 队列 Q 
中 。 对 于 每 个 结 点 v， 属 性 v. key 保存 的 是 连接 和 树 中 结 点 的 所 有 边 中 最 小 边 的 权重 。 我 们 约 
定 ， 如 果 不 存 在 这 样 的 边 ， 则 v. key 二 co。 属 性 v. zt 给 出 的 是 结 点 wv 在 树 中 的 父 结 点 。Prim 算法 
将 GENERIC-MST 中 的 集合 A 维持 在 A=={(v，wv. 7): vEV 一 人 7) 一 Q} 的 状态 下 。 

当 Prim 算法 终止 时 ， a Q 将 为 空 ， 而 G 的 最 小 生成 树 A 则 是 : 

= {(v,v. m:veEV— {r}} 
MST-PRIM(G, w,r) 
1 for each u€G.V 

2 u :Rey 一 co 
3 u:x= NIL 
4 r:key=0 
5 Q=G.V 
6 while Q4@ 
7 u=EXTRACT-MIN(Q) 
8 for each v€E G. Adj[u] 
9 if ve Q and wlu,v)<cv. key 
10 UV. X=u 
11 v. key =wlu, v) 


图 23-5 描述 的 是 Prim 算法 的 工作 过 程 。 算 法 第 1 一 5 行将 每 个 结 点 的 key 值 设置 为 ce( 除 根 
结 点 7 以 外 ， 根 结 点 7 的 key 值 设置 为 0， 以 便 使 该 结 点 成 为 第 一 个 被 处 理 的 结 点 )， 将 每 个 结 点 
的 父 结 点 设置 为 NIL， 并 对 最 小 优先 队列 Q 进行 初始 化 ， 使 其 包含 图 中 所 有 的 结 点 。 该 算法 维 
持 的 循环 不 变 式 由 3 个 部 分 组 成 ， 具 体 阅 述 如 下 。 

在 算法 第 6~11 行 的 while 循环 的 每 遍 循环 之 前 ， 我 们 有 : 

A={(v, um): ve V—i{r}—Q}. 

2. 已 经 加 入 到 最 小 生成 树 的 结 点 为 集合 V 一 Q。 

3. 对 于 所 有 的 结 点 vEQ， 如 果 v. rÆNIL, Mj v. key 二 co 并 且 v. key 是 连接 结 点 v 和 最 小 生 
成 树 中 某 个 结 点 的 轻 量 级 边 (v，w. 7) 的 权重 。 

算法 第 7 行将 找 出 结 点 wE€ Q， 该 结 点 是 某 条 横 跨 切 割 (V 一 Q，Q) 的 轻 量 级 边 的 一 个 端点 
(第 1 次 循环 时 例外 ， 此 时 因为 算法 的 第 4 行 ， 所 以 有 w= 二 7r)。 接 着 将 结 点 从 队列 Q 中 删除 ， 
并 将 其 加 入 到 集合 V 一 Q@ 中， 也 就 是 将 边 (u，w. xz) 加 入 到 集合 A 中。 算法 第 8 一 11 行 的 for 循 
环 将 每 个 与 邻接 但 却 不 在 树 中 的 结 点 wv 的 key 和 属性 进行 更 新 ， 从 而 维持 循环 不 变 式 的 第 3 
部 分 成 立 。 

Prim 算法 的 运行 时 间 取 决 于 最 小 优先 队列 Q 的 实现 方式 。 如 果 将 Q@ 实 现 为 一 个 二 又 最 小 优 
先 队 列 ( 请 参阅 第 6 章 的 内 容 )， 我 们 可 以 使 用 BUILD-MIN-HEAP 来 执行 算法 的 第 1 一 5 行 ， 时 
间 成 本 为 OC(V) while 循环 中 的 语句 一 共 要 执行 |1V | 次 ， 由 于 每 个 EXTRACT-MIN 操作 需要 的 
时 间 成 本 为 OCgV), EXTRACT-MIN 操作 的 总 时 间 为 OC(VlgV)。 由 于 所 有 邻接 链表 的 长 度 之 和 
为 21E|， 算法 第 8 一 11 行 的 for 循环 的 总 执行 次 数 为 O(E)。 在 for 循环 里 面 ， 我 们 可 以 在 常数 
时 间 内 完成 对 一 个 结 点 是 否 属 于 队列 Q 的 判断 ， 方 法 就 是 对 每 个 结 点 维护 一 个 标志 位 来 指明 该 
结 点 是 否 属于 Q@， 并 在 将 结 点 从 Q 中 删除 的 时 候 对 该 标志 位 进行 更 新 。 算 法 第 11 行 的 赋值 操作 
涉及 一 个 隐 含 的 DECREASE-KEY 操作 ， 该 操作 在 二 又 最 小 堆 上 执行 的 时 间 成 本 为 O(lgV)。 因 
此 ，Prim 算法 的 总 时 间 代 价 为 OVlgV 十 ElgV)= 二 OCElgV)。 从 渐 近 意义 上 来 说 ， 它 与 Kruskal 
算法 的 运行 时 间 相 同 。 


370 


第 六 部 分 算 法 


如 果 使 用 斐 波 那 契 堆 来 实现 最 小 优先 队列 Q，Prim 算法 的 渐 近 运行 时 间 可 以 得 到 进一步 改 
善 。 第 19 章 的 内 容 告 诉 我 们 ， 如 果 斐 波 那 契 堆 中 有 |Y | 个 元 素 ， 则 EXTRACT-MIN 操作 的 时 间 
摊 还 代价 为 O(lgV)， 而 DECREASE-KEY 操作 (用 于 实现 算法 第 11 行 的 操作 ?的 摊 还 时 间 代 价 为 
O(G1)。 因 此 ， 如 果 使 用 斐 波 那 契 堆 来 实现 最 小 优先 队列 Q， 则 Prim 算法 的 运行 时 间 将 改进 
到 O(CE 十 VlgV)。 


练习 
23.2-1 


思考 题 


对 于 同一 个 输入 图 ，Kruskal 算法 返回 的 最 小 生成 树 可 以 不 同 。 这 种 不 同 来 源 于 对 边 进 
行 排序 时 ， 对 权重 相同 的 边 进行 的 不 同 处 理 。 证 明 : 对 于 图 G 的 每 棵 最 小 生成 树 工 ， 都 
存在 一 种 办 法 来 对 G 的 边 进行 排序 ， 使 得 Kruskal 算法 所 返回 的 最 小 生成 树 就 是 T. 
假定 我 们 用 邻接 矩阵 来 表示 图 G=(V, E). WAH Prim 算法 的 一 种 简单 实现 ， 使 其 运 
行 时 间 为 OCV). 

对 于 稀疏 图 G=(V, E), X#|E|=OWV), ， 使 用 斐 波 那 契 堆 实 现 的 Prim 算法 是 否 比 使 
用 二 又 堆 实现 的 算法 更 快 ? 对 于 稠密 图 又 如 何 呢 ? | 五 | 和 | 六 | 必须 具备 何 种 关系 才能 使 
斐 波 那 契 堆 的 实现 在 渐 近 级 别 上 比 二 又 堆 的 实现 更 快 ? 

假定 图 中 的 边 权 重 全 部 为 整数 ， 且 在 范围 1 一 |V| 内。 在 此 种 情况 下 ，Kruskal 算法 最 
快 能 多 快 ? 如 果 边 的 权重 取 值 范围 在 1 到 某 个 常数 WW 之 间 呢 ? 

假定 图 中 边 的 权重 取 值 全 部 为 整数 ， 且 在 范围 1 一 |V| A. Prim 算法 最 快 能 多 快 ? 如 果 
边 的 权重 取 值 范围 在 1 到 某 个 常数 三 之 间 呢 ? 

假定 一 个 图 中 所 有 的 边 权 重 均 匀 分 布 在 半 开 区 间 L0，1) 内 。Prim BREA Kruskal 算法 哪 
一 个 可 以 运行 得 更 快 ? 

假定 图 G 的 一 棵 最 小 生成 树 已 经 被 计算 出 来 。 如 果 在 图 中 加 入 一 个 新 结 点 及 其 相关 的 
新 边 ， 我 们 需要 多 少时 间 来 对 最 小 生成 树 进行 更 新 ? 

Borden 教授 提出 了 一 个 新 的 分 治 算法 来 计算 最 小 生成 树 。 该 算法 的 原理 如 下 : 给 定 图 
G=(V, E), 将 V 划分 为 两 个 集合 Vi 和 V,， 使 得 |Vi | 和 |V; | RBA 1. wE 为 
端点 全 部 在 Vi 中 的 边 的 集合 ，E; 为 端点 全 部 在 V: 中 的 边 的 集合 。 我 们 递归 地 解决 两 
个 子 图 Cn 一 (Vi， FE) 和 G= (V;,， E, ) 的 最 小 生成 树 问 题 。 最 后 ， 在 边 集 合 E 中 选择 横 
BUR Vi AV, 的 最 小 权重 的 边 来 将 求 出 的 两 棵 最 小 生成 树 连接 起 来 ， 从 而 形成 一 覃 
最 后 的 最 小 生成 树 。 

请 证 明 该 算法 能 正确 计算 出 一 棵 最 小 生成 树 ， 或 者 举 出 反例 来 明说 该 算法 不 正确 。 


23-1 (次 优 最 小 生成 树 ) ” 设 G=(V，E) 为 一 连通 无 向 图 ， 其 权重 函数 为 w: EPR, RE 


IE| 宇 |V| 并 且 所 有 的 权重 都 互 不 相同 。 我 们 定义 一 棵 次 优 最 小 生成 树 如 下 : TA GH 
所 有 生成 树 的 集合 ，T 为 G 的 一 棵 最 小 生成 树 。 那 么 次 优 最 小 生成 树 是 生成 树 工 ， 其 满 
Æ w(T) = min, {w(T")}. 


TERA: 最 小 生成 树 是 唯一 的 ， 但 次 优 最 小 生成 树 则 不 一 定 是 唯一 的 。 


. 设 了 为 G 的 一 棵 最 小 生成 树 。 证 明 : EGARD, WETMU(s, WET, HIF 


T 一 ((x，z)U{(Cz，y))} 是 G 的 一 棵 次 优 最 小 生成 树 。 


c. B THG 的 一 棵 最 小 生成 树 ， 对 于 任意 两 个 结 点 w，vEV， 设 maxLu，wvj 表 示 树 工 中 


从 结 点 到 结 点 的 简单 路 径 上 最 大 权重 的 边 ， 请 给 出 一 个 CC ) 时 间 复 杂 度 的 算法 来 


”计算 maxlu, vl. 


23-2 
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d. 给 出 一 个 有 效 算法 来 计算 图 G 的 次 优 最 小 生成 树 。 

(稀疏 图 的 最 小 生成 树 )” 对 于 非常 稀疏 的 图 G 二 (V，E) 来 说 ， 我 们 可 以 对 Prim 算法 进行 
进一步 改善 ， 改 善后 的 时 间 将 优 于 使 用 斐 波 那 契 堆 时 的 OCE+V lgV) 的 运行 时 间 。 改 善 所 
用 的 方法 就 是 对 图 G 进行 预 处 理 来 减少 结 点 的 数量 ， 然 后 在 减少 结 点 数量 后 的 图 C 上 运 
ÍT Prim 算法 。 具 体 来 说 ， 对 于 每 个 结 点 w， 我 们 选择 与 结 点 u 邻接 的 边 中 最 小 权重 的 边 
(uw，v)， 将 其 加 入 到 正在 构建 的 最 小 生成 树 里 。 然 后 对 所 有 选择 的 边 进行 收缩 (请 参阅 
B.4 节 的 内 容 )。 不 过 ， 我 们 不 是 一 条 一 条 地 收缩 每 条 边 ， 而 是 首先 找 出 连接 到 同一 个 新 
结 点 的 结 点 集合 。 然 后 创建 一 个 新 的 图 ， 这 个 新 的 图 就 如 每 次 收缩 这 样 一 条 边 所 得 出 的 一 
样 ， 但 我 们 是 通过 “重新 命名 ”来 实现 。 重 新 命名 是 根据 每 条 边 的 端点 所 在 的 结 点 集合 来 进 
行 。 原始 图 中 的 多 条 边 可 能 被 重 命名 为 同样 的 名 。 在 这 种 情况 下 ， 重 名 的 边 中 只 有 一 条 边 
留 下 ， 这 条 边 对 应 原始 边 中 最 小 权重 的 边 。 

在 初始 时 ， 我 们 把 将 要 构建 的 最 小 生成 树 丁 设 为 空 ， 对 于 每 条 边 (u，wv) EE， 对 其 属 
PEGEFT ONE ARR IE BEHE: Cu, v).orig=(u, v), (u, v).c=wu, v), RTE orig 
属性 来 引用 原始 图 中 与 收缩 后 的 图 的 边 相 关 的 边 。 属 性 c 记录 边 的 权重 ， 随 着 边 的 收缩 ， 
我 们 根据 上 面 选择 边 权 重 的 方法 来 更 新 这 个 属性 。 下 面 的 MST-REDUCE 算法 以 图 G 和 
树 工 作为 输入 ， 返 回 一 个 收缩 后 的 图 G 和 更 新 后 的 属性 orig 与 c 。 该 算法 同时 选 出 图 G 
中 的 边 来 构成 最 小 生成 树 T 
MST-REDUCE(G, T) 

1 for each v EG. V 
2 v. mark = FALSE 
3 MAKE-SET(v) 
4 foreachu € G.V 
5 if u. mark = = FALSE 
6 choose v €G. Adj[u Jsuch that(u. v). c is minimized 
7 UNION (u,v) 
8 T=TU {(u,v)}. orig} 
9 u. mark=v. mark = TRUE 
10 G'.V={FIND-SET(v) :vEG. V} 
ll G.E=2 
12 for each(z,y)€ GE 
13 u=FIND-SET (x) 
14 v=FIND-SET(y) 


15 if(u. v) ¢G'.E 

16 G'. E=G'. EU ((u,v)} 

17 (u,v). orig’ =(x, y). orig 
18 (usv).c 一 (zyy).c 

19 else if(z,y).c<(u,v).c 

20 (u,v). orig’ =(x,¥). orig 
21 (u,v).c 一 (zy).c 


22 construct adjacency lists G’: Adj for G' 
23 return G' and T 


a. & T ABH MST-REDUCE 所 返回 的 边 的 集合 ， 设 A 为 调用 MST-Prim(G’, c, 1) ff 
生成 的 图 G 的 最 小 生成 树 ， 这 里 c 是 G .五 中 边 的 权重 属性 ，> 是 G .V 中 的 任意 结 点 。 
证 明 : TUC, y). orig: (z, VEAR G 的 一 棵 最 小 生成 树 。 

b. HER: |G. VI<|V]/2. 
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c. 请 说 明 要 如 何 实现 算法 MST-REDUCE， 才 能 让 其 运行 时 间 为 O(E) 。( 提 示 : 使 用 简单 
的 数据 结构 。) 

d. 假定 运行 MST-REDUCE 算法 & 次， 使 用 前 一 次 输出 的 图 G 作为 下 一 次 的 输入 图 G. 
并 在 工 中 将 边 累 积 起 来 。 证 明 : 算法 运行 次 的 总 时 间 为 OC(kE)。 

e 假定 在 运行 MST-REDUCE 算法 & 次 后 ， 就 如 在 本 题 的 (d) 部 分 那样 ， 我 们 通过 调用 算 
法 MST-Prim(G’, c’, r) iBT Prim 算法 ， 这 里 图 G 是 最 后 一 个 阶段 所 返回 的 图 ， 其 
权重 属性 为 c，r 是 G .V 中 的 任意 结 点 。 请 说 明 应 当 如 何 选择 &， 才 能 使 得 整体 的 运行 
时 间 为 OCElglgV)。 并 证 明 你 所 选择 的 使 得 总 体 的 渐 近 运行 时 间 为 最 短 。 

f. 对 于 |E| 的 何 种 取 值 (以 1V | 为 单位 来 度量 )， 这 种 带 预 处 理 的 Prim 算法 的 时 间 在 渐 近 
意义 上 要 优 于 没有 预 处 理 的 Prim 算 法 的 运行 时 间 ? 

(瓶颈 生成 树 ) 无 向 图 G 的 瓶颈 生成 树 工 是 CG 的 一 棵 生成 树 ， 其 最 大 边 的 权重 是 G 的 所 

有 生成 树 中 最 小 的 。 我 们 称 瓶 颈 生 成 树 工 的 值 是 工 中 最 大 权重 边 的 权重 。 

a. 证 明 : 最 小 生成 树 是 瓶颈 生成 树 。 

本 题 的 (a) 部 分 显示 ， 找 出 一 棵 瓶颈 生成 树 并 不 比 找 出 一 棵 最 小 生成 树 更 难 。 在 本 题 
余下 的 部 分 ， 我 们 就 来 演示 如 何在 线性 时 间 内 找到 一 棵 瓶颈 生成 树 。 

b. 请 给 出 一 个 线性 时 间 的 算法 ， 在 给 定 图 C 和 整数 2 的 情况 下 ， 能 够 判断 瓶颈 生成 树 的 
值 是 否 最 大 不 超过 b- 

c. 使 用 本 题 (b) 部 分 的 算法 ， 设 计 一 个 瓶颈 生成 树 问 题 的 线性 时 间 算 法 ， 该 算法 将 以 (b) 
部 分 的 算法 作为 子 程序 。 Gar: 考虑 使 用 一 个 子 程 序 来 对 边 的 集合 进行 收缩 ， 就 如 忆 
考题 23-2 中 所 描述 的 MST-REDUCE 算法 一 样 。) 

(第 三 种 最 小 生成 树 算 法 ) 在 本 题 中 ,我 们 给 出 三 种 不 同 算法 的 伪 代 码 。 每 种 算法 的 输入 

都 是 一 个 连通 图 和 一 个 权重 函数 ， 返 回 值 都 是 一 个 边 的 集合 T. 对 于 每 种 算法 ， 要 么 证 明 

TT 是 一 棵 最 小 生成 树 ， 要 人 么 证 明代 不 是 一 棵 最 小 生成 树 。 同 时 给 出 每 种 算法 的 最 有 效 的 实 

现 (不 管 该 算法 是 否 能 够 计算 出 最 小 生成 树 ) 。 

a. MAYBE-MST-A(G, w) 

1 sort the edges into nonincreasing order of edge weights w 
T=E 


for each edge e, taken in nonincreasing order by weight 


T=T-— {e} 


2 
3 
4 if T— {e}is a connected graph 
5 
6 return T 


b. MAYBE-MST-B(G, w) 

1 T=Ø 

2 for each edge e,taken in arbitrary order 
3 if TU {e}has no cycles 

4 T=TU {e} 

5 


return T 


c. MAYBE-MST-C(G, w) 
1 T=0 
2 for each edge e, taken in arbitrary order 
3 T=TU {e} 
if T has a cycle c 


T=T—{e’} 


4 
5 let e’ be a maximum-weight edge on c 
6 
7 return T 
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本 章 注 记 

TarjianL330] 对 最 小 生成 树 问 题 进 行 了 综述 并 提供 了 非常 好 的 参考 资料 。Graham 和 Hell 
[151 编 扎 了 最 小 生成 树 问 题 的 历史 。 

Tarjan 将 第 一 个 最 小 生成 树 算 法 归功 于 O. Boravka 于 1926 年 所 撰写 的 一 篇 论文 。Boravka 算 
法 由 运行 OUgV) iN MST-REDUCE 算法 组 成 (该 算法 在 思考 题 23-2 中 有 详细 描述 )。Kruskal 算 
法 由 Kruskal[222] 在 1956 年 发 表 。 众 所 周知 的 Prim 算法 的 确 由 PrimL285j 所 发 明 ， 但 该 算法 在 
1930 年 就 由 V. Jarnik 发 明 过 。 

在 寻找 最 小 生成 树 时 ， 贪 心算 法 非常 有 效 的 原因 是 图 的 森林 集合 形成 一 个 图 拟 阵 ( 请 参阅 
16.4 节 )。 

当 | 五 |=QCVlgV 时 ， 以 斐 波 那 契 堆 实现 的 Prim 算法 的 运行 时 间 为 OCE). XFA EK 
说 ， 如 果 组 合 使 用 Prim 算法 、Kruskal 算法 和 Bortvka 算法 的 思想 ， 加 上 高 级 的 数据 结构 ， 
Fredman 和 Tarjan[L 114 | 描述 了 一 个 运行 时 间 为 OCE lg *V) 的 最 小 生成 树 算法 。Gabow、Galil、 
Spencer 和 Tarjan[ 120] 将 该 算法 进行 了 改进 ， 改 进 后 的 运行 时 间 为 OCElglg* V). Chazellel60]4 
出 了 一 个 运行 时 间 为 OC(Ea(E,，V)) 的 最 小 生成 树 算法 ， 这 里 ec( 正 ，V) 是 Ackermann 函数 的 反 郴 
数 。( 关 于 Ackermann 函数 及 其 反 函 数 的 信息 ， 请 参阅 第 21 章 的 注 记 。) 与 以 前 的 最 小 生成 树 算 
法 不 同 的 是 ，Chazelle 算法 并 没有 采用 贪心 策略 。 

一 个 与 最 小 生成 树 相 关 的 问题 是 生成 树 的 验证 问题 。 在 该 问题 中 ， 给 定 图 G=(V, DAW 
TCE, 我们 希望 判断 工 是 否 是 G 的 一 棵 最 小 生成 树 。KingL203] 给 出 了 一 个 线性 时 间 的 验证 算 
法 来 验证 一 棵 生成 树 ， 该 工作 建立 在 Komlos[ 215 ] 和 Dixon, Rauch 和 Tarjan[ 90 | 的 更 早 的 工作 
基础 之 上 。 

上 述 的 所 有 算法 都 是 确定 性 的 ， 都 属于 第 8 章 所 讨论 的 基于 比较 的 模型 。Karger、Klein 和 
TarjanL195 给 出 了 一 个 随机 化 的 最 小 生成 树 算 法 ， 其 期 望 的 时 间 复 杂 度 为 O(V 十 E)。 该 算法 对 
递归 调用 的 使 用 有 点 类 似 9. 3 节 所 讨论 的 线性 时 间 选 择 算 法 : 首先 对 一 个 辅助 问题 进行 递归 调 
用 ， 以 识别 出 不 可 能 属于 任何 最 小 生成 树 的 边 的 子 集 E., RE. EWES E-E 上 进行 另 一 个 
递归 调用 ， 以 找 出 最 小 生成 树 。 该 算法 还 使 用 了 生成 树 验 证 的 Boruvka 算法 和 King 算法 中 的 一 
些 思想 。 

Fredman 和 WillardL116j 描 述 了 一 种 非 比较 的 确定 性 算法 ， 可 以 在 OC(V 十 E) 时 间 内 找到 一 棵 
最 小 生成 树 。 在 他 们 的 算法 中 ， 需 要 假定 所 有 的 数据 都 是 5 位 的 整数 ， 并 且 计 算 机 的 内 存 是 由 可 
寻 址 的 5 位 字 所 组 成 。 
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单 源 最 短路 径 


Patrick 教授 希望 找到 一 条 从 菲尼克斯 (Phoenix) 到 印第安 纳 波 利 斯 (Indianapolis) 的 最 短路 径 ， 
给 定 一 幅 美国 的 道路 交通 图 ， 上 面 标 有 所 有 相 邻 城市 之 间 的 距离 ，Patrick 教授 怎样 才能 找 出 这 
样 一 条 最 短 的 路 径 呢 ? 

一 种 可 能 的 办 法 当然 是 ， 先 将 从 菲尼克斯 到 印第安 纳 波 利 斯 的 所 有 路 径 都 找 出 来 ， 将 每 条 路 径 上 - 
的 距离 累加 起 来 ， 然 后 选择 其 中 最 短 的 路 径 。 但 是 ， 即 使 在 不 允许 环 路 的 情况 下 ， 也 可 以 看 得 出 来 ， 
Patrick 教授 需要 检查 无 数 种 可 能 的 路 径 ， 而 其 中 的 大 多 数 路 径 根 本 不 值得 检查 。 例 如 ， 一 条 从 非 尼克 
斯 经 过 西雅图 再 到 印第安 纳 波 利 斯 的 路 径 显 然 不 符合 要 求 ， 因 为 西雅图 已 经 偏离 了 目标 方向 好 几 百 炎 里 ，。 

在 本 章 以 及 第 25 章 ， 我 们 将 阐述 如 何 高 效 地 解决 这 个 问题 。 在 最 短路 径 问 题 中 ， 我 们 给 定 
一 个 带 权 重 的 有 向 图 G 二 (V，E) 和 权重 函数 w: EF 一 R， 该 权重 函数 将 每 条 边 映射 到 实数 值 的 权 
重 上 。 图 中 一 条 路 径 p=(m, ur, NRE wlp) 是 构成 该 路 径 的 所 有 边 的 权重 之 和 |: 


k 
w(p) = X wv +) 


定义 从 结 点 到 结 点 v 的 最 短路 径 权重 6(u，v) 如 下 : 
min{w(p):uv) ”如 果 存 在 一 条 从 结 点 w 到 结 点 v 的 路 径 
co 其 他 
从 结 点 x 到 结 点 ”的 最 短路 径 则 定义 为 任何 一 条 权重 为 忆 ( 办 三 SC(x， 切 的 从 xz 到 的 路 径 p。 

在 求 取 从 菲尼克斯 到 印第安 纳 波 利 斯 的 最 短路 径 的 例子 中 ， 我 们 可 以 用 一 幅 图 来 表示 道路 
交通 图 : 结 点 代表 城市 ， 边 代表 城市 之 间 的 道路 ， 边 上 的 权重 代表 道路 的 长 度 。 我 们 的 目标 就 是 
找 出 一 条 从 给 定 城市 菲尼克斯 到 给 定 城市 印第安 纳 波 利 斯 的 最 短路 径 。 

当然 ， 边 上 的 权重 也 可 以 代表 非 距 离 的 度量 单位 ， 如 时 间 、 成 本 、 罚 款 、 损 失 ， 或 者 任何 其 
他 可 以 随 路 径 长 度 的 增加 而 线性 积累 的 数量 以 及 我 们 想 要 最 小 化 的 数量 。 

22. 2 节 讨 论 的 广度 优先 搜索 算法 就 是 一 个 求 取 最 短路 径 的 算法 ， 但 该 算法 只 能 用 于 无 权重 
的 图 ， 即 每 条 边 的 权重 都 是 单位 权重 的 图 。 由 于 许多 广度 优先 搜索 的 概念 来 源 于 对 带 权 重 的 图 
的 最 短路 径 的 研究 ， 读 者 可 能 需要 先 复 习 22. 2 节 的 内 容 ， 再 继续 本 章 的 学 习 。 

最 短路 径 的 几 个 变 体 

在 本 章 ， 我 们 集中 精力 讨论 单 源 最 短路 径 问 题 : 给 定 一 个 图 G 二 (V，E)， 我 们 希望 找到 从 
给 定 源 结 点 sSEV 到 每 个 结 点 vEYV 的 最 短路 径 。 单 源 最 短路 径 问 题 可 以 用 来 解决 许多 其 他 问题 ， 
其 中 就 包括 下 面 的 几 个 最 短路 径 的 变 体 问题 。 

单 目的 地 最 短路 径 问 题 : 找到 从 每 个 结 点 到 给 定 目的 地 结 点 上 的 最 短路 径 。 如 果 将 图 的 每 
条 边 的 方向 翻转 过 来 ， 我 们 就 可 以 将 这 个 问题 转换 为 单 源 最 短路 径 问题 。 

单 结 点 对 最 短路 径 问 题 : 找到 从 给 定 结 点 x 到 给 定 结 点 的 最 短路 径 。 如 果 解 决 了 针对 单个 
结 点 x 的 单 源 最 短路 径 问题 ， 那 么 也 就 解决 了 这 个 问题 。 而 且 ， 在 该 问题 的 所 有 已 知 算法 中 ， 琉 
坏 情 况 下 的 渐 近 运行 时 间 都 和 最 好 的 单 源 最 短路 径 算法 的 运行 时 间 一 样 。 

所 有 结 点 对 最 短路 径 问题 ， 对 于 每 对 结 点 uw 和 vw， 找到 从 结 点 w 到 结 点 wv 的 最 短路 径 。 虽 然 
可 以 针对 每 个 结 点 运行 一 遍 单 源 最 短路 径 算 法 ， 但 通常 可 以 更 快 地 解决 这 个 问题 。 此 外 ， 该 问题 
结构 的 本 身 就 很 有 趣 。 第 25 章 将 详细 讨论 所 有 结 点 对 最 短路 径 问 题 。 

最 短路 径 的 最 优 子 结构 

最 短路 径 算法 通常 依赖 最 短路 径 的 一 个 重要 性 质 : 两 个 结 点 之 间 的 一 条 最 短路 径 包 含 着 并 





(u,v) = 
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他 的 最 短路 径 。( 第 26 章 讨论 的 Edmonds-Karp 最 大 流 算法 也 依赖 于 这 个 性 质 。) 回 顾 前 面 介绍 的 
内 容 ， 最 优 子 结构 是 可 以 使 用 动态 规划 (第 15 章 ) 和 贪心 算法 (第 16 章 ) 的 一 个 重要 指标 。 我 们 将 
在 24. 3 节 讨 论 的 Dijkstra 算法 就 是 一 个 贪心 算法 ， 而 Floyd-Warshall 算法 则 是 一 个 动态 规划 算 
法 ， 该 算法 能 够 找 出 所 有 结 点 对 之 间 的 最 短路 径 ( 请 参阅 25.2 节 )。 下 面 的 引 理 精确 地 叙述 了 最 
短路 径 的 最 优 子 结构 性 质 。 

引 理 24. 1( 最 短路 径 的 子路 径 也 是 最 短路 径 ) 给 定 带 权重 的 有 向 图 G 一 (V，EE) 和 权重 函数 
w: E>R, BR p=(y, us» s AAAS v 到 结 点 vw 的 一 条 最 短路 径 ， 并 且 对 于 任意 的 i 和 
js (Sipser, Ke py = (Uis Vitis oes UV ABE p PME vi NA Rv; AFB, MA 加 是 
从 结 点 v; 到 结 点 v; 的 一 条 最 短路 径 。 

证 明 如 果 将 路 径 p 分 解 为 vo。 入 vi 入 vw Bar» 则 有 wp) = wl poi) Tw py) Twp) 0 现 
在 ， 假 设 存在 一 条 从 v 到 wv HORE py B wp )<w(p,). IW) wm 40, 40; Yo, BRE 
点 vo 到 结 点 u 的 权重 为 w(po;) 十 wpi ) 十 w(pis) 的 路 径 ， 而 该 权重 小 于 w). KS pBM mw 
到 的 一 条 最 短路 径 这 一 假设 相 矛 盾 。 图 

负 权 重 的 边 

某 些 单 源 最 短路 径 问 题 可 能 包括 权重 为 负 值 的 边 。 但 如 果 图 G 二 (VV，E) 不 包含 从 源 结 点 s 可 
以 到 达 的 权重 为 负 值 的 环 路 ， 则 对 于 所 有 的 结 点 vEV， 最 短路 径 权 重 6(s，wv) 都 有 精确 定义 ， 即 
使 其 取 值 是 负数 。 如 果 图 G 包 含 从 s 可 以 达到 的 权重 为 负 值 的 环 路 ， 则 最 短路 径 权 重 无 定义 。 从 
s 到 该 环 路 上 的 任意 结 点 的 路 径 都 不 可 能 是 最 短路 径 ， 因 为 我 们 只 要 沿 着 任何 最短” 路 径 再 遍历 
一 次 权重 为 负 值 的 环 路 ， 则 总 是 可 以 找到 一 条 权重 更 小 的 路 径 。 如 果 从 结 点 s 到 结 点 v 的 某 条 路 
径 上 存在 权重 为 负 值 的 环 路 ， 我 们 定义 Os, =o, 

图 24-1 描述 的 是 负 权 重 和 权重 为 负 值 的 环 路 对 最 短路 径 权 重 的 影响 。 因 为 从 结 点 s 到 结 点 a 
只 有 一 条 路 径 ( 路 径 (s，a))， 所 以 有 Os, D=wls, a)=3, BiH, MAR 到 结 点 2 也 只 有 
一 条 路 径 ， 因 此 ls, D=wls, awla, =34+(-H=—1. NR s 到 结 点 c 则 有 无 数 条 路 
4B: ls, Cs (s, Cy dy C)s lss cs d, Cr d, OF, AAKEKB ic, dg HAEA 6+(—-3)= 
3>0, Mahe s BZA c 的 最 短路 径 是 (*，c)， 其 权重 为 Os, D=wls, D=5, BH, MAA 
5 到 结 点 d WRAKKEN, co d), HMBA Os, d=ws, c)+wle, d)=11. KH, A 
点 5 到 结 点 e 也 有 无 数 条 路 径 : (Sy e)s (Sy Cy fs e)s (Sy es fy es fy œ, 等 等 。 因为 环 路 
le，f，e) 的 权重 为 3 十 (一 6)= 二 一 3 二 0， 从 结 点 s 到 结 点 e 没有 最 短路 径 。 通 过 遍历 负 权 重 环 路 
《e，f，e) 任 意 次 数 ， 可 以 找到 权重 为 任意 负 值 的 从 结 点 s 到 结 点 e 的 路 径 ， 因 此 $(s，e) 王 一 ce。 
KWM, ACs, P=., AAAA g 可 以 从 结 点 f 到 达 ， 我 们 可 以 找到 一 条 权重 为 任意 负 值 的 
从 结 点 s 到 结 点 g 的 路 径 ， 因 此 els, g) =o., Ah i 和 j 也 形成 一 个 权重 为 负 值 的 环 路 ， 
但 它们 不 能 从 结 点 s 到 达 ， 因 此 os, h)=6(s, D=s, p=, 

b 





图 24-1 有 向 图 中 的 负 权 重 边 。 从 源 结 点 s 到 每 个 结 点 之 间 的 最 短路 径 的 权重 标记 在 每 个 结 点 中 。 因 为 结 点 e 
和 结 点 8 形成 一 个 权重 为 负 值 且 可 以 从 结 氮 到达 的 环 路 ， 它 们 的 最 短路 径 权 重 为 一 c2。 因 为 结 点 
g 可 以 从 一 个 最 短路 径 权 重 为 一 oo 的 结 点 到 达 ， 它 的 最 短路 径 权重 也 是 一 co。 结 点 h、i 和 j 不 能 
从 源 结 点 s 到 达 ， 因 此 ， 它 们 的 最 短路 径 权重 为 eo， 即使 它们 也 在 一 条 权重 为 负 值 的 环 路 上 


376 。 第 六 部 分 算 法 


某 些 最 短路 径 算 法 (如 Dijkstra 算 法 ) 假 设 输入 图 的 所 有 的 边 权 重 为 非 负 值 。 例 如 ， 道 路 
交通 图 的 例子 中 所 有 权重 都 为 正 值 。 另 外 一 些 算法 (如 Bellman-Ford 算 法 )， 人 允许 输入 图 中 包 
含 负 权 重 的 边 。 但 只 要 没有 可 以 从 源 结 点 到 达 的 权重 为 负 值 的 环 路 ， 就 可 以 生成 正确 的 答 
案 。 在 通常 情况 下 ， 如 果 存 在 一 条 权重 为 负 值 的 环 路 ，Bellman-Ford 算法 可 以 侦 测 并 报告 其 
存在 。 

环 路 

一 条 最 短路 径 可 以 包含 环 路 吗 ? 正如 我 们 已 经 看 到 的 ， 最 短路 径 不 能 包含 权重 为 负 值 的 环 
路 。 而 事实 上 ， 最 短路 径 也 不 能 包含 权重 为 正 值 的 环 路 ， 因 为 只 要 将 环 路 从 路 径 上 删除 就 可 以 得 到 
一 条 源 结 点 和 终结 点 与 原来 路 径 相 同 的 一 条 权重 更 小 的 路 径 。 也 就 是 说 ， 如 果 P= (ms Us os USE 
条 路 径 ， C= (Uis Utis "s zj) 是 该 路 径 上 的 一 条 权重 为 正 值 的 环 路 (因此 ， U; = Vj 并 且 wc) >> 
0)， 则 路 径 p'=(uys W, os Us Upis Vazo > UKE w(p)=wlp)—wle)<wlp), A 
此 ，p 不 可 能 是 从 vo Bu. 的 一 条 最 短路 径 。 

RRR FMEA 0 的 环 路 。 我 们 可 以 从 任何 路 径 上 删除 权重 为 0 的 环 路 而 得 到 另 一 条 权 
重 相同 的 路 径 。 因 此 ， 如 果 从 源 结 点 s 到 终结 点 v 存在 一 条 包含 权重 为 0 的 环 路 的 最 短路 径 ， 则 
也 同时 存在 另 一 条 不 包含 该 环 路 的 从 结 点 * 到 结 点 v 的 最 短路 径 。 只 要 一 条 最 短路 径 上 还 有 权重 
AO 的 环 路 ， 我 们 就 可 以 重复 删除 这 些 环 路 ， 直 到 得 到 一 条 不 包括 环 路 的 最 短路 径 。 因 此 ， 不 失 
一 般 性 ， 我 们 可 以 假定 在 找到 的 最 短路 径 中 没有 环 路 ， 即 它们 都 是 简单 路 径 。 由 于 图 
G 二 (V，E) 中 的 任意 无 环 路 径 最 多 包含 |V | 个 不 同 的 结 点 ， 它 也 最 多 包含 1V| 一 1 条 边 。 因 此 、 
我 们 可 以 将 注意 力 集中 到 至 多 只 包含 |V| 一 1 条 边 的 最 短路 径 上 。 

最 短路 径 的 表示 

在 通常 情况 下 ， 我 们 不 但 希望 计算 出 最 短路 径 权重 ， 还 希望 计算 出 最 短路 径 上 的 结 点 .我们 
对 最 短路 径 的 表示 与 22. 2 市 中 对 广度 优先 搜索 树 的 表示 类 似 。 给 定 图 G 二 (V，E)， 对 于 每 个 结 
点 v， 我 们 维持 一 个 前 驱 结 点 v. x。 该 前 驱 结 点 可 能 是 男 一 个 结 点 或 者 NIL。 本 章 的 最 短路 径 算 
法 将 对 每 个 结 点 的 x 属性 进行 设置 这样， 将 从 结 点 v 开 始 的 前 驱 结 点 链 反 转 过 来 ， 就 是 从 s 到 
v 的 一 条 最 短路 径 。 因 此 ， 给 定 结 点 v， 且 wv. x 关 NIL，22.2 PRA PRINT-PATH(, s, v) 
打印 出 的 就 是 从 结 点 到 结 点 的 一 条 最 短路 径 。 

但 是 ， 在 运行 最 短路 径 算 法 的 过 程 中 ，r 值 并 不 一 定 能 给 出 最 短路 径 。 如 在 广度 优先 搜索 里 
一 样 ， 我 们 感 兴趣 的 是 由 x ANATEMITA G =V, E). EXE, 我们 定义 结 点 集 V' 为 
AG 中 的 前 驱 结 点 不 为 NIL 的 结 点 的 集合 ， 再 加 上 源 结 点 *， 即 

V, = {v E Vv. n Æ NIL} U {s} 
有 癌 边 集合 E, 是 由 V, 中 的 结 点 的 x 值 所 诱导 的 边 的 集合 ， 即 
E, = { (v. wsv) E E:v E V, — {s}} 

我 们 将 证 明 本 章 的 算法 所 生成 的 rx 值 具有 如 下 性 质 : 在 算法 终止 时 ，G 是 一 棵 “最 短路 径 
树 ”。 非 形式 化 地 说 ， 最 短路 径 树 是 一 棵 有 根 结 点 的 树 ， 该 树 包括 了 从 源 结 点 s 到 每 个 可 以 从 、: 
到 达 的 结 点 的 一 条 最 短路 径 。 一 棵 最 短路 径 树 有 点 类 似 于 22. 2 节 中 的 广度 优先 树 ， 但 它 所 包括 
的 最 短路 径 是 以 边 的 权重 来 定义 的 ， 而 不 是 边 的 条 数 。 更 精确 地 说 ， 设 G 二 (V，E) 是 一 条 带 权 
重 的 有 向 图 ， 其 权重 函数 为 w: 天 >~R， 假 定 G 不 包含 从 可 以 到 达 的 权重 为 负 值 的 环 路 ， 因 此 . 
所 有 的 最 短路 径 都 有 定义 。 一 棵 根 结 点 为 * 的 最 短路 径 树 是 一 个 有 向 子 图 G =V, E), XB 
V'CV, E'CE, 满足 : 

LV 是 图 G 中 从 源 结 点 * 可 以 到 达 的 所 有 结 点 的 集合 。 

2. G 形成 一 棵 根 结 点 为 s 的 树 。 
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3. 对 于 所 有 的 结 点 vEY ， 图 G 中 从 结 点 s 到 结 点 的 唯一 简单 路 径 是 图 G 中 从 结 点 * 到 结 
点 了 的 一 条 最 短路 径 。 

需要 指出 的 是 ， 最 短路 径 不 一 定 是 唯一 的 ， 最 短路 径 树 也 不 一 定 是 唯一 的 。 例 如 ， 图 24-2 
描述 的 是 一 个 带 权 重 的 有 向 图 和 两 棵 根 结 点 相同 的 最 短路 径 树 。 





图 24-2 (a) 带 权重 的 有 向 图 ， 具有 从 源 结 点 :出 发 的 最 短路 径 权重 。(b) 加 了 阴影 的 边 形成 一 棵 根 结 点 
为 5 的 最 短路 径 树 。(c) 根 结 点 相同 的 另 一 棵 最 短路 径 树 
松弛 操作 
本 章 的 算法 需要 使 用 松弛 (relaxation) 技 术 。 对 于 每 个 结 点 v 来 说 ， 我 们 维持 一 个 属性 v d, 
用 来 记录 从 源 结 点 s 到 结 点 wv 的 最 短路 径 权 重 的 上 界 。: 我 们 称 v.d As 到 %w 的 最 短路 径 估 计 。 我 
们 使 用 下 面 运行 时 间 为 BC(V)7 的 算法 来 对 最 短路 径 估计 和 前 驱 结 点 进行 初始 化 : 


INITIALIZE-SINGLE-SOURCE(G, s) 
1 for each vertex v € G. V 


2 vu. d=00 
3 v. r= NIL 
4 s5.d=0 


在 初始 化 操作 结束 后 ， 对 于 所 有 的 结 点 EV, RMA v. x 二 NIL，s.d 王 0， 对 于 所 有 的 结 点 
vEV— {s}, 我们 有 v. d=., 

W—-AUN CU, VREA: 首先 测试 一 下 是 否 可 以 对 从 s 到 wv 的 最 短路 径 进 行 改善 。 
测试 的 方法 是 ， 将 从 结 点 s 到 结 点 之 间 的 最 短路 径 距 离 加 上 结 点 w 与 v 之 间 的 边 权 重 ， 并 与 当 
前 的 s 到 wv 的 最 短路 径 估计 进行 比较 ， 如 果 前 者 更 小 ， 则 对 ud 和 wv. x 进行 更 新 。 松 弛 步骤 9 可 
能 降低 最 短路 径 的 估计 值 v. d 并 更 新 v 的 前 驱 属 性 vw. x。 下 面 的 伪 代 码 执 行 的 就 是 对 边 (u，wv) 在 
OG1) 时 间 内 进行 的 松弛 操作 : 

RELAX(u,v,w) 

1 ifv.d>ud+w(u,v) 

2 v. d i: d+wlu,v) 


3 U. n= u 


图 24-3 描述 的 是 对 一 条 边 进 行 松弛 的 两 个 例子 。 在 其 中 一 个 例子 中 ， 最 短路 径 估 计 因 松弛 操作 
而 减少 了 ， 在 男 一 个 例子 中 ， 最 短路 径 估计 则 没有 发 生变 化 。 


加 ”也许 读者 觉得 使 用 “松弛 ?这 个 词 来 描述 一 种 对 距离 上 界 进行 收 紧 的 操作 有 点 不 可 思议 。 这 个 词 的 使 用 是 有 历史 
渊源 的 。 一 个 松弛 操作 的 结果 可 以 看 做 是 对 限制 条 件 wd& 委 xd 十 zw(x，v) 的 放松 。 根 据 三 角 不 等 式 ( 引 理 
24. 10) ， 该 不 等 式 在 u. d= 二 6(s，w) 和 vw. d 二 6(s，v) 时 必须 成 立 。 也 就 是 说 ， 如 果 v. du. d 十 wl(u，v)， 将 不 存 
在 任何 “压力 ”来 满足 该 限制 条 件 ， 因 此 ， 该 限制 条 件 是 “松弛 ”的 。 
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i RELAX(u,v,w) = RELAX(u,v,w) 


2 2 





(a) (b) 


图 24-3 ”对 权重 wu, v=2hWu, VITRERA. HETA AORA SEARE 
面 。(a) 因 为 在 松弛 操作 前 有 v.d>udt+wlu, v), Ar v. d 的 值 减 小 。(b) 在 对 边 进 行 松 
弛 操作 前 有 v. du. d 十 wu，v)， 因 此 ， 松 弛 步 又 维持 v. d 的 取 值 不 变 


本 章 的 每 个 算法 都 将 调用 算法 INITIALIZE-SINGLE-SOURCE， 然 后 重复 对 边 进行 松弛 。 而 
H, 松弛 是 唯一 导致 最 短路 径 估计 和 前 驱 结 点 发 生变 化 的 操作 。 本 章 所 讨论 的 所 有 算法 之 间 的 
不 同 之 处 是 对 每 条 边 进行 松弛 的 次 数 和 松弛 边 的 次 序 有 所 不 同 。Dijkstra 算法 和 用 于 有 回 无 环 图 
的 最 短路 径 算 法 对 每 条 边 仅 松弛 一 次 。Bellman-Ford 算法 则 对 每 条 边 松弛 |V| 一 1 次 。 

最 短路 径 和 松弛 操作 的 性 质 

为 了 证 明 本 章 所 讨论 算法 的 正确 性 ， 我 们 需要 使 用 最 短路 径 和 松弛 操作 的 一 些 性 质 。 我 们 
下 面 先 陈述 这 些 性 质 ，24. 5 节 再 来 正式 证 明 这 些 性 质 。 为 方便 读者 查阅 ， 这 里 陈述 的 每 条 性 质 
都 给 出 了 24. 5 节 中 对 应 的 引 理 和 推论 。 这 些 性 质 的 后 面 5 条 都 涉及 最 短路 径 估 计 或 前 驱 子 图 ， 
它们 成 立 的 前 提 是 必须 调用 INITIALIZE-SINGLE-SOURCE(G，s) 来 对 图 进行 初始 化 ， 并 且 所 有 
对 最 短路 径 估计 和 前 驱 子 图 所 进行 的 改变 都 是 通过 一 系列 的 松弛 步骤 来 实现 的 。 

三 角 不 等 式 性 质 ( 引 理 24. 10) WEE, VEE, RITA Xs, DSO, W+wlu, v). 

上 界 性 质 ( 引 理 24. 11) 对 于 所 有 的 结 点 v€EV， 我 们 总 是 有 v. des, v), —H v. d 的 取 值 
达到 6(s，v)， 其 值 将 不 再 发 生变 化 。 

非 路 径 性 质 (推论 24.12) 如果 从 结 点 * 到 结 点 v 之 间 不 存在 路 径 ， 则 总 是 有 vw. d= 二 6(s, =o, 

收 剑 性质 ( 引 理 24. 14) ”对 于 某 些 结 点 wu，vEV， 如 果 s~2u>v 是 图 G 中 的 一 条 最 短路 径 ， 并 
且 在 对 边 (x， 切 进行 松弛 前 的 任意 时 间 有 u d= 二 6(s，w) ， 则 在 之 后 的 所 有 时 间 有 v d=8ls, v). 

路 径 松弛 性 质 ( 引 理 24. 15) 如 果 p= (wu 9 Ups °°%s v) FEN Ra A S= W 到 结 点 Up 的 一 条 最 
短路 径 ， 并 且 我 们 对 P 中 的 边 所 进行 松弛 的 次 序 为 (w > Uds Cs Ve) > (Uris W)» 则 
w. d 二 6(s，w%)。 该 性 质 的 成 立 与 任何 其 他 的 松弛 操作 无 关 ， 即 使 这 些 松弛 操作 是 与 对 p 上 的 边 
所 进行 的 松弛 操作 穿插 进行 的 。 | 

前 驱 子 图 性 质 ( 引 理 24.17) 对 于 所 有 的 结 点 VEV, 一 旦 v. 4d 二 6(s，v)， 则 前 驱 子 图 是 一 
棵 根 结 点 为 s 的 最 短路 径 树 。 

本 章 概 要 

24. 1 节 对 Bellman-Ford 算法 进行 讨论 。 该 算法 解决 的 是 一 般 情况 下 的 单 源 最 短路 径 问 题 。 
在 一 般 情 况 下 ， 边 的 权重 可 以 为 负 值 。Bellman-Ford 算法 非常 的 简单 ， 并 且 还 能 够 侦 测 是 否 存 在 
从 源 结 点 可 以 到 达 的 权重 为 负 值 的 环 路 。24. 2 节 将 给 出 在 有 向 无 环 图 中 计算 单 源 最 短路 径 的 线 
性 时 间 的 算法 。24. 3 节 讨 论 Dijkstra 算法 。 该 算法 的 时 间 复 杂 度 低 于 Bellman-Ford 算法 ， 但 却 
要 求 边 的 权重 为 非 负 值 。24. 4 节 描 述 如 何 使 用 Bellman-Ford 算法 来 解决 线性 规划 中 的 一 种 特殊 
情况 。 最 后 ，24. 5 节 将 对 上 面 陈述 的 最 短路 径 和 松弛 操作 的 性 质 予 以 证 明 。 

在 对 无 穷 量 进行 算术 运算 时 ， 我 们 需要 使 用 一 些 约 定 。 假 定 对 于 任意 实数 as 天 一 cc2， 有 ca 十 
co 一 co 十 a 二 cc。 同 时， 为 了 使 我 们 的 证 明 在 有 权重 为 负 值 的 环 路 时 也 成 立 ， 还 假定 对 于 任意 实 
数 aż, A a 十 (一 ce) 王 (一 ce) 十 4 一 一 co。 

本 章 所 讨论 的 所 有 算法 都 假定 有 向 图 G 以 邻接 链表 的 方式 予以 存放 。 此 外 ， 边 的 权重 与 边 
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本 身 存放 在 一 起 ， 这 样 在 遍历 每 条 邻接 链表 时 ， 我 们 可 以 在 O(1) 时 间 内 获得 边 的 权重 。 


24. 1 Bellman-Ford 算法 


Bellman-Ford 算法 解决 的 是 一 般 情 况 下 的 单 源 最 短路 径 问 题 ， 在 这 里 ， 边 的 权重 可 以 为 负 
值 。 给 定 带 权重 的 有 向 图 G 二 (V，E) 和 权重 函数 w: E>R, Bellman-Ford 算法 返回 一 个 布尔 值 ， 
以 表明 是 否 存 在 一 个 从 源 结 点 可 以 到 达 的 权重 为 负 值 的 环 路 。 如 果 存 在 这 样 一 个 环 路 ,算法 将 
告诉 我 们 不 存在 解决 方案 。 如 果 没 有 这 种 环 路 存在 ， 算 法 将 给 出 最 短路 径 和 它们 的 权重 。 
Bellman-Ford 算法 通过 对 边 进行 松弛 操作 来 渐 近 地 降低 从 源 结 点 s 到 每 个 结 点 v 的 最 短路 入 
的 估计 值 v. 4， 直 到 该 估计 值 与 实际 的 最 短路 径 权重 8(s，w) 相 同时 为 止 。 该 算法 返回 TRUE 值 
当 且 仅 当 输入 图 不 包含 可 以 从 源 结 点 到 达 的 权重 为 负 值 的 环 路 。 
BELLMAN-FORD(G, w, s) 
1 INITIALIZE-SINGLE-SOURCE(G, s) 
2 for i=1to|G.V|—1 
3 for each edge(u,v) EG. E 
4 RELAX(u,v,w) 
5 for each edge(u,v) CG. E 
6 if v. d>u. d+wtu. v) 
7 return FALSE 
8 return TRUE 


图 24-4 描述 的 是 在 有 5 个 结 点 的 图 上 运行 Bellman-Ford 算法 的 过 程 。 在 算法 第 1 行 对 所 有 
结 点 的 4d 值 和 x 值 进行 初始 化 后 ， 算 法 对 图 的 每 条 边 进行 |Y| 一 1 次 处 理 。 每 一 次 处 理 对 应 的 是 
算法 第 2 一 4 行 for 循环 的 一 次 循环 ， 该 循环 对 图 的 每 条 边 进行 一 次 松弛 操作 。 图 24-4(b) 一 (e) 描 
述 的 是 对 边 进行 4 次 松弛 操作 时 ， 每 一 次 松弛 后 的 算法 状态 。 在 进行 了 |V| 一 1 次 松弛 操作 后 ， 
算法 第 5 一 8 行 负责 检 查 图 中 是 否 存在 权重 为 负 值 的 环 路 并 返回 与 之 相 适 应 的 布尔 值 。( 我 们 将 在 
稍 后 的 篇 幅 里 看 到 该 检查 为 什么 是 正确 的 。) 





图 24-4 Bellman-Ford 算法 的 执行 过 程 。 源 结 点 为 s， 结 点 中 的 数值 为 该 结 点 的 4 值 ， 加 了 阴影 的 边 表示 
前 驱 值 ， 如 果 边 (wu，wv) 加 了 阴影 ， 则 vw. x==w。 在 本 图 的 例子 中 ， 每 一 次 的 松弛 操作 对 边 的 处 理 
次 序 都 是 : (1，x)，(t，y)， (t, z), Cys £), Cys z), (z, x), (zs s), Cs, 1), Cs, y)o 
(a) 在 第 1 次 松弛 操作 前 的 场景 。(b) 一 (e) 在 对 边 进行 每 次 松弛 操作 后 的 场景 。 图 (e 中 的 @ 值 
和 xz 值 为 最 终 取 值 。 在 本 例 中 ，Bellman-Ford 算法 返回 的 值 为 TRUE 
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由 于 算法 第 1 行 的 初始 化 操作 所 需 时 间 为 B(V) ， 第 2 一 4 行 循环 的 运行 时 间 为 @(E)， 目 一 
共 要 进行 |V| 一 1 次 循环 ， 第 5 一 ?7 行 的 for 循环 所 需 时 间 为 OE), Bellman-Ford 算法 的 总 运行 
时 间 为 OCVE) 。 

要 证 明 Bellman-Ford 算法 的 正确 性 ， 首 先 证 明 在 没有 权重 为 负 值 的 环 路 的 情况 下 ， 该 算法 
正确 计算 出 从 源 结 点 可 以 到 达 的 所 有 结 点 之 间 的 最 短路 径 权 重 。 

引 理 24.2 ” 设 G 王 (V， 歼 ) 为 一 个 带 权重 的 源 结 点 为 5 的 有 向 图 ， 其 权重 函数 为 w: E>R, 
假定 图 G 不 包含 从 源 结 点 5 可 以 到 达 的 权重 为 负 值 的 环 路 。 那 么 在 算法 BELLMAN-FORD 的 第 
2 一 4 行 的 for 循环 执行 了 |V| 一 1 次 之 后 ， 对 于 所 有 从 源 结 点 可 以 到 达 的 结 点 v， 我 们 有 
v.d=O(s, v). 

证 明 ”我们 通过 使 用 路 径 松 弛 性 质 来 证 明 本 引 理 。 考 虑 任意 从 源 结 点 可 以 到 达 的 结 点 Y， 
设 PHU» Us s 内) 为 从 源 结 点 S 到 结 点 v 之 间 的 任意 一 条 最 短路 径 ， 这 里 w 王 5， 亿 一 ww。 因 
为 最 短路 径 都 是 简单 路 径 ，p 最 多 包含 |1V| 一 1 条 边 ， 因 此 k 二 1V| 一 1。 算法 第 2~4 行 的 for 循 
环 每 次 松弛 所 有 的 |E| 条 边 。 在 第 i 次 松弛 操作 时 ， 这 里 i 二 1，2，…，&， 被 松弛 的 边 中 包含 边 

651) Cumis v) WIEME, v. d 二 wv. d 二 6(s， uy) =d(s, v). a 

a 推论 24.3 AG=(V, DL-#FREMRAAASHAGH, EREBKYA w: EPR, %4 
定 图 G 不 包含 从 源 结 点 s 可 以 到 达 的 权重 为 负 值 的 环 路 ， 则 对 于 所 有 结 点 VEY， 存 在 一 条 从 源 
结 点 5 到 结 点 v 的 路 径 当 且 仅 当 BELLMAN-FORD 算法 终止 时 有 习 doo, 

证 明 该 证 明 留 给 读者 作为 练习 (请 参阅 练习 24. 1-2). a 

定理 24. 4(Bellman-Ford 算法 的 正确 性 ) 7 BELLMAN-FORD 算法 运行 在 一 带 权 重 的 源 关 
点 为 5 的 有 向 图 G 一 (V， 媚 上， 该 图 的 权重 函数 为 w: EE 一 R。 如 果 图 G 不 包含 从 源 结 点 s 可 以 
到 达 的 权重 为 负 值 的 环 路 ， 则 算法 将 返回 TRUE 值 ， 且 对 于 所 有 结 点 wEV， 前 驱 子 图 G 是 一 
棵 根 结 点 为 的 最 短路 径 树 。 如 果 图 G 包含 一 条 从 源 结 点 s 可 以 到 达 的 权重 为 负 值 的 环 路 ， 则 算 
法 将 返回 FALSE 值 。 

证 明 假定 图 G 不 包含 从 源 结 点 s 可 以 到 达 的 权重 为 负 值 的 环 路 。 我 们 首先 证 明 ， 对 于 所 有 
结 点 vEV， 在 算法 BELLMAN-FORD 终止 时 ,我们 有 v. d 二 6C(s，v) 。 如 果 结 点 v 是 从 s 可 以 到 
达 的 ， 则 引 理 24. 2 证 明了 本 论断 。 如 果 结 点 "不 能 从 到 达 ， 则 该 论断 可 以 从 非 路 径 性 质 获 得 。 
因此 ， 该 论断 得 到 证 明 。 综 合 前 驱 子 图 性 质 和 本 论断 可 以 推导 出 C. 是 一 棵 最 短路 径 树 。 现 在 ， 
我 们 使 用 这 个 论断 来 证 明 BELLMAN-FORD 算法 返回 的 是 TRUE 值 。 在 算法 BELLMAN-FORD 
Aiki, MFRANWU, DEE, RNA 

v. d= ls, v) 
<&s,u)+twlu,v) (根据 三 角 不 等 式 ) 
= u. d+ wlu,v) 
因此 ， 算 法 第 6 行 中 没有 任何 测试 可 以 让 BELLMAN-FORD 算法 返回 FALSE 值 。 因 此 ， 它 一 定 
返回 的 是 TRUE fÉ. 

现在 ， 假 定 图 C 包含 一 个 权重 为 负 值 的 环 路 ， 并 且 该 环 路 可 以 从 源 结 点 s 到达; 设 该 环 路 为 

C= (Ws Us "ts Unds 这 里 Up T Uz 9 则 有 


k 
>, wr 9 U; ) <0 (24. 1) 


下 面 使 用 反 证 法 。 假 设 Bellman-Ford 算法 返回 的 是 TRUE 值 ， 则 v. dv. dH wlis vu), 
这 里 ; 王 1，2，…，R&。 将 环 路 < 上 的 所 有 这 种 不 等 式 加 起 来 ， 我 们 有 


k k k k 
S) uy. dX 5 (Vi: d+ wv; »U;)) = De ge d+ > wu; Ui) 
i=1 i=] i=l i=] 
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由 于 w= u, 环 上 路 c 上面 的 每 个 结 点 在 上 述 求 和 表达 式 2 v; d 和 2 v. d 中 刚好 各 出 现 一 
次 ， 因 此 有 


k k 


2u d= > vm.d 
mE., 根据 推论 24. 3, vi. a 对 于 1 二 1， 2% eeey & 来 说 取 的 都 是 有 限 值 ， 因此 有 
0< >, wv 9U;) 


而 这 与 不 等 式 (24. 1) 矛 慎 。 因 此 ， 我 们 得 出 结论 ， 如 果 图 G 不 包含 从 源 结 点 s 可 以 到 达 的 权重 为 
负 值 的 环 路 ， 则 Bellman-Ford 算法 返回 TRUE fÉ, FAE FALSE 值 。 = 


练习 


24.1-1 在 图 24-4 上 运行 Bellman-Ford RK, HAAR z 作为 源 结 点 。 在 每 一 遍 松弛 过 程 中 ， 
以 图 中 相同 的 次 序 对 每 条 边 进行 松弛 ， 给 出 每 遍 松 弛 操作 后 的 & 值 和 值 。 然 后 ， 把 边 
(z，zZ) 的 权重 改 为 4， 再 次 运行 该 算法 ， 这 次 使 用 * 作为 源 结 点 。 

24. 1-2 证 明 推 论 24. 3。 

24.1-3 ”给 定 G 二 (V，E) 是 一 带 权重 且 没 有 权重 为 负 值 的 环 路 的 有 向 图 ， 对 于 所 有 结 点 vEV， 
从 源 结 点 * 到 结 点 之 间 的 最 短路 径 中 ， 包 含 边 的 条 数 的 最 大 值 为 加 。( 这 里 ， 判 断 最 
短路 径 的 根据 是 权重 ， 不 是 边 的 条 数 。) 请 对 算法 BELLMAN-FORD 进行 简单 修改 ， 可 
以 让 其 在 m+1 遍 松弛 操作 之 后 终止 ， 即 使 m 不 是 事先 知道 的 一 个 数值 。 

24.1-4 修改 Bellman-Ford 算 法， 使 其 对 于 所 有 结 点 v 来 说 ， 如 果 从 源 结 点 s 到 结 点 wv 的 一 条 路 
径 上 存在 权重 为 负 值 的 环 路 ， 则 将 v. d 的 值 设 置 为 一 ce。 

*24.1-5 设 G 一 (V， 五 ) 为 一 带 权 重 的 有 向 图 ， 其 权重 图 数 为 w: EF 一 R。 请 给 出 一 个 时 间 复 杂 度 
为 OCVE) 的 算法 ， 对 于 每 个 结 点 vEV， 计 算出 数值 6* o) =min{d(u, v). 

*24.1-6 ”假定 G==(V，E) 为 一 带 权重 的 有 向 图 ， 并 且 图 中 存在 一 个 权重 为 负 值 的 环 路 。 给 出 一 
个 有 效 的 算法 来 列 出 所 有 属于 该 环 路 上 的 结 点 。 请 证 明 算 法 的 正确 性 。 


24.2 ”有 问 无 环 图 中 的 单 源 最 短路 径 问题 

根据 结 点 的 拓扑 排序 次 序 来 对 带 权重 的 有 向 无 环 图 G 一 (V，E) 进 行 边 的 松弛 操作 ， 我 们 便 
可 以 在 BC(V 十 加 时 间 内 计算 出 从 单个 源 结 点 到 所 有 结 点 之 间 的 最 短路 径 。 在 有 向 无 环 图 中 ， 即 
使 存在 权重 为 负 值 的 边 ， 但 因为 没有 权重 为 负 值 的 环 路 ， 最 短路 径 都 是 存在 的 。 

我 们 的 算法 先 对 有 向 无 环 图 进行 拓扑 排序 (请 参阅 22. 4 节 ) ， 以 便 确 定 结 点 之 间 的 一 个 线性 
次 序 。 如 果 有 向 无 环 图 包含 从 结 点 “到 结 点 " 的 一 条 路 径 ， 则 u 在 拓扑 排序 的 次 序 中 位 于 结 点 
的 前 面 。 我 们 只 需要 按照 拓扑 排序 的 次 序 对 结 点 进行 一 遍 处 理 即 可 。 每 次 对 一 个 结 点 进行 处 理 
时 ， 我 们 对 从 该 结 点 发 出 的 所 有 的 边 进行 松弛 操作 。 


DAG-SHORTEST-PATHS(G,w,s) 

1 topologically sort the vertices of G 

2 INITIALIZE-SINGLE-SOURCE(G., s) 

3 for each vertex u, taken in topologically sorted order 
4 for each vertex v€G. AdjLu] 

5 RELAX(u, v, w) 


图 24-5 描述 的 是 算法 DAG-SHORTEST-PATHS 的 执行 过 程 。 
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(g) 


图 24-5 在 有 向 无 环 图 上 执行 最 短路 径 算法 DAG-SHORTEST-PATHS 的 过 程 。 图 中 的 结 点 从 左 至 右 以 
拓扑 排序 的 次 序 排列 。 源 结 点 为 *， 每 个 结 点 中 的 数值 为 4 值 ， 加 了 阴影 的 边 表示 rE. aE 
算法 第 3 一 5 ÍT for 循环 开始 前 的 场景 。(b) 一 (8g) 第 3 一 5 行 for 循环 在 每 次 执行 后 的 场景 。 每 次 
循环 时 新 变 为 黑色 的 结 点 作为 该 次 循环 里 的 x 结 点 。 图 (g) 中 所 显示 的 各 种 值 都 是 最 后 的 取 值 


该 算法 的 运行 时 间 非 常 容易 分 析 。 如 22.4 节 所 描述 的 ， 算 法 第 1 行 的 拓扑 排序 时 间 为 
OVE). 3 2 行 对 INITIALIZE-SINGLE-SOURCE 的 调用 所 需 时 间 为 B(V) 。 第 3 一 5 行 的 for 
循环 (外 循环 ) 对 于 每 个 结 点 执行 一 遍 ， 因 此 ， 第 4 一 5 行 的 for 循环 (内 循环 ) 对 每 条 边 刚 好 松弛 
一 次 。 (注意 ， 我 们 这 里 使 用 了 聚合 分 析 。) 因 为 内 循环 每 次 的 运行 时 间 为 96(1) ， 算 法 的 总 运行 时 
间 为 @(V 十 E)。 对 于 以 邻接 链表 法 表示 的 图 来 说 ， 这 个 时 间 为 线性 级 。 

下 面 的 定理 将 证 明 DAG-SHORTEST-PATHS 过 程 正确 计算 出 所 有 的 最 短路 径 。 

定理 24.5 如 果 带 权重 无 环 路 的 有 向 图 G 二 (V，E) 有 一 个 源 结 点 s， 则 在 算法 DAG- 
SHORTEST-PATHS 终止 时 ， 对 于 所 有 的 结 点 EV, AMA v.d 二 6(s，v)， 且 前 驱 子 图 G, 是 
一 棵 最 短路 径 树 。 

证 明 首先 证 明 对 于 所 有 的 结 点 v€EV， 在 算法 DAG-SHORTEST-PATHS 终止 时 都 有 
v.d=(s, v). WRA v 不 能 从 源 结 点 s 到 达 ， 则 根据 非 路 径 性 质 有 v.d=d(s, =o, WE 
假定 结 点 v 可 以 从 结 点 s 到 达 ， 因 此 ， 图 中 存在 一 条 最 短路 径 p 二 4(wo，w1，…，wW%)， 这 里 w= 二 5. 
vi 二 v。 因 为 算法 是 按照 拓扑 排序 的 次 序 来 对 结 点 进行 处 理 ， 所 以 对 路 径 p 上 的 边 的 放松 次 序 为 
CU 9 v) 9 (v 9 v) 9 o eeg CUp—1 9 Up) o 根据 路 径 松 弛 性 质 ， 对 于 1 一 0，]1，…，AR， 在 算法 终止 时 
A v. d= 二 6(s，wv;)。 最 后 ， 根 据 前 驱 子 图 性 质 ，G, 是 一 棵 最 短路 径 树 。 2 
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算法 DAG-SHORTEST-PATHS 的 一 个 有 趣 的 应 用 是 在 PERT 图 ” 的 分 析 中 进行 关键 路 径 的 
判断 。PERT 图 是 一 个 有 向 无 环 图 ， 在 这 种 图 中 ， 每 条 边 代表 需要 进行 的 工作 ， 边 上 的 权重 代表 
执行 该 工作 所 需要 的 时 间 。 如 有 果 边 (x， 外 进入 结 点 v Wy, DAR UMS v ih), Sl 
工作 (x， 了 必须 在 工作 (w，z) 前 完成 。PERT 图 中 的 一 条 路 径 代表 的 是 一 个 工作 执行 序列 。 关 键 
路 径 则 是 该 有 向 无 环 图 中 一 条 最 长 的 路 径 ， 该 条 路 径 代 表 执 行 任 何 工作 序列 所 需要 的 最 长 时 间 。 
因此 ， 关 键 路 径 上 的 权重 提供 的 是 执行 所 有 工作 所 需 时 间 的 下 界 。 我 们 可 以 使 用 下 面 两 种 办 法 
中 的 任意 一 种 来 找到 PERT 图 中 的 关键 路 径 : 

。 将 所 有 权重 变 为 负数 ， 然 后 运行 DAG-SHORTEST-PATHS, 
。 运行 DAG-SHORTEST-PATHS， 但 进行 如 下 修改 : 在 INITIALIZE-SINGLE-SOURCE 
的 第 2 行将 oo 替换 为 一 eo， 在 RELAX ERS" RN”, 


练习 
24.2-1 请 在 图 24-5 上 运行 DAG-SHORTEST-PATHS， 使 用 结 点 > 作为 源 结 点 。 
24.2-2 假定 将 DAG-SHORTEST-PATHS 的 第 3 行 改 为 : 
3 for the first |V|—1 vertices, taken in topologically sorted order 
24.2-3 上 面 描述 的 PERT 图 的 公式 有 一 点 不 太 目 然 。 在 一 个 更 目 然 的 结构 下 ， 图 中 的 绪 点 
代表 要 执行 的 工作 ， 边 代表 工作 之 间 的 次 序 限制 ， 即 边 (w，wv) 表 示 工 作 必须 在 工 
作 久 之 前 执行 。 在 这 种 结构 的 图 中 ,我 们 将 权重 赋 给 结 点 ， 而 不 是 边 。 请 修改 
DAG-SHORTEST-PATHS 过 程 ， 使 得 其 可 以 在 线性 时 间 内 找 出 这 种 有 向 无 环 图 中 
一 条 最 长 的 路 径 。 
24.2-4 给 出 一 个 有 效 的 算法 来 计算 一 个 有 向 无 环 图 中 的 路 径 总 数 。 分 析 你 自己 的 算法 。 
24.3 Dijkstra 算法 
Dijkstra 算法 解决 的 是 带 权 重 的 有 回 图 上 单 源 最 短路 径 问 题 ， 该 算法 要 求 所 有 边 的 权重 都 为 
非 负 值 。 因 此 ,在 本 节 的 讨论 中 ， 我 们 假定 对 于 所 有 的 边 (u，v) Ek， 都 有 wau, >20. Ri 
稍 后 将 看 到 ， 如 果 所 采用 的 实现 方式 合适 ，Dijkstra 算法 的 运行 时 间 要 低 于 Bellman-Ford 算法 的 
运行 时 间 。 
Dijkstra 算法 在 运行 过 程 中 维持 的 关键 信息 是 一 组 结 点 集合 S。 从 源 结 点 s 到 该 集合 中 每 个 
结 点 之 间 的 最 短路 径 已 经 被 找到 。 算 法 重复 从 结 点 集 V 一 S 中 选择 最 短路 径 估计 最 小 的 结 点 4， 
将 加 入 到 集合 S， 然 后 对 所 有 从 发 出 的 边 进行 松弛 。 在 下 面 给 出 的 实现 方式 中 ， 我 们 使 用 一 
个 最 小 优先 队列 Q 来 保存 结 点 集合 ， 每 个 结 点 的 关键 值 为 其 & 值 。 
DIJKSTRA. (G,w,s) 
1 INITIALIZE-SINGLE-SOURCE(G, s) 
2 S=O 
3 Q=G.V 
4 whileQ4@ 
5 u=EXTRACT-MIN(Q) 
6 S=SU {u} 
7 for each vertex v€G. Adj[u] 
8 RELAX(u, v, w) 


© “PERT” “Program Evaluation and Review Technique” 的 缩写 。 
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Dijkstra 算法 对 边 的 松弛 操作 如 图 24-6 所 示 。 算 法 第 1 行 执行 的 是 例 行 的 4d 值 和 x 值 的 初始 
化 ， 第 2 行将 集合 S 初 始 化 为 一 个 空 集 。 算 法 所 维持 的 不 变 式 为 AQ=V 一 $， 该 不 变 式 在 算法 第 
4 一 8 行 的 while 循环 过 程 中 保持 不 变 。 算 法 第 3 行 对 最 小 优先 队列 Q 进行 初始 化 ， 将 所 有 的 结 点 
V 都 放 在 该 队列 里 。 由 于 此 时 的 5 二 名 ,不 变 式 在 第 3 行 执行 完毕 后 成 立 。 算 法 在 每 次 执行 第 
4 一 8 行 的 while 循环 时 ， 第 5 行 从 Q=Y 一 S 集 合 中 抽取 结 点 x， 第 6 行将 该 结 点 加 入 到 集合 SHE. 
从 而 继续 保持 不 变 式 成 立 。 (注意 ， 在 第 一 次 执行 该 循环 时 ，x* 一 *.) 结 点 是 集合 V 一 S 中 所 有 
结 点 的 最 小 最 短路 径 估 计 。 然 后 ， 在 算法 的 第 7 一 8 行 ， 我 们 对 所 有 从 结 点 2 RW, v) 
行 松弛 操作 。 如 果 一 条 经 过 结 点 的 路 径 能 够 使 得 从 源 结 点 * 到 结 点 v 的 最 短路 径 权重 比 当前 的 
估计 值 更 小 ， 则 我 们 对 v a 的 值 和 前 驱 v. x 的 值 进行 更 新 。 注 意 ， 在 算法 的 第 3 行 之 后 ， 我 们 再 
不 会 在 队列 Q@ 中 插入 任何 结 点 ， 而 每 个 结 点 从 Q 中 被 抽取 的 次 数 和 加 入 集合 S 的 次 数 均 为 一 次 ， 
因此 ， 算 法 第 4 一 8 行 的 while 循环 的 执行 次 数 刚好 为 |V | 次。 


人 
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图 24-6 Dijkstra 算法 的 执行 过 程 。 源 结 扣 :为 最 左边 的 结 点 。 每 个 结 点 中 的 数值 为 该 结 点 的 最 短路 径 的 
估计 值 ， 加 了 阴影 的 边 表明 前 驱 值 。 黑 色 的 结 点 属于 集合 S， 白 色 的 结 扣 属 于 最 小 优先 队列 Q= 
V 一 S。(a) 算 法 第 4 一 8 行 的 while 循环 首次 执行 前 的 场景 。 加 了 阴影 的 结 点 为 d 值 最 小 的 结 点 ， 
该 结 点 在 算法 的 第 5 行 被 选择 为 结 点 x。(b) 一 上 每 次 成 功 执行 while 循环 后 的 场景 。 每 幅 图 里 加 
了 阴影 的 结 点 是 被 算法 第 5 行 所 选择 出 的 下 一 次 循环 所 用 的 结 点 uw。 图 (了 中 的 d 值 和 前 驱 值 都 是 
最 终 值 


因为 Dijkstra 算法 总 是 选择 集合 V 一 S 中 “最 轻 ?或 最近” 的 结 点 来 加 入 到 集合 S 中 ， 该 算法 
使 用 的 是 贪心 策略 。 第 16 章 详细 讨论 了 贪心 策略 ， 但 读者 并 不 需要 读 过 第 16 章 的 内 容 才 能 理解 
Dijkstra 算法 。 虽 然 贪 心 策略 并 不 总 是 能 获得 最 优 的 结果 ， 但 正如 下 面 的 定理 和 推论 所 指出 的 . 
使 用 贪心 策略 的 Dijkstra 算法 确实 能 够 计算 出 最 短路 径 。 这 里 的 关键 是 证 明 这 样 一 个 事实 : 该 算 
法 在 每 次 选择 结 点 & 来 加 入 到 集合 S 时 ， 有 u.d=ds, u). 

定理 24. 6(Dijkstra 算法 的 正确 性 ) Dijkstra 算法 运行 在 带 权 重 的 有 向 图 G 二 (V，EE) 时 ， 如 
果 所 有 权重 为 非 负 值 ， 则 在 算法 终止 时 ， 对 于 所 有 结 点 wuEV， RAA u. d=8ls, u). 

证 明 我们 使 用 下 面 的 循环 不 变 式 : 

在 算法 第 4 一 8 行 的 while 语句 的 每 次 循环 开始 前 ， 对 于 每 个 结 点 vES， 有 v. d= 二 6(s，%v)。 
我 们 只 需要 证 明 对 于 每 个 结 点 vxXEV， 当 结 点 & MARRS SW, Aued=s, u). — EHEH 
了 wu.d 二 6(s，w)， 就 可 以 使 用 上 界 性 质 来 证 明 该 等 式 在 后 续 的 所 有 时 间 内 保持 成 立 。 
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初始 化 : 初始 时 ，S 二 避 ， 因 此 ， 循 环 不 变 式 直 接 成 立 。 

保持 : 我 们 希望 证 明 在 每 次 循环 中 ， 对 于 加 入 到 集合 S 的 结 点 来 说 ，u. d= 二 6(s，u)。 我 们 
使 用 反 证 法 来 证 明 此 论断 。 设 结 点 是 第 一 个 在 加 入 到 集合 S 时 使 得 该 方程 式 不 成 立 的 结 点 ， 即 
u. d 关 6(s，wu) 。 我 们 下 面 将 注意 力 集中 到 把 结 点 u 加 入 到 集合 S 的 这 遍 循环 的 开始 ， 并 通过 对 从 
结 点 s 到 结 点 的 最 短路 径 进行 检查 来 导出 结论 .4d 二 6(s，w) 。 由 于 结 点 s 是 第 一 个 加 入 到 集合 
S 中 的 结 点 ， 并 且 s d= 二 6(s，s) 二 0， 结 点 必定 与 结 点 s All, Burs. AA uts, FERRE 
点 & 加 入 到 集合 S 时 ， 我 们 有 S 取 儿 。 此 时 ， 一 定 存在 某 条 从 结 点 s 到 结 点 的 路 径 ， 否 则 ， 根 
据 非 路 径 性 质 将 有 u. 4 二 6(s，w) 二 co ， 而 这 将 违反 我 们 的 假设 u. 4d 关 6(s，u)。 因 为 至 少 存在 一 
条 从 ;到 的 路 径 ， 所 以 也 存在 一 条 从 s 到 的 最 短路 径 p。 在 将 结 点 加 入 到 集合 S 之 前 ， 路 
径 p 连接 的 是 集合 S 中 的 一 个 结 点 ( 即 5 和 V 一 S 中 的 一 个 结 点 ( 即 x)。 让 我 们 考虑 路 径 p 上 第 
一 个 满足 yEV 一 S 的 结 点 y， 设 IES 为 结 点 > ERED 上 的 前 驱 ， 则 如 图 24-7 所 示 ， 我 们 可 以 


将 路 径 p 分 解 为 s O rey u, RE pi 或 者 ps 可 能 不 包含 任何 边 。) 





图 24-7 定理 24. 6 AUER. RA SEREA u 加 入 之 前 为 非 空 。 我 们 将 从 源 结 点 s MAA u 


的 路 径 ARN s ~O zy ~ wx， 这 里 结 点 y 是 路 径 p 上 第 一 个 不 属于 集合 S 的 结 
点 ， 结 点 z(zE S) 为 路 径 p 上 结 点 y 的 直接 前 驱 结 点 。 结 点 x 和 y 是 不 同 的 结 点 ， 
但 可 能 有 ;二 z 或 者 y= 二 u。 路 径 ps 既 可 能 重新 进入 集合 S， 也 可 能 不 重新 进入 集合 S 


我 们 断言 : 在 将 结 点 u 加 入 到 集合 S 时 ，y. d= 二 6(s，y)。 为 了 证 明 这 一 点 ， 只 要 观察 到 rE 
S。 然 后 ， 因 为 选择 的 结 点 4 是 第 一 个 在 加 入 到 集合 S 时 不 满足 条 件 u.dA0G, WN, EH 
结 点 xz 加 入 到 集合 S 时 ， 有 xz.d 二 6(s，Zx)。 此 时 ， 边 (zx，y) 将 被 松弛 ， 根 据 收敛 性 质 可 以 得 出 
我 们 的 断言 。 
现在 可 以 通过 反 证 来 证 明 u. d= 二 6(s，u)。 因 为 结 点 y 是 从 结 点 s 到 结 点 的 一 条 最 短路 径 上 
位 于 w 前 面 的 一 个 结 点 ， 并 且 所 有 的 边 权 重 均 为 非 负 值 ， 所 以 有 Os, Ws, u), Alb, 
y. d= ls, y) 
< ls u) 
< u.d( 根 据 上 界 性 质 ) (24. 2) 
但 是 ， 因 为 在 算法 第 5 行 选择 结 点 u 时， 结 点 和 yy 都 在 集合 V 一 S 里 ， 所 以 有 wu. dy. do A 
此 ， 式 (24. 2) 中 的 两 个 不 等 式 事实 上 都 是 等 式 ， 即 
y. d = ls, y) = lsu) = u.d 
KE u. d= 二 6(s，w) ， 而 这 与 我 们 所 选择 的 结 点 x 了 矛盾 。 因 此 ， 我 们 推断 ， 在 结 点 被 加 入 到 集合 
S 时 有 ww. 二 6(s，w)， 并 且 该 等 式 在 随后 的 所 有 时 间 内 都 保持 成 立 。 
终止 : 在 算法 终止 时 ，Q 二 名 。 该 事实 与 之 前 的 不 变 式 Q 二 V 一 S 一 起 说 明了 S=V。 因 此 ， 
对 于 所 有 的 结 点 wEV， 有 wu. d= 二 6(s,，w)。 i 
推论 24.7 如果 在 带 权重 的 有 向 图 G=(V, E) bik 47 Dijkstra $k, HPHRES AAA 
值 ， 源 结 点 为 s， 则 在 算法 终止 时 ， 前 驱 子 图 G 是 一 棵 根 结 点 为 的 最 短路 径 树 。 
证 明 MEH 24. 6 和 前 驱 子 图 性 质 可 立即 得 知 该 推论 。 m 
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分 析 

Dijkstra 算法 的 运行 速度 有 多 快 呢 ?该 算法 执行 三 种 优先 队列 操作 来 维持 最 小 优先 队列 : 
INSERT( 算 法 第 3 行 所 隐 含 的 操作 ) 、EXTRACT-MIN( 算 法 第 5 行 ) 和 DECREASE-KEY( 隐 含 在 
算法 第 8 行 所 调用 的 RELAX 操作 中 ) 。 该 算法 对 每 个 结 点 调用 一 次 INSERT 和 EXTRACT-MIN 
操作 。 因 为 每 个 结 点 仅 被 加 入 到 集合 S 一 次 ， 邻 接 链表 Adj[Luj 中 的 每 条 边 在 整个 算法 运行 期 间 
也 只 被 检查 一 次 (算法 第 7 一 8 行 的 for 循环 里 )。 由 于 所 有 邻接 链表 中 的 边 的 总 数 为 | 下 | ， 该 for 
循环 的 执行 次 数 一 共 为 |E| 次 ， 因 此 ， 该 算法 调用 DECREASE-KEY 最 多 |E| 次 。( 注 意 ， 我 们 
这 里 还 是 使 用 的 聚合 分 析 。) 

Dijkstra 算法 的 总 运行 时 间 依 赖 于 最 小 优先 队列 的 实现 。 我 们 首先 考虑 第 一 种 情况 : 通过 利 
用 结 点 的 编号 为 1~1V | 来 维持 最 小 优先 队列 。 在 这 种 情况 下 ， 我 们 将 v d 的 值 存放 在 数组 的 第 
v 个 记录 里 。 每 次 INSERT 和 DECREASE-KEY 操作 的 执行 时 间 为 O(1) ， 每 次 EXTRACT-MIN 
的 操作 时 间 为 OV) (因为 需要 搜索 整个 数组 )， 算 法 的 总 运行 时 间 为 OV +E S0). 

如 果 我 们 讨论 的 是 稀 朴 图 ， 特 别 地 ， 如 果 开 =o(VzV/lgV) ， 则 可 以 使 用 二 又 堆 来 实现 最 小 优 
先 队 列 ， 从 而 改善 算法 的 运行 时 间 。( 如 6. 5 节 所 讨论 的 ， 该 实现 应 该 在 结 点 及 其 对 应 的 堆 元 素 
里 相互 保存 指向 对 方 的 句柄 。) 在 这 种 模式 下 ， 每 次 EXTRACT-MIN 操作 的 执行 时 间 为 O(lgV) 。 
和 前 面 一 样 ， 一 共有 |V| 次 这 样 的 操作 。 构 建 最 小 二 又 堆 的 成 本 为 O(V)。 每 次 DECREASE- 
KEY 操作 的 执行 时 间 为 Ol(lgV)， 而 最 多 有 |E| 次 这 样 的 操作 。 因 此 ,算法 的 总 运行 时 间 为 
OVE) lgV)。 奉 所 有 结 点 都 可 以 从 源 结 点 到 达 ， 则 该 时 间 为 OCE lgV). #E=0(V*/lgV), 
则 该 时 间 成 本 相对 于 直接 实现 的 OC(V?) 成 本 有 所 改善 。 

事实 上 ,我们 可 以 将 Dijkstra 算法 的 运行 时 间 改 善 到 OV lgV 十 E)， 方 法 是 使 用 非 波 那 契 堆 
来 实现 最 小 优先 队列 (请 参阅 第 19 章 ) 。 在 这 种 实现 下 ， 每 次 EXTRACT-MIN 操作 的 摊 还 代价 为 
OUgV), ， 每 次 DECREASE-KEY 操作 的 摊 还 代价 为 O(1) 。 从 历史 的 角度 上 看 ， 斐 波 那 契 堆 提出 
的 动机 就 是 因为 人 们 观察 到 Dijkstra 算法 调用 的 DECREASE-KEY 操作 通常 比 EXTRACT-MIN 
操作 更 多 ， 因 此 ， 任 何 能 够 将 DECREASE-KEY 操作 的 摊 还 代价 降低 到 ode V) 而 又 不 增加 
EXTRACT-MIN 操作 的 摊 还 代价 的 方法 都 将 产生 比 二 又 堆 的 渐 近 性 能 更 优 的 实现 。 

Dijkstra 算法 既 类 似 于 广度 优先 搜索 (请 参阅 22. 2 节 )， 也 有 点 类 似 于 计算 最 小 生成 树 的 
Prim 算法 (请 参阅 23. 2 节 ) 。 它 与 广度 优先 搜索 的 类 似 点 在 于 集合 S 对 应 的 是 广度 优先 搜索 中 的 
黑色 结 点 集合 : 正如 集合 S 中 的 结 点 的 最 短路 径 权 重 已 经 计算 出 来 一 样 ， 在 广度 优先 搜索 中 ， 
黑色 结 点 的 正确 的 广度 优先 距离 也 已 经 计算 出 来 。Dijkstra 算法 像 Prim 算法 的 地 方 是 ， 两 个 算 
法 都 使 用 最 小 优先 队列 来 寻找 给 定 集合 (Dijkstra 算法 中 的 S 集合 与 Prim 算法 中 逐步 增长 的 树 ) 
之 外 的 “最 轻 ” 结 点 ， 将 该 结 点 加 入 到 集合 里 ， 并 对 位 于 集合 外 面 的 结 点 的 权重 进行 相应 调整 。 


练习 

24.3-1 在 图 24-2 上 运行 Dijkstra 算法， 第 一 次 使 用 结 点 s 作为 源 结 点 ， 第 二 次 使 用 结 点 z 作为 
源 结 点 。 以 类 似 于 图 24-6 的 风格 ， 给 出 每 次 while 循环 后 的 & 值 和 值 ， 以 及 集合 S 中 
的 所 有 结 点 。 

24.3-2 请 举 出 一 个 包含 负 权 重 的 有 向 图 ， 使 得 Dijkstra 算法 在 其 上 运行 时 将 产生 不 正确 的 结 
果 。 为 什么 在 有 负 权 重 的 情况 下 ， 征 理 24. 6 的 证 明 不 能 成 立 呢 ? 

24.3-3 假定 将 Dijkstra 算法 的 第 4 行 改 为 : 


4 while|Q|>1 


这 种 改变 将 让 while 循环 的 执行 次 数 从 | V| 次 降低 到 |V| 一 1 次。 这 样 修改 后 的 算法 正确 吗 ? 
24.3-4 ”Gaedel 教授 写 了 一 个 程序 ， 他 声称 该 程序 实现 了 Dijkstra 算法 。 对 于 每 个 结 点 vE V， 
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该 程序 生成 值 v. 4 和 w. x。 请 给 出 一 个 时 间 复 杂 度 为 OC(V 十 E) 的 算法 来 检查 教授 所 编写 
程序 的 输出 。 该 算法 应 该 判断 每 个 结 点 的 & 和 x 属性 是 否 与 某 棵 最 短路 径 树 中 的 信息 匹 
配 。 这 里 可 以 假设 所 有 的 边 权 重 缘 为 非 负 值 。 

24.3-5 Newman 教授 党 得 目 己 发 现 了 Dijkstra 算法 的 一 个 更 简单 的 证 明 。 他 声称 Dijkstra 算法 
对 最 短路 径 上 面 的 每 条 边 的 松弛 次 序 与 该 条 边 在 该 条 最 短路 径 中 的 次 序 相 同 ， 因 此 ， 路 
径 松弛 性 质 适 用 于 从 源 结 点 可 以 到 达 的 所 有 结 点 。 请 构造 一 个 有 向 图 来 说 明 Dijkstra 算 
法 并 不 一 定 按照 最 短路 径 中 边 的 出 现 次 序 来 对 边 进行 松弛 ， 从 而 证 明教 授 是 错 的 。 

24.3-6 给 定 有 向 图 G 二 (V， 忆 ， 每 条 边 (u，v) EE 有 一 个 关联 值 r-(wu，v)， 该 关联 值 是 一 个 实 
数 ， 其 范围 为 0 二 r(x，) 坏 1， 其 代表 的 意思 是 从 结 点 u SAA v 之 间 的 通信 和 链 路 的 可 靠 
性 。 可 以 认为 ，r(u， 马 代表 的 是 从 结 点 wu 到 结 点 v 的 通信 和 链 路 不 失效 的 概率 ， 并 且 假 设 这 
些 概 率 之 间 相 互 独立 。 请 给 出 一 个 有 效 的 算法 来 找到 任意 两 个 结 点 之 间 最 可 靠 的 通信 和 链 路 。 

24.3-7 给 定 带 权重 的 有 问 图 G 二 (V，E)， 其 权重 函数 为 w: E>{1，2，…，W}， 这 里 W HE 
个 正 整数 ， 我 们 还 假设 图 中 从 源 结 点 s 到 任意 两 个 结 点 之 间 的 最 短路 径 的 权重 都 不 相同 。 
现在 ， 假 设 定义 一 个 没有 权重 的 有 向 图 G = 二 (VUV ，E)。 该 图 是 将 每 条 边 (u，vw) EE 予 
以 蔡 换 ， 替 换 所 用 的 是 ww(w， 了 条 具有 单位 权重 的 边 。 请 问 图 G 一 共有 多 少 个 结 点 ? 现 
在 假设 在 G 上 运行 广度 优先 搜索 算法 ， 证 明 : G 的 广度 优先 搜索 将 V 中 结 点 涂 上 黑色 的 
次 序 与 Dijkstra 算法 运行 在 图 G 上 时 从 优先 队列 中 抽取 结 点 的 次 序 相 同 。 

24.3-8 ”给 定 带 权重 的 有 问 图 G 二 (V，E)， 其 权重 函数 为 w: E>(0, 1, 2, +, W), 这 里 W 
为 某 个 非 负 整数 。 请 修改 Dijkstra 算法 来 计算 从 给 定 源 结 点 * 到 所 有 结 点 之 间 的 最 短路 
径 。 该 算法 时 间 应 为 OWV+E). 

24.3-9 修改 练习 24. 3-8 中 的 算法 ， 使 其 运行 时 间 为 OCLCV 十 E)lgW)。( 提 示 : 在 任意 时 刻 ， 集 
合 V 一 S 里 有 多 少 个 不 同 的 最 短路 径 估 计 ?) 

24.3-10 ”假设 给 定 带 权重 的 有 向 图 G 二 (V，E)， 从 源 结 点 s 发 出 的 边 的 权重 可 以 为 负 值 ， 而 其 

他 所 有 边 的 权重 全 部 是 非 负 值 ， 同 时 ， 图 中 不 包含 权重 为 负 值 的 环 路 。 证 明 : Dijkstra 
算法 可 以 正确 计算 出 从 源 结 点 s 到 所 有 其 他 结 点 之 间 的 最 短路 径 。 


24.4 差分 约束 和 最 短路 径 

第 29 章 研究 的 是 通用 的 线性 规划 问题 ， 在 其 讨论 中 ， 我 们 希望 在 满足 一 组 线性 不 等 式 的 条 
件 下 优化 一 个 线性 函数 。 本 节 将 讨论 线性 规划 中 的 一 个 特例 ， 该 特例 可 以 被 归 约 到 单 源 最 短路 
径 问 题 。 这 样 ， 我 们 可 以 通过 运行 Bellman-Ford 算法 来 解决 单 源 最 短路 径 问题 ， 从 而 解决 这 种 
特殊 的 线性 规划 问题 。 

线性 规划 

在 通用 的 线性 规划 问题 中 ， 我 们 通常 给 定 一 个 mxXn 的 矩阵 A、 一 个 m 维 的 向 量 5 和 一 个 
维 四 量 <。 我 们 和 希望 找到 一 个 =” 维 向 量 z， 使 得 在 由 Arb 给 定 的 m 个 约束 条 件 下 优化 目标 函数 


D) czr,， 这 里 的 优化 指 的 是 使 目标 函数 的 取 值 最 大 ， 


虽然 第 29 章 描 述 的 单纯 形 算法 并 不 总 是 能 够 在 多 项 式 时 间 内 完成 ， 但 却 存 在 其 他 的 运行 时 
间 为 多 项 式 时 间 的 线性 规划 算法 。 线 性 规划 问题 的 设置 具有 许多 实际 价值 ， 我 们 这 里 仅 给 出 两 
个 理由 来 帮助 读者 理解 。 首 先 ， 如 果 我 们 知道 可 以 将 某 个 给 定 问 题 看 做 一 个 多 项 式 规模 的 线性 
规划 问题 ， 则 可 以 立即 获得 一 个 多 项 式 时 间 的 算法 解 。 其 次 ， 对 于 线性 规划 的 许多 特殊 情况 ， 存 
在 着 更 快 的 算法 。 例 如 ， 单 源 单 目的 地 最 短路 径 问 题 (练习 24. 4-4) 和 最 大 流 问题 (练习 26. 1-5) 都 
是 线性 规划 问题 的 特例 。 

有 时 候 ， 我 们 并 不 关注 目标 函数 ， 而 仅仅 是 希望 找到 一 个 可 行 解 ,， 即 找到 任何 满足 Ar<b 
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的 回 量 xz， 或 者 判断 不 存在 可 行 解 。 我 们 下 面 来 关注 这 样 的 一 个 可 行 性 问题 。 

差分 约束 系统 

在 一 个 差分 约束 系统 中 ， 线 性 规划 矩阵 A 的 每 一 行 包括 一 个 1 和 一 个 一 1， 其 他 所 有 项 皆 为 
0。 因 此 ， 由 Ax<6 所 给 出 的 约束 条 件 变 为 m 个 涉及 个 变量 的 差额 限制 条 件 ， 其 中 的 每 个 约束 
条 件 是 如 下 所 示 的 简单 线性 不 等 式 : 

4-2, 

这 里 1l<i, j<n, iAj, 并 且 1<k<m, 

例如 ， 我 们 考虑 寻找 一 个 满足 下 列 条 件 的 5 维 向 量 c= (zx;) 的 问题 : 


L =] 0 0 0 0 
1 0 0 0: -=l =] 
6 ig aN 1 
s a r w a 5 
=i w a a aa 
g Sr L g =i 
0 0-1 0 1|” 一 3 
0 0 0 —] 1 =R | 
这 个 问题 与 寻找 满足 下 列 的 8 个 差分 约束 条 件 的 变量 Tis X29 X39 Las Xs 的 取 值 的 问题 等 价 : 
armas (24.3) 
2 (24.4) 
t= a= 1 (24.5) 
Xa — M5 (24. 6) 
oT aes OE A (24. 7) 
ee (24. 8 ， 
ye (24. 9 ， 
Zs — X41<— 3 (24. 10° 


这 个 问题 的 一 个 可 能 答案 是 z 一 (一 5， 一 3，0， 一 1， 一 4)， 读 者 可 以 对 每 个 不 等 式 进行 验证 来 
证 明 该 向 量 确实 是 一 个 正确 答案 。 事 实 上 ， 这 个 问题 的 答案 有 多 个 。 另 一 个 答案 是 一 (0，2. 
5，4，1) 。 这 两 个 答案 之 间 存 在 着 关联 关系 ; MBs 中 每 个 元 素 比 向 量 r 中 的 对 应 元 素 的 取 值 
大 5。 我 们 在 后 面 将 看 到 ， 这 种 关系 并 不 是 巧合 。 

引 理 24.8 设 向 量 X 二 (Xl1，Xs，"…*，Zi) 为 差分 约束 系统 Az 委 8 的 一 个 解 ， 设 Qd 为 任意 常 
数 ， 则 zx 十 d 二 (zi 十 d，Zzz 十 4，*…，ZX, 十 d) 也 是 该 差分 约束 系统 的 一 个 解 。 

证 明 对 于 每 个 x; Mx, 我 们 有 (zj 十 d) 一 (zi 十 d)==z; 一 Zz;。 因此 ， a lt) Bt HE Arb. 
则 向 量 zx 十 4 也 满足 该 条 件 。 Hi 

差分 约束 系统 在 许多 不 同 的 应 用 里 都 会 出 现 。 例 如 ， 未 知 变量 z; 可 能 代表 的 是 事件 发 生 的 
时 间 。 每 个 约束 条 件 给 出 的 是 在 两 个 事件 之 间 必 须 间 隔 的 最 短 时 间或 最 长 时 间 。 也 许 ， 这 些 事件 
代表 的 是 产品 装配 过 程 中 所 必须 执行 的 任务 。 如 果 在 时 刻 zi 使 用 一 种 需要 2 个 小 时 才能 风干 的 
粘贴 剂 材 料 ， 则 我 们 需要 等 到 该 粘贴 剂 干 了 之 后 才能 在 时 刻 zs 安装 部 件 ， 这 样 ， 我 们 就 有 约束 
条 件 zx 宇 zi 十 2， 或 者 等 价 地 ，zxi 一 zs 三 一 2。 也 许 ， 我 们 可 能 要 求 部 件 必须 在 粘贴 剂 涂 上 后 但 
在 粘贴 剂 半 干 之 前 的 时 间 段 里 安装 上 。 在 这 种 情况 下 ， 我 们 得 到 一 对 约束 条 件 : non MrS 
ZI 十 1， 而 这 与 差分 约束 系统 zi 一 zz 二 0 和 zs 一 zi 二 1 等 价 。 

约束 图 

我 们 可 以 从 图 论 的 观点 来 理解 差分 约束 系统 。 在 一 个 Az 委 2 的 差分 约束 系统 中 ， 我 们 将 
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mXn 的 线性 规划 矩阵 A 看 做 是 一 张 由 个 结 点 和 m 条 边 构成 的 图 的 邻接 矩阵 的 转 置 。( 请 参阅 练 
习 22.1-7)。 对 于 i 二 1，2,*…，n， 图 中 的 每 个 结 点 vi 对 应 个 未 知 变量 z; 中 的 一 个 。 图 中 的 
每 条 有 向 边 则 对 应 个 不 等 式 中 的 一 个 。 

正 形式 化 地 说 ， 给 定 差分 约束 系统 Ax<b5， 其 对 应 的 约束 图 是 一 个 带 权重 的 有 向 图 G=(V, D), 
XE: 

V= {Ho 9° Un) 

E= ((viyv;):Zj — 2; Sb 是 一 个 约束 条 件 } U {C0 9) 5 C0 su) 9 CU 9 03) 988% 9 CU 9 Up) } 
约束 图 包含 一 个 额外 的 结 点 ww， 用 来 保证 图 中 至 少 存在 一 个 结 点 ， 从 其 出 发 可 以 到 达 所 有 其 他 
的 结 点 。 因 此 ， 结 点 集合 V 由 代表 每 个 变量 xz; 的 结 点 v; 和 人 额外 的 结 点 vo 所 组 成 。 边 集合 EE 包含 
的 是 代表 每 个 差分 约束 的 边 ， 再 加 上 边 (w， vi), i=1, 2, 5 n, 如 果 £j — XO 是 一 个 差分 
约束 条 件 ， 则 边 (v:，%w) 的 权重 为 wlv;，%w) 二 6b。 所 有 从 结 点 w 发 出 的 边 的 权重 为 0。 图 24-8 描 
述 的 是 差分 约束 系统 (24. 3)~ (24. 10) 的 约束 图 。 





图 24-8 ”差分 约束 系统 (24. 3) 一 (24. 10) 所 对 应 的 约束 图 。 每 个 结 点 u 中 的 数值 是 5 
CU » vu; WE 该 系统 的 一 个 可 行 解 是 z 一 (一 5， =3, 0, =], —4) 


下 面 的 定理 将 证 明 可 以 通过 在 对 应 的 约束 图 中 寻找 最 短路 径 权 重 来 找到 一 个 差分 约束 系统 
的 解 。 

定理 24.9 给 定 差分 约束 系统 Arb, R G=(V, 上) 是 该 差分 约束 系统 所 对 应 的 约束 图 。 
如 果 图 G 不 包含 权重 为 负 值 的 环 路 ， 则 

x = (BCU 0) OCU sV) ,Ov 9 Vz) ,Ov ,Uv,)) (24. 11) 
是 该 系统 的 一 个 可 行 解 。 如 果 图 G 包含 权重 为 负 值 的 环 路 ， 则 该 系统 没有 可 行 解 。 

证 明 首先 证 明 如 果 约 束 图 不 包含 权重 为 负 值 的 环 路 ， 则 式 (24. 11) 给 出 一 个 可 行 解 。 考 虑 
任意 一 条 边 (v;，w)EE， RHAEAKRSR, ym, y)ell, 5) 十 wlv:，v;)， 即 6(w，w;) 一 
OM, vwu; , V;) 0 因此 ， 如 果 设 Xi 二 6(w，v;) 和 ZX;=6(w, Uj)» 则 Ti 和 x; 满足 对 应 边 
(ww，z) 的 差分 约束 条 件 rwla, v). 

现在 我 们 来 证 明 如 果 约 束 图 包含 权重 为 负 值 的 环 路 ， 则 差分 约束 系统 没有 可 行 解 。 不 失 一 
般 性 ， 设 权重 为 负 值 的 环 路 为 cH lu, w, ts w), KHu=u. GAM w 不 可 能 包含 在 环 路 c 
上 ， 因 为 它 没有 进入 的 边 。) 环 路 c 对 应 下 面 的 差分 约束 条 件 组 : 

Ta — XR WV sv) 


T3 = 77 =. WU, 9 U3) 


Lea — Lea S WV s U1) 


2 es A Tw U sU) 
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我 们 使 用 反 证 法 来 进行 证 明 。 假 设 向量 x 有 一 个 满足 上 述 & 个 不 等 式 的 解 ， 则 这 个 解 必 须 同 时 满 

足 将 个 不 等 式 加 起 来 之 后 形成 的 新 的 不 等 式 。 如 果 将 不 等 式 的 左边 进行 求 和 ， 每 个 未 知 变量 z 

被 加 进来 一 次 ， 被 减 去 一 次 ( 记 住 ， U = Up 意味 着 Ly = L)» 使 得 左边 的 和 为 0。 不 等 式 右面 的 和 

为 wlc)， 因 此 有 Swe). BÈ c 是 一 个 权重 为 负 值 的 环 路 ， 因 此 w(c)<0， 这 样 我 们 得 出 子 

JG: OSwlc)<0, 
求解 差分 约束 系统 

定理 24. 9 告诉 我 们 ， 可 以 使 用 Bellman-Ford 算法 来 求解 差分 约束 系统 。 因 为 约束 图 包含 从 
源 结 点 w 到 所 有 其 他 结 点 的 边 ， 任 何 权重 为 负 值 的 环 路 都 可 以 从 结 点 w 到 达 。 如 果 Bellman- 
Ford 算 法 返回 TRUE 值 ， 则 最 短路 径 权 重 给 出 的 是 该 系统 的 一 个 可 行 解 。 例 如 ， 在 图 24-8 中 ， 
最 短路 径 权重 提供 的 可 行 解 是 z= 二 (一 5， 一 3，0， 一 1， 一 4)， 根据 引 理 24.8， 对 于 任意 常数 d, 
zx 二 (d 一 5,，d 一 3，d，d 一 1，d 一 4) 也 是 一 个 可 行 解 。 如 果 Bellman-Ford 算法 返回 FALSE 值 ， 
则 差分 约束 系统 没有 可 行 解 。 

一 个 有 ?7 个 未 知 变量 和 7 个 约束 条 件 的 差分 约束 系统 所 生成 的 约束 图 有 2 十 1 个 结 点 和 nn 十 m 
条 边 。 因 此 ， 使 用 Bellman-Ford 算法 ， 我 们 可 以 在 OC(n +1) tm) )=0 十 zz 时间 内 求解 该 
系统 。 练 习 24. 4-5 将 要 求 读 者 来 修改 算法 ， 以 使 其 能 够 在 OCnm) 时 间 内 完成 运算 ， 即 使 m mit 
小 于 n。 


练习 

24.4-1 请 给 出 下 面 差分 约束 系统 的 可 行 解 或 证 明 该 系统 没有 可 行 解 。 
a a= | 
一 过 
ea 
eo es 
es 5 
eae 
ye ee 
ye 7; =—— 1 
WE 3 
ta 

24.4-2 请 给 出 下 面 差分 约束 系统 的 可 行 解 或 证 明 该 系统 没有 可 行 解 。 
Ly — 22 4 
yo a5 
te La 6 
2-2 =.1 
o aaa oes 
9 
ei = te 10 
Xs — r, [— 4 
ek ye 


24. 4-3 ”约束 图 中 从 新 结 点 w 到 其 他 结 点 之 间 的 最 短路 径 权 重 能 够 为 正 值 吗 ? 请 解释 。 
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24. 4-4 请 将 单 源 单 目 的 地 最 短路 径 问 题 表 示 为 一 个 线性 规划 问题 。 

24.4-5 ”请 稍微 修改 Bellman-Ford 算法 ， 使 其 能 够 在 O(Czxz) 时 间 内 解决 由 对 个 未 知 变量 和 和 2 个 
约束 条 件 所 构成 的 差分 约束 系统 问题 。 

24.4-6 假定 在 除 差 分 约束 系统 外 ， 我 们 希望 处 理 形 式 为 x; 二 zj 十 b 的 相等 约束 。 请 说 明 如 何 修 
改 Bellman-Ford 算法 来 解决 这 种 约束 系统 。 

24. 4-7 说 明 如 何在 一 个 没有 额外 结 点 w 的 约束 图 上 运行 类 似 Bellman-Ford 的 算法 来 求解 差分 

*24. 4-8 ” 设 Azx<6 为 一 个 有 7 个 变量 和 mm 个 约束 条 件 的 差分 约束 系统 。 证 明 : 在 对 应 的 约束 图 


上 运行 Bellman-Ford 算法 将 获得 2 x; 的 最 大 值 ， 这 里 Arb 并 且 r<. 


*24.4-9 ” 设 Azx<6 为 一 个 有 7 个 变量 和 mm 个 约束 条 件 的 差分 约束 系统 ， 证 明 : 在 对 应 的 约束 图 
上 运行 Bellman-Ford 算法 将 获得 (max{z;} 一 min{zi)) 的 最 小 值 ， 这 里 Arb. WRA 
法 被 用 于 安排 建设 工程 的 进度 ， 请 说 明 如 何 应 用 上 述 事实 。 
24.4-10 ”假定 线性 规划 问题 Azx<6 的 矩阵 A 中 每 一 行 对 应 一 个 约束 条 件 ， 具 体 来 说 ， 对 应 的 是 
一 个 形式 为 x; 二 Bb 的 单个 变量 的 约束 条 件 ， 或 一 个 形式 为 一 zx; 三 b 的 单 变量 约束 条 件 。 
请 说 明 如 何 修改 Bellman-Ford 算法 来 解决 这 变 差 分 约束 系统 问题 。 
24. 4-11 给 出 一 个 有 效 算法 来 解决 Az<2 的 差分 约束 系统 问题 ， 这 里 5 的 所 有 元 素 为 实数 ， 所 
*24.4-12 给 出 一 个 有 效 算法 来 解决 Arab 的 差分 约束 系统 ， 这 里 5 的 所 有 元 素 为 实数 ， 而 变量 
x; 中 某 个 给 定 的 子 集 是 整数 。 


24.5 ”最短 路径 性 质 的 证 明 

在 贯穿 本 章 的 讨论 中 ， 我 们 的 各 种 正确 性 证 明 都 依赖 于 三 角 不 等 式 、 上 界 性 质 、 非 路 径 性 
质 、 收 敛 性 质 、 路 径 松 弛 性 质 和 前 驱 子 图 性 质 。 在 本 章 一 开始 ， 我 们 就 给 出 了 这 些 性 质 ， 但 却 没 
有 给 出 证 明 。 本 节 就 来 证 明 这 些 性 质 。 

三 角 不 等 式 性 质 

在 研究 广度 优先 搜索 (22. 2 节 ) 算 法 时 ， 我 们 在 引 理 22. 1 中 证 明了 无 权重 图 里 面 最 短路 径 的 

一 个 简单 性 质 。 三 角 不 等 式 只 不 过 是 将 该 简单 性 质 推广 到 带 权 重 的 图 中 。 

引 理 24. 10( 三 角 不 等 式 ) 设 G=(V，E) 为 一 个 带 权 重 的 有 向 图 ， 其 权重 函数 由 叫 ， 忆 >R 给 

出 ， 其 源 结 点 为 s。 那 么 对 于 所 有 的 边 (u，v) EE， 我 们 有 
Csu) < ls u) + wlu,v) 

证 明 假定 p 是 从 源 结 点 s 到 结 点 wv 的 一 条 最 短路 径 ， 则 之 的 权重 不 会 比 任何 从 s 到 wv 的 其 
他 路 径 的 权重 大 。 具 体 来 说 ， 路 径 p 的 权重 不 会 比 这 样 一 条 特定 的 路 径 的 权重 大 ， 从 源 结 点 * 到 
结 点 的 一 条 最 短路 径 ， 再 加 上 边 (w，) 而 到 达 结 点 v 的 这 条 路 径 。 

练习 24. 5-3 将 要 求 读者 处 理 从 源 捉 点 s 到 结 点 v 没有 最 短路 径 的 情况 。 m 

最 短路 径 估计 值 的 松弛 效果 

下 一 组 引 理 描述 的 是 ， 在 对 一 个 带 权重 的 有 向 图 的 边 执行 一 系列 松弛 步骤 时 ， 最 短路 径 估 
计 值 将 会 发 生 怎样 的 变化 。 这 里 假定 图 由 算法 INITIALIZE-SINGLE-SOURCE 进行 了 初始 化 。 

引 理 24. 11( 上 界 性 质 ) 设 G=(V，E) 为 一 个 带 权重 的 有 向 图 ， 其 权重 函数 由 w: E>R 给 
出 ， 其 源 结 点 为 s， 该 图 由 算法 INITIALIZE-SINGLE-SOURCE(G，s) 执 行 初始 化 。 那 么 对 于 所 
有 的 结 点 vEV, vd 之 6(s，v)， 并 且 该 不 变 式 在 对 图 G 的 边 进 行 任何 次 序 的 松弛 过 程 中 保持 成 
立 。 而 且 ， 一 旦 vd 取得 其 下 界 6(s，v) 后 ， 将 不 再 发 生变 化 。 

证 明 ”我 们 使 用 归纳 法 来 证 明 不 变 式 (对 于 所 有 的 结 点 vcEV，w. d 之 6(s，v))， 归 纳 的 主体 
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是 松弛 步骤 的 数量 。 

基础 步 : 在 初始 化 之 后 ， 对 于 所 有 的 结 点 VEV, v dls, VERR. AA v d= 二 oo 就 意 
味 着 对 于 所 有 的 结 点 v€EV 一 {s)，wv. d 之 6(s，v)。 由 于 s. d= 二 0 之 6(s，s) (注意 ， 如 果 源 结 点 * 处 
于 一 个 权重 为 负 值 的 环 路 上 ， 则 dCs, s)=—co; 否则 ，6(s，s) 一 0) 。 

归纳 步 : 考虑 对 边 (u，v) 的 松弛 操作 。 根 据 归 纳 假设 ， 在 松弛 之 前 ， 对 于 所 有 的 结 点 zxEV， 
x. d 之 6(s，Xx)。 而 在 对 边 (u，v) 进 行 松弛 的 过 程 中 ， 唯 一 可 能 发 生 改 变 的 d ERA v.d WRZ 
值 发 生变 化 ， 则 有 

vd =udtw(u,v) 
> lsu) + wlusv (根据 归纳 假设 ) 
> 6(s,v) (根据 三 角 不 等 式 ) 
因此 ， 循 环 不 变 式 得 到 维持 。 

要 证 明 v d 的 取 值 在 达到 w. 4 二 6(s，v) 之 后 就 不 再 变化 ， 只 要 注意 到 在 达到 其 取 值 的 下 界 
Ia, vd 无 法 再 减 小 ， 因 为 我 们 刚刚 证 明了 v. d 宇 6(s，v)， 而 该 值 也 不 可 能 增加 ， 因 为 松弛 操作 
从 来 不 增加 a 的 取 值 。 m 

推论 24. 12( 非 路 径 性 质 ) ”给 定 一 个 带 权重 的 有 向 图 G=, E), REBRKA w: E>R, 
假定 从 源 结 点 5SEV 到 给 定 结 点 vEV 之 间 不 存在 路 径 ， 则 在 该 图 由 INITIALIZE-SINGLE- 
SOURCE(G，s) 算 法 进行 初始 化 后 ， 我 们 有 v.d 二 6(s，v) 二 oo， 并 且 该 等 式 作为 不 变 式 一 直 维 
持 到 图 G 的 所 有 松弛 操作 结束 。 

证 明 根据 上 界 性 质 ， 我 们 总 是 有 co 二 6(s，w) 志 wv. 4d， 因此， v d= 二 oo0=6(s, v). | 

引 理 24.13 设 G= 二 (V，E) 为 一 个 带 权 重 的 有 向 图 ， 权重 函数 为 w EmR, FAW 
(wu，v)EE。 那 么 在 对 边 (w， 沁 进行 松弛 操作 RELAX(u, v, wE, A v.dXu.dtwlu, v). 

证 明 如果 在 对 边 (x， 也 进行 松弛 操作 前 ， 有 v. 4d 之 u. d 十 wlu，v)， 则 在 松弛 操作 后 ， 有 
v. d=u. d 十 wu，v)。 如 果 在 松弛 操作 前 有 vdu. 4 十 w(x，v)， 则 松弛 操作 不 会 改变 u.d 或 
v. d 的 取 值 ， 因 此 在 松弛 操作 后 仍然 有 v du. d 十 wlu, v). m 

引 理 24. MOKED 设 G= 二 (V，E) 为 一 个 带 权 重 的 有 向 图 ， 权 重 函 数 为 w: EPR, 
5EV 为 某 个 源 结 点 ，s 入 wu 一 vv 为 图 G 中 的 一 条 最 短路 径 ， 这 里 wu,，vEV。 假 定 图 G 由 
INITIALIZE-SINGLE-SOURCE(G，s) 算 法 进行 初始 化 ， 并 在 这 之 后 进行 了 一 系列 边 的 松弛 操 
作 ， 其 中 和 包括 对 边 (wuw，v) 的 松弛 操作 RELAX(w，v，ww)。 如 果 在 对 边 (u，v) 进 行 松弛 操作 之 前 
的 任意 时 刻 有 u.d 二 6(s，w)， 则 在 该 松弛 操作 之 后 的 所 有 时 刻 有 v. d= 二 6(s，v)。 

证 明 根据 上 界 性 质 ， 如 果 在 对 边 (u，wv) 进 行 松 弛 前 的 某 个 时 刻 有 ud=d(s, u), WAS 
式 在 松弛 操作 后 仍然 成 立 。 特 别 地 ， 在 对 边 (u，v) 进 行 松弛 后 ， 我 们 有 

vd <ud+wlusv) (根据 引 理 24. 13) 
= §(s,u) + wlu,v) 
= (s, v) (根据 引 理 24.1) 
RELA, RNA v. d 宇 6(s，v) 。 从 该 不 等 式 可 以 得 出 结论 v d= 二 6(s，v)， 并 且 该 等 式 在 此 
之 后 一 直 保持 成 立 。 E 

引 理 24. 15( 路 径 松 弛 性 质 ) ” 设 G 一 (V， 已 ) 为 一 个 带 权 重 的 有 向 图 ， 权 重 函数 为 w: E>R, 
设 sSEV 为 某 个 源 结 点 ， 考 虑 从 源 结 点 5 到 结 点 从 的 任意 一 条 最 短路 径 p 二 (wo， VU. os UH). $ 
果 图 G 由 INITIALIZE-SINGLE-SOURCE(G，s) 算 法 进行 初始 化 ， 并 在 这 之 后 进行 了 一 系列 的 边 
松弛 操作 ， 其 中 包括 对 边 (ww， w), Cp» Ws e, Cas VIERA RMR OR. 
则 在 所 有 这 些 松弛 操作 之 后 ， 我 们 及. 4 二 6(s，w)， 并 且 在 此 之 后 该 等 式 一 直 保 持 成 立 。 该 性 
质 的 成 立 与 其 他 边 的 松弛 操作 及 次 序 无 关 。 
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证 明 我们 使 用 归纳 法 来 证 明 该 引 理 。 我 们 的 归纳 假设 是 在 最 短路 径 p 的 第 i 条 边 被 松弛 之 
后 ， 有 wv. d 二 6(s，v;)。 对 于 基础 步 i 二 0 的 情况 ， 即 在 对 路 径 p 的 任何 一 条 边 进 行 松弛 操作 之 
BY, 我们 从 初始 化 算法 可 以 得 出 w. 4 二 s. d= 二 0 二 6(s，s)。 根 据 上 界 性 质 ，s. d 的 取 值 在 此 初始 化 
之 后 将 不 再 发 生变 化 。 

对 于 归纳 步 ， 假 定 v- d= 二 6(s，wv;-1)。 我 们 来 考虑 在 对 边 (v_! ，w;) 进 行 松弛 操作 时 将 发 生 
的 事情 。 根 据 收敛 性 质 ， 在 对 该 条 边 进 行 松弛 之 后 ， 我 们 有 wv. d= 二 6(s，wv;)， 并 且 该 等 式 在 此 之 
后 一 直 保 持 成 立 。 E 

松弛 操作 与 最 短路 径 树 

我 们 现在 来 证 明 ， 一 旦 一 个 松弛 操作 序列 导致 最 短路 径 估 计 值 收敛 到 最 短路 径 权 重 上 ， 则 
由 结果 x# 值 所 诱导 的 前 驱 子 图 G, 是 图 G 的 一 棵 最 短路 径 树 。 我 们 的 证 明 将 从 下 面 的 引 理 开始 ， 
该 引 理 将 证 明 前 驱 子 图 总 是 形成 一 棵 根 结 点 为 源 结 点 的 有 根 树 。 

引 理 24.16 RG=(V, DHA-+AFREHAAA, KELKA w: 下 ->R。 设 SETV 为 某 个 
源 结 点 ， 假 定 图 G 不 包含 从 源 结 点 s 可 以 到 达 的 权重 为 负 值 的 环 路 ， 则 在 图 G h INITIALIZE- 
SINGLE-SOURCE(G，s) 算 法 进行 初始 化 之 后 ， 前 驱 子 图 G 形成 根 结 点 为 源 结 点 s 的 有 根 树 ， 
并 且 任何 对 图 G 的 边 进行 的 任意 松弛 操作 都 将 维持 该 性 质 不 变 。 

证 明 ”在 初始 时 ，G, 中 的 唯一 结 点 是 源 结 点 *， 引 理 显然 成 立 。 考 虑 在 一 系列 松弛 操作 后 的 
前 驱 子 图 C.。 首 先 证 明 G 是 无 环 路 的 。 假 定 在 松弛 序列 的 某 个 步骤 上 在 图 G 中 创立 了 一 个 环 
路 。 设 该 环 路 为 c=, Us “ts Us XE w= uw. MA v;.x=v-15 1=1, 2, +, ky HH, 
不 失 一 般 性 ， 假 定 在 对 边 (w-: ， 人 也) 进行 松弛 操作 时 创建 了 G 中 的 该 条 环 路 。 

我 们 断言 : 所 有 环 路 c 上 的 结 点 都 可 以 从 源 结 点 s BIA. ATA? 环 路 c 中 的 每 个 结 点 都 
有 一 个 非 空前 驱 结 点 ， 环 路 c 上 面 的 每 个 结 点 都 在 其 取得 一 个 非 空 值 时 取得 一 个 有 限 的 最 短路 
径 估计 值 。 根 据 上 界 性 质 ， 环 路 <c 上 的 每 个 结 点 有 一 个 有 限 的 最 短路 径 权 重 ， 这 就 意味 着 该 结 点 
可 以 从 源 结 点 s 到达。 

我 们 下 面 来 检查 一 下 在 调用 RELAX(v_! ， 取 ，z) 操 作 之 前 < 上面 的 最 短路 径 估计 值 ， 并 证 
H c 是 一 个 权重 为 负 值 的 环 路 ， 从 而 导出 与 我 们 的 假设 (G 不 包含 从 源 结 点 可 以 到 达 的 权重 为 负 
值 的 环 路 ) 之 间 的 矛盾 。 在 该 调用 发 生前 ， 有 vj.c=v-1, i=l, 2, +, kR-1, HE, XF i=l, 
2，…，R& 一 1， 对 v; d 的 最 后 一 次 更 新 必定 是 Vi. d= v1. d+w(v 1 » U;)6 如 果 vi.d 在 此 之 后 
发 生变 化 ， 则 一 定 是 减少 了 。 因 此 ， 在 调用 RELAX(w-: ，v%，w) 操 作 之 前 ， 我 们 有 

并 lm.Q 二 wo 一 12…)R 一 ] (24. 12) 
因为 v. 在 该 调用 中 发 生 改 变 ， 所 以 在 此 之 前 有 
Use A> Ui. d+ wv sU) 

将 该 不 等 式 与 不 等 式 (24. 12) 中 的 & 一 1 个 不 等 式 进行 求 和 ， 获 得 环 路 <c 上 的 最 短路 径 估计 的 和 值 如 下 : 


S3 Cer d+ wie 100) = ere Sn 
但 由 于 环 路 < 上 的 每 个 结 点 在 每 个 求 和 中 仅 出 现 _ 次 ， 因 此 有 
Si 
该 等 式 意味 着 O 一 
(Sake wid 
因此 ， 环 路 < 上 的 权重 之 和 为 负 值 ， 这 与 我 们 的 假设 矛盾 
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现在 已 经 证 明 G 是 一 个 有 向 无 环 图 。 为 了 证 明 其 形成 一 棵 根 结 点 为 ;的 有 根 树 ， 只 要 证 明 对 
于 每 个 结 点 vEV， 在 图 G 中 存在 一 条 从 源 结 点 s 到 结 点 v 的 唯一 简单 路 径 即 可 (练习 B. 5-2). 
首先 证 明 对 于 结 点 vEV.， 在 图 G 中 存在 一 条 从 源 结 点 s 到 结 点 v 的 路 径 。V 中 包含 的 是 
那些 具有 非 空 x 值 的 结 点 ， 再 加 上 结 点 ;s。 这 里 可 以 用 归纳 法 证 明 从 源 结 点 s 到 每 个 结 点 vEV,， 
之 间 都 存在 一 条 路 径 。 该 证 明 的 细节 留 给 读者 作为 练习 (练习 24. 5-6) 。 
为 了 完成 对 引 理 24. 16 的 证 明 ， 我 们 还 必须 证 明 对 于 每 个 结 点 vCV,, AG, 至 多 包含 一 条 
Ms 到 w 的 简单 路 径 。 我 们 采用 反 证 法 。 假 定 情况 不 是 这 样 ， 即 假定 G 中 包含 两 条 从 源 结 点 s 到 
结 点 vv 的 简单 路 径 ， 设 其 分 别 为 pi: sMuvcoer vu Alps: sum yore, KB cA WF 
过 ， 结 点 可 以 是 s， 结 点 2 可 以 是 v)， 如 图 24-9 所 示 。 但 是 ，z. x 二 zx 并且 z. x 二 y， 这 将 得 出 
矛盾 的 结论 x 二 y。 因 此 ， 我 们 推断 图 G 包含 唯一 一 条 从 源 结 点 s 到 结 点 wv 的 简单 路 径 ， 所 以 G, 
形成 一 棵 根 结 点 为 源 结 点 s 的 有 根 树 。 





图 24-9 证明 图 G 中 从 源 结 点 s NARs 之 间 只 \ 存 在 唯一 一 条 简单 路 径 ， 如 果 存 在 两 条 路 径 pis su 
Ngee 0 Alpe: su~ y>z v, XE rÆy, M z. x 二 z+ 并 且 z.x 二 y， 这 将 得 出 矛盾 


我 们 现在 可 以 证 明 ， 如 果 在 执行 一 系列 的 松弛 操作 之 后 ， 所 有 结 点 都 取得 了 其 最 后 的 最 短 
路 径 权 重 ， 则 前 驱 子 图 G. 为 一 棵 最 短路 径 树 。 

引 理 24. 17( 前 驱 子 图 性 质 ) 设 G= 二 (V，E) 为 一 个 带 权重 的 有 向 图 ， 权 重 函 数 为 w: ER, 
设 5EV 为 源 结 点 ， 假 定 图 G 不 包含 从 源 结 点 s 可 以 到 达 的 权重 为 负 值 的 环 路 。 假 设 调用 
INITIALIZE-SINGLE-SOURCE(G，;s) 算 法 对 图 G 进行 初始 化 ， 然 后 对 图 G 的 边 进 行 任意 次 序 的 
松弛 操作 。 该 松弛 操作 序列 将 针对 所 有 的 结 点 VEV 生成 v.d 二 6(s，v)， 则 前 驱 子 图 G, 形成 一 
棵 根 结 点 为 s 的 最 短路 径 树 

证 明 要 证 明 G, 形成 一 _ 棵 根 结 点 为 的 最 短路 径 树 ， 必 须 证 明 最 短路 径 树 的 三 条 性 质 对 于 
G, 都 成 立 。 要 证 明 第 一 条 性 质 ， 必 须 证 明 V, 是 从 源 结 点 s 可 以 到 达 的 结 点 的 集合 。 根 据 定 义 ， 
最 短路 径 权 重 6C(s，wv) 是 有 限 值 当 和 且 仅 当 结 点 vv 是 从 源 结 点 s 可 以 到 达 的 ， 因 此 ， 从 源 结 点 可 以 
到 达 的 结 点 就 是 那些 有 着 有 限 4 值 的 结 点 。 但 对 于 结 点 v€V 一 {s}， 其 被 赋予 有 限 d 值 当 且 仅 当 
v. ANIL. Ak, Ve 中 的 结 点 就 是 那些 可 以 从 源 结 点 s 到 达 的 结 点 。 

第 二 条 性 质 可 以 从 引 理 24. 16 直接 推导 出 来 。 

剩 下 的 就 是 证 明 最 短路 径 树 的 第 三 条 性 质 ， 对 于 每 个 结 点 v€EV;，G 中 的 唯一 简单 路 径 
s ~ 心 v 也 是 图 G PMs Bu 的 一 条 最 短路 径 。 设 G, 中 的 唯一 简单 路 径 p 二 (vw。，vw，…，v)， 这 里 
UW=Ss =v. MFi=1, 2, +, ky RIJE v. 4 二 6(s，w;) 和 wv;. dvi. dd 十 w(v;_ 1 ，v;)。 从 这 
里 我 们 可 以 得 出 结论 w《v_1，wv;) 三 6(s，wv) 一 6(s，wv;_1)。 将 路 径 p 上 的 所 有 权重 进行 求 和 ， 有 


wp) = Dut) < E Gw) — 85,04) 


= lsu) — lss mm) (因为 裂 项 相 消 和 和 ) 

= Cs, v) (因为 8(s,m) = (s,s) = 0) 
因此 ，w(p) 二 6(s，w%)。 由 于 6Cs，w) 是 从 源 结 点 :到 绪 点 你 的 任意 一 条 路 径 权 重 的 下 界 ， 我 们 
HE w=, w), AE, p 确实 是 图 G 中 从 源 结 点 s NAR vv, 的 一 条 最 短路 径 。 m 


练习 
24.5-1 给 出 图 24-2 的 与 图 中 两 棵 最 短路 径 树 不 同 的 另外 两 棵 最 短路 径 树 。 
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24.5-2 G 二 (V，E) 为 一 个 带 权 重 的 有 向 图 ， 权 重 函 数 为 w: E>R。 设 ;EV 为 某 个 源 结 点 。 请 
举 出 一 个 例子 ， 使 得 图 G 满足 下列 条 件 ， 对 于 每 条 边 (u，wv) EE， 和 存在 一 棵 根 结 点 为 s 
的 包含 边 (u，wv) 的 最 短路 径 树 ， 也 包含 一 棵 根 结 点 为 ;的 不 包含 边 (u，wv) 的 最 短 
路 径 树 。 

24.5-3 对 引 理 24. 10 的 证 明 进 行 改善 ， 使 其 可 以 处 理 最 短路 径 权 重 为 cc 和 一 ce 的 情况 。 

24.5-4 设 G=(V，E) 为 一 个 带 权 重 的 有 向 图 ， 权 重油 数 为 w: E->~R。 假 设 调用 INITIALIZE- 
SINGLE-SOURCE(C，5) 算 法 对 图 G 进行 初始 化 。 证 明 ， 如果 一 系列 松弛 操作 将 s. x 的 
值 设 置 为 一 个 非 空 值 ， 则 图 G 包含 一 个 权重 为 负 值 的 环 路 。 

24.5-5 设 G 二 (V，E) 为 一 个 带 权 重 的 、 无 负 值 环 路 的 有 向 图 。 设 ;EV 为 源 结 点 ， 对 于 结 点 

| vEV— {s}, MRAR v 可 以 从 源 结 点 到达， 我 们 允许 v r 是 结 点 v 在 任意 一 条 最 短 
路 径 上 的 前 驱 ， 如 果 结 点 wv 不 可 以 从 源 结 点 s 到 达 ， 则 wv. x 为 NIL。 请 举 出 一 个 图 例 和 
一 种 x 的 赋值 ， 使 得 G 中 形成 一 条 环 路 。( 根 据 引 理 24. 16， 这 样 的 一 种 赋值 不 可 能 由 
一 系列 松弛 操作 生成 。) 

24.5-6 设 G 二 (V，E) 为 一 个 带 权重 的 有 癌 图 ， 权 重 函 数 为 w: ER， 且 不 包含 权重 为 负 值 的 
环 路 。 设 ;EV ARAR, BER G 由 INITIALIZE-SINGLE-SOURCE(G，;s) 算 法 进行 
初始 人 化。 证明， 对 于 每 个 结 点 VEV,, G, 中 存在 一 条 从 源 结 点 s 到 结 点 v 的 路 径 ， 并 且 
该 性 质 在 任何 松弛 操作 序列 中 维持 为 不 变 式 。 

24.5-7 Z G 一 (V， 歼 ) 为 一 个 带 权 重 的 有 向 图 ， 且 不 包含 权重 为 负 值 的 环 路 。 设 ;EV 为 源 结 
点 ， 假 定 图 G 由 INITIALIZE-SINGLE-SOURCE(G，s) 算 法 进行 初始 化 。 证 明 ， 对 于 所 
有 结 点 vEV， 存 在 一 个 由 |V| 一 1 个 松弛 步骤 所 组 成 的 松弛 序列 来 生成 v. d=d(s, v). 

24.5-8 设 G= 二 (V，E) 为 一 个 带 权 重 的 有 疝 图 ， 且 包含 一 个 可 以 从 源 结 点 s 到达 的 权重 为 负 值 的 
环 路 。 请 说 明 如 何 构造 一 个 G 的 边 的 松弛 操作 的 无 限 序 列 ， 使 得 每 一 步 松 弛 操作 都 能 
对 某 一 个 最 短路 径 估计 值 进行 更 新 。 


24-1 (Yen 对 Bellman-Ford 算法 的 改进 ) 假定 对 Bellman-Ford 算法 中 对 边 的 每 一 遍 松弛 操作 
的 次 序 做 出 如 下 规定 : 在 第 一 遍 松弛 前 ， 我 们 给 输入 图 G 二 (VY，E) 的 所 有 结 点 赋予 一 个 
随机 的 线性 次 序 Us w, ws vivyo Mia» KURS ERDA E; UE, 这 里 E-={(y,, 
y)EE: i<j}, =((u, y)EE: 这 放 。( 假 定 图 G 不 包含 自 循 环 ， 因 此 一 条 边 要 么 属 
FE, BARTEL G=V, EDMG =, B). 

a. 证 明 G; 是 无 环 的 ， 且 其 拓扑 排序 为 vw， Vs Viv 73 G, 是 无 环 的 ， 且 其 拓扑 排 
FJ vivi > Vivj-19 "s Ure 

假定 我 们 以 下 面 的 方式 来 实现 Bellman-Ford 算法 的 每 一 遍 松弛 操作 : Wis w, s 
vv 的 次 序 访 问 每 个 结 点 ， 并 对 从 每 个 结 反 发 出 的 Ey 边 进行 松弛 。 然 后 ， 再 以 次 序 
Vivi s Vivi-19 °°» U 来 访问 每 个 结 点 ， 并 对 从 每 个 结 点 发 出 的 E, 边 进 行 松 弛 。 

. 证 明 : 在 上 述 操作 方式 下 ， 如 果 图 G 不 包含 从 源 结 上 后 s 可 以 到 达 的 权重 为 负 值 的 环 路 ， 

则 在 [|V| /2 六 松弛 操作 后 ， 对 于 所 有 的 结 点 vc€EV， 有 v. d=, v). 

e 上述 算 法 是 否 改 善 了 Bellman-Ford 算法 的 渐 近 运行 时 间 ? 

24-2 (KRES2T) ”假定 有 很 多 维度 为 d 的 盒子 ， 对 于 盒子 X= 《zi,， Tz, e, xa) M y=, 
yy，"…，y4a) 的 两 个 盒子 来 说 ， 如 果 集 合 {1，2，…，d}) 存 在 一 个 排列 x， 使 得 zx 二 yi， 
Luo Ys Lady Yd, 则 称 盒子 c<RBLEaT y EM. 
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第 六 部 分 算 法 


a. WH: 般 套 关系 是 传递 的 。 

b 给 出 一 个 有 效 算 法 来 判断 一 个 维度 为 4 的 盒子 是 否 肉 套 在 另 一 个 同样 维度 的 盒子 里 。 

c. 假定 有 一 组 个 d 维 的 盒子 {B11，B,，…，B,}。 请 给 出 一 个 有 效 算法 来 找 出 最 长 序列 
(B; ’ B, » es B;,?s 使 得 盒子 B; 般 套 在 盒子 了 E, 这 里 本 1920 kl 
以 d Filn 来 表述 算法 的 运行 时 间 。 

(套利 交易 ) 套利 交易 指 的 是 使 用 货币 汇率 之 间 的 差异 来 将 一 个 单位 的 货币 转换 为 多 于 

一 个 单位 的 同 种 货币 的 行为 。 例 如 ， 假 定 1 美元 可 以 购买 49 印度 户 比 ，1 印度 卢比 可 以 

购买 2 日 元 ,1 日 元 可 以 购买 0.0107 美元 。 那 么 通过 在 货币 之 间 进 行 转换 ， 一 个 交易 商 

可 以 从 1 美元 开始 ， 购 买 49X2X0.0107 王 1. 0486 美元 ， 从 而 获得 4. 86% 的 利润 。 

BRRR n Ph cis czs ets Cn 和 一 个 nXn 的 汇率 表 尺 ， 一 个 单位 的 c 货币 可 以 
购买 RLi，j] 单 位 的 c; 货币 。 

a 给 出 一 个 有 效 的 算法 来 判断 是 否 存在 一 个 货币 序列 Cc; ，c;, ，…*，ci, ，， 使 得 

RLi s iz] ° Rl, i3] e + e Ra, i * RL, I>] 
请 分 析 算 法 的 运行 时 间 。 

b. 给 出 一 个 有 效 算法 来 打印 出 这 样 的 一 个 序列 (如 果 存 在 这 样 一 种 序列 )。 分 析 算 法 的 运 
行 时 间 。 

(Gabow 的 单 源 最 短路 径 伸缩 算法 ) 伸缩 算法 解决 问题 的 方式 如 下 : 首先 考虑 相关 输入 

值 (如 边 的 权重 ) 的 最 高 有 效 位 ， 然 后 通过 检查 最 高 两 个 有 效 位 来 对 初始 解 进行 微调 。 这 种 

算法 渐次 检查 更 多 的 最 高 有 效 位 ， 每 次 对 解 进行 微调 ， 直 到 对 所 有 输入 位 进行 检查 并 计算 

出 正确 解 为 止 。 

在 本 题 中 ， 我 们 通过 对 边 的 权重 进行 伸缩 来 计算 单 源 最 短路 径 。 给 定 有 向 图 C 一 (V， 甩 . 


图 的 所 有 边 的 权重 皆 为 非 负 整 数 w。 设 W 二 max {wu， 怠 }。 我 们 的 目标 是 设计 一 个 运行 时 间 


为 CCElgW) 的 算法 来 计算 最 短路 径 。 假 设 所 有 结 点 都 可 以 从 源 结 点 到 达 。 
该 算法 对 边 权重 的 二 进 制 表示 进行 逐 位 检查 ， 从 最 高 有 效 位 到 最 低 有 效 位 。 具 体 来 

说 ， 设 &=| lgCW 十 1)| 为 W 的 二 进 制 表示 所 需要 的 位 数 ， 并 且 对 于 ;一 1，2，…，A&， 设 
w; (u, v=lwlu, v)/2*'), BRE, wlu oH wlu，wv) 的 第 i 个 最 高 有 效 位 给 出 
的 “收缩 ”的 wu, wR. CA, MTHAW Cu, WEE, A wilu, v=wlu, v) fal 
W, WR &=5， 并 且 (x*， 了 三 25， 其 二 进 制 表示 为 (11001》， 则 rw (zx， 人 切 三 (110? 一 6。 又 
例如 ， 如 果 wlu, v)=(00100)=4, Mw Cu, v)=(001)=1,. Æ 28%(0，ma) 为 使 用 权重 函 
Rw 的 情况 下 从 结 点 到 结 点 wv 的 最 短路 径 权 重 ， 则 对 于 所 有 的 结 点 w，vEV， 有 
6.《(u，v) 二 6(u，v)。 对 于 给 定 源 结 点 s， 该 伸缩 算法 首先 计算 出 对 于 所 有 结 点 vc€EV 的 所 有 
最 短路 径 权重 61(s，v)， 然 后 再 计算 出 6,《s，v)， 这 样 一 直下 去 ， 直 到 计算 出 Os, ve 
假定 1|E| 宇 |V| 一 1， 我们 将 看 到 从 8-: 计 算出 8 所 需要 的 时 间 为 O(E), 因 此 ， 整 个 算法 
的 运行 时 间 为 OCRE) =OCElgW). 
a. 假定 对 于 所 有 的 结 点 EV, AMCs, OIE. WH: 可 以 在 OCE) 的 时 间 内 计算 出 所 

有 的 els, v). | 
b. 证 明 : 可 以 在 OCED NATE AH OCs, v). 

下 面 我 们 来 专注 于 如 何 从 OE HH 8。 
c. WEAR: SPF i=, 3, +, k, BAZAR wu, v) 一 2 lu, v), BAZAR wlu, v)= 

ZW- (us wl, 然后 再 证 明 ， 对 于 所 有 的 结 点 vEV, 

28 (ssu) <6,(5,0) < 26-4 (ssu) + |V| —1 

d. 对 于 所 有 的 (4u，v) EE 和 i 二 2，3，…,，k， 定 义 
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w;(usv) = w;(usv) 十 28 (ssu) 一 28 (sv) 
证 明 ， 对 于 所 有 的 边 (w，v) EE 和 i 二 2，3,，…，k， 重 新 计算 过 的 边 (u，wv) 的 权重 值 
Ww; (us 2) 是 一 个 非 负 整 数 。 

e 在 本 小 题 中 ， 我 们 定义 8 (s， 了 zz) 为 使 用 权重 函数 也 时 从 源 结 点 * 到 结 点 v 的 最 短路 径 权 
$. WEHR: 对 于 所 有 的 边 vEV Ml i=2, 3, s+, k, A & Cs, v) =; (s, v) +26;-1 (5) v), 
并 有 6.(s,， VSE. 

f. 说明 如 何在 OCD NAAM 51《s，v) 计 算出 Os, vd, 并 且 得 出 结论 : 可 以 在 
OLElgW) 时 间 内 计算 出 所 有 结 点 wv 的 6(s，w)。 

(Karp 的 最 小 平均 权重 环 路 算法 ) KG=(V, EE) 为 一 个 带 权 重 的 有 疝 图 ， RRA 

w: E>R, 设 n 二 |V|。 定 义 玉 中 边 的 环 路 c= 二 (el ，es，…，e) 的 平均 权重 为 

uc) = we) 
Ww yp" =minp (c) ， 这 里 c 为 图 G 中 所 有 的 有 向 环 路 。 我 们 称 环 h 路 权重 o= u 的 环 路 c 为 
最 小 平均 权重 环 路 。 本 题 要 研究 的 是 如 何 高 效 地 计算 出 全 。 
假定 在 不 失 一 般 性 的 情况 下 ， 每 个 结 点 v€V 都 可 以 从 源 结 点 s BGK. HOGS, WAM 

源 结 点 s 到 结 点 v 的 最 短路 径 权 重 ， 设 G(s，wv) 为 从 源 结 点 :到 结 点 wv 的 恰好 包含 & 条 边 

的 最 短路 径 权 重 。 如 果 不 存 在 恰好 & 条 边 的 从 Bu 的 路 径 ， 则 dCs, v)=00, 

a. TEAR: 如 果 jy* 二 0， 则 图 G 包 含 非 负 权重 的 环 上 路， 并 且 对 于 所 有 的 结 点 vEV， 

6(s, v= min Ò Cs, v) 

b. 证 明 : 如 果 jp* 二 0， 则 对 于 所 有 的 结 点 vEV， 


Ò, CSU) — & Css V) 
Reon n—k =n 


(提示 : 使 用 (a) 部 分 的 两 个 属性 。) 

c Rc 为 一 个 权重 为 0 R, Hi u Mo 为 c 上 的 任意 两 个 结 点 。 假 定 六 一 0 并 且 环 路 
上 从 结 点 到 结 点 wv 的 简单 路 径 的 权重 为 x。 证 明 : Os, v) =l, utr GER: 环 
路 上 从 结 点 v 到 结 点 的 简单 路 径 的 权重 为 一 z。) 

d. WHH: WR py" = 二 0， 则 在 每 个 最 小 平均 权重 环 路 上 都 存在 一 个 结 点 v， 满 足 

On (5,0) — Oe (590) _ 

O<k<r-1 n—k 
(提示 :说 明 如 何 将 一 条 最 短路 径 扩 展 到 最 小 平均 权重 环 路 上 的 任意 结 点 ， 以 找 出 到 环 
路 上 下 一 个 结 点 的 最 短路 径 。) 
e 证 明 : WR y* = 二 0， 则 在 每 个 最 小 平均 权重 环 路 上 都 存在 一 个 结 点 v， 满 足 


: Ôn CS U) — & (5,0) __ 
min max oS? == 
vEV O<k<r-1 n— k 


f. TEA: 如 果 给 图 G 的 每 条 边 的 权重 加 一 个 常数 上 ， 则 jy* 也 增加 i。 使 用 该 事实 来 证 明 : 


# — min max 0, (S30) — Ò Css U) 
B vEV 0<k<r-l n— k 


g 给 出 一 个 时 间 复 杂 度 为 OC(VE) 的 算法 来 计算 v'e 

( 双 调 最 短路 径 ) 对 于 一 个 序列 来 说 ， 如 果 该 序列 先是 单调 增长 ， 然 后 再 单调 递减 ， 或 者 
在 进行 循环 移 位 后 ， 该 序列 成 为 先 单调 增长 然后 单调 递减 的 序列 ， 则 该 序列 称 为 双 调 序 
列 。 例 如 ， 序 列 (1，4，6，8，3， 一 2?”、(9，2， 一 4， 一 10， 一 5 和 《1，2，3，4) 都 是 双 
调 序 列 ， 但 (1，3，12，4，2，10 则 不 是 双 调 序列 。( 请 参阅 思考 题 15-3 中 的 双 调 欧 几 里 
得 旅行 商 问题 。) 


0 
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假设 给 定 有 向 图 G= 二 (V，E)， 权 重 函数 为 w: E 一 R， 并 且 所 有 的 权重 值 都 唯一 ， 我 们 希 

望 找到 从 源 结 点 s 出 发 的 单 源 最 短路 径 。 不 过 ， 我 们 还 有 一 条 额外 的 信息 : 对 于 每 个 结 点 

vEV， 从 源 结 点 s 到 结 点 wv 的 任意 最 短路 径 上 的 边 的 权重 形成 一 个 双 调 序列 。 | 

请 给 出 最 有 效 的 算法 来 解决 这 个 问题 ， 并 分 析 其 运行 时 间 。 

本 章 注 记 

Dijkstra 算法 L88j] 首 次 发 表 在 1959 年 ， 但 该 次 发 表 的 论文 里 却 没有 提 及 优先 队列 。Bellman- 
Ford 算法 是 基于 Bellman[ 38] 和 Ford[109j] 所 独立 提出 来 的 算法 。Bellman 还 描述 了 最 短路 径 和 差 
分 约束 之 间 的 关系 。LawlerL224 |] 考虑 了 民间 流行 的 部 分 ， 描 述 了 在 有 向 无 环 图 中 解决 最 短路 径 
的 线性 时 间 算 法 。 

当 边 的 权重 为 相对 较 小 的 非 负 整数 时 ， 我 们 可 以 有 更 有 效 的 算法 来 解决 单 源 最 短路 径 问题 : 
在 Dijkstra 算法 中 ，EXTRACT-MIN 调用 所 返回 的 值 随 着 时 间 单 调 递增 。 如 第 6 章 的 注 记 所 讨 
论 的， 在 这 种 情况 下 ， 比 起 二 叉 堆 和 斐 波 那 契 堆 来 ， 我 们 可 以 使 用 多 种 数据 结构 来 实现 不 同 的 、 
更 加 高 将 的 优先 队列 操作 。Ahuja、Mehlhorn、Orlin 和 Tarjan[8j] 给 出 了 一 个 运行 时 间 为 
O(CE 十 V VlgW) 的 算法 ， 该 算法 适用 于 非 负 值 的 边 权 重 ， 这 里 W 是 图 中 所 有 边 权 重 中 的 最 大 值 。 最 
优 的 时 间 复 杂 度 上 界 为 Thorup[ 337j 给 出 的 OCE lglgV) 和 Raman| 291 | 给 出 的 OCE+Vmin{ Ug V. 
(gVWD)))。 这 两 种 算法 所 使 用 的 空间 量 依赖 于 下 层 的 机 器 字 的 尺寸 。 虽 然 以 输入 的 规模 来 看 ， 
其 使 用 的 空间 是 没有 上 界 的 ， 使 用 随机 散 列 可 以 将 该 空间 减少 到 与 输入 规模 呈 线 性 关系 的 程度 。 

对 于 权重 为 整数 的 无 向 图 来 说 ，ThorupL336j] 给 出 了 一 个 运行 时 间 为 OC(V 十 E) 的 算法 来 解决 
单 源 最 短路 径 问 题 。 与 前 面 段落 中 提 到 的 各 种 算法 相 比 ， 该 算法 并 不 是 Dijkstra 算法 的 一 种 实 
现 ， 因 为 由 EXTRACT-MIN 调用 所 返回 的 值 并 不 随 着 时 间 单 调 递 增 。 

对 于 权重 可 以 为 负 值 的 图 来 说 ，Gabow 和 Tarjan[122] 给 出 了 一 个 运行 时 间 为 O(VVE lg (VW) : 
的 算法 ， 而 Goldberg[ 137] 给 出 了 一 个 运行 时 间 为 OVVE lgW) 的 算法 ， 这 里 W= max { lwlu, V| ya 

Cherkassky, Goldberg 和 Radzik[64] 对 各 种 最 短路 径 算法 进行 了 细致 的 实验 比较 ， 
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在 本 章 ， 我 们 考虑 的 问题 是 如 何 找 到 一 个 图 中 所 有 结 点 之 间 的 最 短路 径 。 该 问题 在 计算 所 
有 城市 之 间 的 交通 道路 距离 时 将 出 现 。 如 第 24 章 所 述 ， 我 们 给 定 的 是 一 个 带 权 重 的 有 向 图 G= 
(V，E)， 其 权重 函数 为 w: E 一 R， 该 函数 将 边 映射 到 实数 值 的 权重 上 。 我 们 希望 找到 ， 对 于 所 
AWA AX u, veV, 一 条 从 结 点 u 到 结 点 wv 的 最 短路 径 ， 其 中 一 条 路 径 的 权重 为 组 成 该 路 径 的 
所 有 边 的 权重 之 和 。 我 们 通常 希望 以 表格 的 形式 来 表示 输出 : B uT v 列 给 出 的 是 结 点 到 结 
点 v 的 最 短路 径 权 重 。 

我 们 可 以 通过 运行 |V | 次 单 源 最 短路 径 算法 来 解决 所 有 结 点 对 之 间 的 最 短路 径 问题 ， 每 一 次 
使 用 一 个 不 同 的 结 点 作为 源 结 点 。 如 果 所 有 的 边 的 权重 为 非 负 值 ， 那 么 可 以 使 用 Dijkstra 算法 。 
如 果 使 用 线性 数组 来 实现 最 小 优先 队列 ， 那 么 该 算法 的 运行 时 间 将 是 OV HVE) =00V°). 使 
用 二 叉 堆 实现 的 最 小 优先 队列 将 使 算法 的 运行 时 间 降 低 到 OCVE IgV), ， 这 个 时 间 在 稀疏 图 的 情况 
下 是 一 个 较 大 改进 。 此 外 ， 也 可 以 使 用 斐 波 那 契 堆 来 实现 最 小 优先 队列 ， 这 种 情况 下 算法 的 运行 
时 间 为 OV? IgV+VE). 

如 果 图 中 有 权重 为 负 值 的 边 ， 那 么 将 不 能 使 用 Dijkstra 算法 。 此 时 ， 我 们 必须 运行 效率 更 低 
的 Bellman-Ford 算法 ， 每 次 使 用 一 个 不 同 的 结 点 作为 源 结 点 。 该 算法 的 运行 时 间 将 是 OCV E), 
在 稠密 图 的 情况 下 ， 该 运行 时 间 为 OC(V*)。 在 本 章 ， 我们 将 看 到 如 何 能 做 得 更 好 。 此 外 ， 本 章 还 
讨论 所 有 结 点 对 最 短路 径 问题 与 矩阵 乘法 之 间 的 关系 并 对 其 代数 结构 进行 一 些 研 究 。 

与 单 源 最 短路 径 算法 中 使 用 邻接 链表 来 表示 图 不 同 ， 本 章 的 多 数 算法 使 用 邻接 矩阵 来 表示 
图 。( 不 过 ，25. 3 节 讨 论 的 用 于 稀 朴 图 的 Johnson 算法 使 用 的 是 邻接 链表 。) 为 了 方便 起 见 ， 假 定 
A nMERNWARAG=(V, DUKE. hihi, W=(w,), HH 





0 Hi=j 

Wij -fama 的 权重 #Fi#jEG EE (25. 1) 
co 若 z 兴 7J 且 (人 7) EE 

我 们 允许 存在 负 权重 的 边 ， 但 目前 仍然 先 假定 图 中 不 包括 权重 为 负 值 的 环 路 。 

本 章 讨论 的 所 有 结 点 对 最 短路 径 算 法 的 表格 输出 也 是 一 个 nXn WEDS (dy), HP dyti 
表 的 是 从 结 点 i 到 结 点 7 的 一 条 最 短路 径 的 权重 。 也 就 是 说 ， 如 果 用 6(i，j) 来 表示 从 结 点 i 到 结 
点 7 之 间 的 最 短路 径 权 重 ( 如 第 24 章 所 示 )， 则 在 算法 终结 时 有 di 一 SGz，7)。 

为 了 解决 所 有 结 点 对 最 短路 径 问 题 ， 我 们 不 仅 需 要 计算 出 最 短路 径 权 重 ， 还 需要 计算 出 前 
驱 结 点 和 矩阵 二 (x )， 其 中 ;在 i 二 j 或 从 i 到 j 不 存在 路 径 时 为 NIL， 在 其 他 情况 下 给 出 的 是 从 
结 点 i DR) 的 某 条 最 短路 径 上 结 点 7 的 前 驱 结 点 。 就 如 第 24 章 的 前 驱 子 图 G 为 给 定 源 结 点 
的 一 棵 最 短路 径 树 一 样 ， 由 矩阵 工 的 第 i 行 所 诱导 的 子 图 应 当 是 一 棵 根 结 点 为 i 的 最 短路 径 树 。 
对 于 每 个 结 点 iEV， 定 义 图 G 对 于 结 点 i 的 前 驱 子 图 为 G.,; 王 (Vi,;:，EE,;)， 其 中 

V 地 {j E V: T; 天 NIL} U {i} Ezi a { Citi; JJ E Va~ {i}} 
如 果 Gi,; 是 一 棵 最 短路 径 树 ， 则 下 面 的 过 程 将 打印 出 从 结 点 i 到 结 点 7 的 一 条 最 短路 径 。 该 算法 
是 第 22 章 的 PRINT-PATH 过 程 的 一 种 修改 版 本 。 


PRINT-ALL-PAIRS-SHORTEST-PATH C1, 7, 7) 
1 让; 一 一 © 
2 print z 
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3 elseif x; = =NIL 

4 print no path from”7“to”j “exists” 

5 else PRINT-ALL-PAIRS-SHORTEST-PATH CI, 2, x, ) 
6 print j 


为 了 彰显 本 章 将 要 讨论 的 所 有 结 点 对 最 短路 径 算法 的 本 质 特征 ， 我 们 不 可 能 像 第 24 章 阐述 


前 驱 子 图 那样 花 大 篇 幅 去 讨论 前 驱 矩 阵 的 建立 及 其 性 质 。 基 本 性 质 将 在 某 些 练习 中 讨论 。 


本 章 概述 

25. 1 节 讨 论 如 何 用 基于 和 矩阵 乘法 的 动态 规划 算法 来 解决 所 有 结 点 对 最 短路 径 问题 。 如 果 使 
用 “重复 平方 ”技术 ,算法 的 运行 时 间 为 B(Va IgV), 25.2 节 给 出 另 一 种 动态 规划 算法 ， 即 Floyd- 
Warshall 算法 。 该 算法 的 运行 时 间 为 9(Va)。25. 2 节 同 时 还 讨论 如 何在 有 向 图 中 找 出 传递 闭 包 
的 问题 ， 该 问题 与 所 有 结 点 对 最 短路 径 问 题 相 关 。 最 后 ，25. 3 节 讨论 Johnson 算法 ， 该 算法 能 够 
在 OCV? lgV 十 VE) 的 时 间 内 解决 所 有 结 点 对 最 短路 径 问题 ， 对 大 型 稀疏 图 来 说 这 是 一 个 很 好 的 
算法 。 

在 开始 前 ， 我 们 需要 给 出 邻接 和 矩阵 表示 的 一 些 约定 。 首 先 ， 假 定 输入 图 G 二 (V，E) 有 nn 个 
结 点 ， 因 此 ,n= |V| 。 其 次 ， 使 用 大 写字 母 来 表示 矩阵 ， 如 人 本、 工 或 D， 而 用 带 下 标的 小 写字 
母 来 表示 矩阵 中 的 个 体 元 素 ， 如 zw 、 忆 或 dy 。 一 些 矩 阵 将 有 带 括号 的 上 标 ， 如 Lm =U) 
D®= (d 包 ) ， 用 来 表示 迭代 。 最 后 ， 对 于 一 个 给 定 的 >Xz 矩阵 A， 假 定 矩 阵 的 维度 ”存储 在 属 
HEA. rows 中 。 


25.1 ”最 短路 径 和 和 矩阵 乘法 

本 节 讨论 有 向 图 G 二 (V，E) 上 所 有 结 点 对 最 短路 径 问 题 的 一 种 动态 规划 算法 。 在 动态 规划 
的 每 个 大 循环 里 ， 我 们 将 调用 一 个 与 矩阵 乘法 非常 相似 的 操作 ， 因 此 ， 该 算法 看 上 去 就 像 是 重复 
的 矩阵 乘法 。 我 们 将 首先 给 出 一 个 B(V4) 的 算法 ， 然 后 再 将 该 算法 改进 到 OV IgV). 

在 开始 前 ， 让 我 们 简略 地 回顾 第 15 章 描述 过 的 设计 动态 规划 算法 的 步骤 : 

1. 分 析 最 优 解 的 结构 。 

2. 递归 定义 最 优 解 的 值 。 

3. 自 底 向 上 计算 最 优 解 的 值 。 
我 们 将 设计 动态 规划 算法 的 第 4 步 ( 即 从 计算 出 的 最 优 解 的 值 上 构建 最 优 解 ) 留 给 读者 作为 练习 。 

最 短路 径 的 结构 

我 们 从 对 最 优 解 的 结构 开始 进行 分 析 。 对 于 图 G=(V，E) 的 所 有 结 点 对 最 短路 径 问 题 ， 我 
们 证 明了 ( 引 理 24. 1) 一 条 最 短路 径 的 所 有 子路 径 都 是 最 短路 径 。 假 定 用 邻接 矩阵 来 表示 输入 图 . 
即 W= (wj)。 考 虑 从 结 点 i 到 结 点 j 的 一 条 最 短路 径 p， 假 定 p 至 多 包含 m 条 边 ， 还 假定 没有 权 
重 为 负 值 的 环 路 ， 且 m 为 有 限 值 。 如 果 i=j, M p 的 权重 为 0 且 不 包含 任何 边 。 如 果 结 点 i 和 结 
点 了 不同， 则 将 路 径 p 分 解 为 i Oka, HE 加 至 多 包含 mm 一 1 条 边 。 根 据 引 理 24. 1，p' 是 
从 结 点 i BRR RRR, A, OG, f)=dG, k) Fw o 

所 有 结 点 对 最 短路 径 问题 的 递归 解 

现在 设 ! 名 为 从 结 点 i 到 结 点 j 的 至 多 包含 m 条 边 的 任意 路 径 中 的 最 小 权重 。 当 m=0 时 . 
从 结 点 i 到 结 点 7 之 间 存 在 一 条 没有 边 的 最 短路 径 当 且 仅 当 ;一 7。 因 此 ， 
0 如果 i 二 J 
co 如 果 i 关 J 
对 于 m 宇 1， 我 们 需要 计算 的 UP BUS? Ki sli 最 多 由 m 一 1 条 边 组 成 的 最 短路 径 的 权重 ) 的 最 
小 值 和 从 i 到 j 最 多 由 m 条 边 组 成 的 任意 路 径 的 最 小 权重 ， 我 们 通过 对 j 的 所 有 可 能 前 驱 & 进行 


De = 
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检查 来 获得 该 值 。 因 此 递归 定义 
Le = min , min {la Hwy) = min (L + wy)? (25. 2) 
因为 对 于 所 有 的 7 有 wp 一 0， 所 以 上 述 式 子 中 后 面 的 等 式 成 立 。 
但 真正 的 最 短路 径 权 重 6(i，j) 到 底 是 多 少 呢 ? 如 果 图 G 不 包含 权重 为 负 值 的 环 路 ， 则 对 于 
每 一 对 结 点 i 和 7 WRG, Ko, Aiaj 之 间 存 在 一 条 最 短路 径 。 由 于 该 路 径 是 简单 路 径 ， 
其 包含 的 边 最 多 为 n 一 1 条 。 从 结 点 i 到 结 点 7 的 由 多 于 ”一 1 条 边 构 成 的 路 径 不 可 能 有 比 从 ;到 7 
的 最 短路 径 权 重 更 小 的 权重 。 因 此 ， 真 正 的 最 短路 径 权 重 可 以 由 下 面 的 公式 给 出 : 
lij) =I? = IP = TP ao (25. 3) 
自 底 向 上 计算 最 短路 径 权 重 
根据 输入 矩阵 W= Cw) 现在 可 以 计算 出 矩阵 序列 EY pf Ee Sg Teg 其 中 对 于 m— 
1, 2, e, n—l, RL =U), 最 后 的 矩阵 L” ?包含 的 是 最 短路 径 的 实际 权重 。 注意 ， 对 于 
RANA iM, LO” =w), Alb, L® =W, 
该 算法 的 核心 如 下 面 的 伪 代 码 程 序 所 示 。 该 伪 代 码 程序 可 以 在 给 定 W ALO “的 情况 下 ， 
计算 出 L”。 也 就 是 说 ， 该 伪 代 码 将 最 近 计 算出 的 最 短路 径 扩 展 了 一 条 边 。 


EXTEND-SHORTEST-PATHS(L, W) 
l n=L. rows 

2 let L’'=(;)be a new nXn matrix 
3 for:=1 ton 

4 for j=l ton 

5 ;一 co 

6 for k=1 ton 

7 L,=min(1; sla Hwy) 

8 


return L’ 

该 过 程 计 算 在 算法 结束 时 返回 的 矩阵 工 三 (4 )。 计 算 该 矩阵 的 方式 是 对 于 所 有 的 ;和 7 来 计 
算 等 式 (25. 2), 使 用 工作 为 L”，,，L' 作 为 L” 。( 在 写法 上 没有 注 明 上 标的 目的 是 让 输入 和 和 输 
出 矩阵 独立 于 变量 m。) 由 于 有 3 BREK for 循环 ， 该 算法 的 运行 时 间 为 O(n’). 

现在 ， 我 们 可 以 看 到 该 算法 与 矩阵 乘法 的 关系 了 。 假 定 我 们 希望 计算 矩阵 乘积 C 一 AXB， 
其 中 A 和 8B 均 为 nXn 的 矩阵 。 那么 对 于 1i，7 王 1，2，…，71， 计算 


6; > ay by (25. 4) 

注意 ， 如 果 在 式 (25. 2) PT UO PSR: 

[oer —>a 

w>b 

[™ —>c 

min 一 十 

q 
则 将 获得 式 (25.4)。 因 此 ， 如 果 对 算法 EXTEND-SHORTEST-PATHS 进行 上 述 蔡 换 ， 并 用 0 
(加 法 操作 十 的 不 变量 ) 来 替换 ce( 求 最 小 值 操作 min 的 不 变量 )， 则 获得 的 就 是 与 4. 2 节 所 描述 的 
平方 矩阵 乘法 同 为 时 间 Om ) 的 矩阵 乘法 。 

SQUARE-MATRIX-MULTIPLY(A, B) 

1 n=A. rows 


2 let C bea new nXn matrix 


3 for i=1 ton 
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4 for j=1 ton 

5 cf 一 0 

6 for k=1 ton 

7 Cy = Cy tag * by 
8 


return C 


回 到 所 有 结 点 对 最 短路 径 问 题 ， 我 们 通过 对 最 短路 径 一 条 边 一 条 边 地 扩展 来 计算 最 短路 径 
权重 。 设 A。B 表示 由 算法 EXTEND-SHORTEST-PATHS(A，B) 所 返回 的 矩阵 “乘积 ”， 我 们 可 
以 计算 出 下 面 由 ”一 1 个 矩阵 所 构成 的 矩阵 序列 : 

LV? =L% . W=W 

LƏ? =LV . W=W? 

LƏ? =L? . W=W: 


LP =] "72 í Ww=w! 


如 上 面 所 述 ， 和 矩阵 LOO =W ee Nee. PAE E OC ?时 间 内 
计算 出 该 矩阵 序列 : 


SLOW-ALL-PAIRS-SHORTEST-PATHS(W) 
n=W. rows 
LD =W 


for m=2 to 7 一 | 


了 四 一 EXTEND-SHORTEST-PATHSCL > ,W) 


1 
2 
3 
4 let L™ be a new nXn matrix 
5 
6 return LY 


图 25-1 所 示 为 一 个 图 和 在 图 上 运行 SLOW-ALL-PAIRS-SHORTEST-PATHS 所 计算 出 的 和 矩 
EFJ L”. 





图 25-1 一 个 有 向 图 和 由 SLOW-ALL-PAIRS-SHORTEST-PATHS 所 计算 出 的 矩阵 序列 工 "” 。 读 者 可 
以 自行 验证 L = 二 L® ， 因 此 ， 对 于 所 有 的 m4, FL =L” 
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改进 算法 的 运行 时 间 

我 们 的 目标 并 不 是 要 计算 所 有 的 工 ” 和 矩阵 ， 我 们 感 兴趣 的 仅仅 是 矩阵 二” 。 回 忆 本 书 前 面 
的 内 容 可 知 ， 在 没有 权重 为 负 值 的 环 路 的 情况 下 ， 式 (25. 3) 意 味 着 对 于 所 有 的 mnl, RNA 
[四 一 Lo 。 正 如 传统 的 矩阵 乘法 是 相关 的 ， 由 EXTEND-SHORTEST-PATHS 过 程 所 定义 的 
矩阵 乘法 也 是 相关 的 (请 参阅 练习 25. 1-4) 。 因 此 ， 可 以 仅 用 | lg(n 一 1) | 个 矩阵 乘积 来 计算 矩阵 
L”"，”。 计 算 的 方法 如 下 : 

L? =W 

L? =W° =W . W 

L® =W =W? .Wi 

L® =W =W: - W’ 


EC — yyl eo] — yet er : wal lg(n 一 1)] 一 1 


由 于 2reo-21>x 一 1， 最 后 的 乘积 ever) 等 于 LorD 。 
下 面 的 过 程 使 用 重复 平方 技术 来 计算 上 述 和 矩阵 序列 。 


FASTER-ALL-PAIRS-SHORTEST-PATHS(W) 
n=W. rows 
LY =W 
m=1 
while m <n— 1 
let L?” be a new nXn matrix 
L& =EXTEND-SHORTEST-PATHS(L™ ,L™ ) 


m=2m 


o Nn QO oO Ee Ù N Ff 


return L™ 


在 算法 第 47 行 的 while 循环 的 每 一 次 迭代 ， 计 算 L*” =L), BRA m=1 开始 。 在 每 
次 迭代 的 末尾 ， 对 m 的 取 值 进行 加 倍 。 最 后 的 迭代 通过 实际 计算 LO 所 计算 出 的 是 L”*, 其 
中 ，7 一 1 志 2m 过 2n 一 2。 根 据 式 (25. 3) ， 工 和 SLEV, 下 一 次 在 执行 算法 第 4 行 的 测试 时 ，m 已 
经 加 倍 ， 因 此 现在 m 这 n 一 1， 该 测试 将 不 通过 ， 整 个 算法 返回 的 是 其 最 后 所 计算 的 矩阵 。 

因为 [ lg (2 一 1)]1 个 矩阵 中 的 每 个 矩阵 的 计算 时 间 为 OC), FASTER-ALL-PAIRS- 
SHORTEST-PATHS 的 运行 时 间 为 O lgz) 。 由 于 该 代码 非常 紧 次 ， 没 有 包含 任何 精巧 的 数据 
结构 ， 隐 藏 在 @ 记 号 中 的 常数 应 该 较 小 。 


练习 

25.1-1 在 图 25-2 所 示 的 带 权重 的 有 向 图 上 运行 算法 SLOW-ALL-PAIRS-SHORTEST-PATHS, 
给 出 循环 的 每 次 和 欠 代 所 计算 出 的 抢 阵 。 然 后 用 算法 FASTER-ALL-PAIRS SHORTEST- 
PATHS 重新 做 一 遍 。 





图 25-2 用 于 练习 25. 1-1、25. 2-1 和 25. 3-1 的 带 权重 的 有 向 图 
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25.1-2 为 什么 要 求 对 于 所 有 的 1<i<n， 有 ws 一 0? 
25.1-3 ”在 最 短路 径 算法 中 使 用 的 矩阵 LO 对 应 传统 矩阵 乘法 里 的 什么 ? 


OO OO eee OO 


co 0 CO eee Co 
L® = |o co 0 e co 
CO CO CO ，% 0 


25.1-4 证 明 ， 由 EXTEND-SHORTEST-PATHS 所 定义 的 矩阵 乘法 是 相关 的 。 

25.1-5 ”说明 如 何 将 单 源 最 短路 径 问题 表示 为 矩阵 和 疝 量 的 乘积 ， 并 解释 该 乘积 的 计算 过 程 如 何 
对 应 Bellman-Ford 算法 ? (请 参阅 24. 1 节 ,) 

25.1-6 ”假定 我 们 还 希望 在 本 节 所 讨论 的 算法 里 计算 出 最 短路 径 上 的 结 点 。 说 明 如 何在 O(n’ ) 时 
间 内 从 已 经 计算 出 的 最 短路 径 权 重 和 矩阵 计算 出 前 驱 和 矩阵 II。 

25.1-7 我 们 可 以 用 计算 最 短路 径 权 重 的 办 法 来 计算 最 短路 径 上 的 结 点 。 定 义 x 为 从 i 到 j 的 
至 多 包含 m 条 边 的 任意 最 小 权重 路 径 上 结 点 7 的 前 驱 。 请 修改 EXTEND-SHORTEST- 
PATHS 和 SLOW-ALL-PAIRS-SHORTEST-PATHS, 使 其 在 计算 出 矩阵 LY， 
Le ，.…，Le-D 的 同时 ， 计 算出 矩阵 I, 1, e or, 

25.1-8 本 节 所 讨论 的 FASTER-ALL-PAIRSSHORTEST-PATHS 过 程 要 求 我 们 保存 | lg(n 一 1)| 
个 矩阵， 由 于 每 个 矩阵 有 n 个 元 素 ， 总 存储 空间 需求 为 O lgn)。 请 修改 该 算法 ， 使 
其 仅仅 使 用 两 个 nxXn 的 和 矩阵， 从 而 将 存储 空间 降 至 OC’). 

25.1-9 ”修改 FASTER-ALL-PAIRS-SHORTEST-PATHS， 使 其 可 以 判断 一 个 图 是 否 包 含 一 个 
权重 为 负 值 的 环 路 。 

25.1-10 给 出 一 个 有 效 算 法 来 在 图 中 找到 最 短 长 度 的 权重 为 负 值 的 环 路 的 长 度 ( 边 的 条 数 )。 


25.2 Floyd-Warshall 算法 


在 本 节 的 讨论 中 ， 我 们 使 用 一 种 不 同 的 动态 规划 公式 来 解决 所 有 结 点 对 最 短路 径 问 题 。 所 
产生 的 算法 称 为 Royd-Warshall 算法 ， 其 运行 时 间 为 @(V*)。 与 前 面 的 假设 一 样 ， 负 权重 的 边 可 
以 存在 ， 但 不 能 存在 权重 为 负 值 的 环 路 。 如 25. 1 节 所 述 ， 我 们 仍然 按照 动态 规划 过 程 的 通常 步 
又 来 前 述 我 们 的 算法 。 在 对 算法 进行 研究 后 ， 我 们 将 提供 一 种 类 侯 的 方法 来 找 出 有 加 图 的 传递 
闭 包 。 

最 短路 径 的 结构 

在 Floyd-Warshall 算法 中 ， 我 们 对 一 条 最 短路 径 的 结构 特征 做 出 的 描述 与 25. 1 节 中 的 有 所 
不 同 。Floyd- Warshall 算 法 考虑 的 是 一 条 最 短路 径 上 的 中 间 结 点 ， 这 里 ， 简 单 路 径 p= <u. 
U2 » …,w) 上 的 中 间 绪 点 指 的 是 路 径 P ERR v Al v 之 外 的 任意 结 点 ， 也 就 是 处 于 集合 (vw. 
Vas tum PAZ 

Floyd-Warshall 算法 依赖 于 下 面 的 观察 。 假 定 图 CHARA VH (1, 2, s nh, ZE 
其 中 的 一 个 子 集 {1，2，…，k}， 这 里 是 某 个 小 于 n 的 整数 。 对 于 任意 结 点 对 i，jEV， 考 虑 从 
结 点 i 到 结 点 7 的 所 有 中 间 结 点 均 取 自 集 合 {1，2，…，&}) 的 路 径 ， 并 且 设 bp 为 其 中 权重 最 小 的 
路 径 ( 路 径 p 是 简单 路 径 )。Floyd-Warshall 算 法 利用 了 路 径 p 和 从 i 到 7 之 间 中 间 结 点 均 取 目 集 
合 {1，2,，…，k 一 1) 的 最 短路 径 之 间 的 关系 。 该 关系 依赖 于 结 点 是 否 是 路 径 p 上 的 一 个 中 间 
结 点 。 


第 25 章 所 有 结 点 对 的 最 短路 径 问 题 。 405 


。 如 果 结 点 不 是 路 径 p 上 的 中 间 结 点 ， 则 路 径 p 上 的 所 有 中 间 结 点 都 属于 集合 {1， 
2，…，& 一 1}。 因 此 ， 从 结 点 i 到 结 点 j 的 中 间 结 点 取 自 集合 {1，2，…，k 一 1) 的 一 条 最 
短路 径 也 是 从 结 点 i 到 结 点 7 的 中 间 结 点 取 自 集合 {1，2，…,&} 的 一 条 最 短路 径 。 

。 如 果 结 点 是 路 径 p 上 的 中 间 结 点 ， 则 将 路 径 p 分 解 为 i kj, WMA 25-3 所 示 。 根 
据 引 理 24. 1， 户 是 从 结 点 i 到 结 点 & 的 中 间 结 点 全 部 取 自 集合 {1，2，…， 上 } 的 一 条 最 短 
路 径 。 事 实 上 ， 我 们 可 以 得 出 更 强 的 结论 。 因 为 结 点 不 是 路 径 p; 上 的 中 间 结 点 ， 路 径 
加 上 的 所 有 中 间 结 点 都 属于 集合 {1，2，…，& 一 1}。 因 此 ，pi 是 从 结 点 DAA 的 中 
间 结 点 全 部 取 自 集合 {1，2，…，& 一 1} 的 一 条 最 短路 径 。 类 似 地 ，ps 是 从 结 点 & 到 结 点 
j 的 中 间 结 点 全 部 取 自 集合 (1，2，…，A& 一 1} 的 一 条 最 短路 径 。 

{1, 2, «+, k-l} 中 的 所 有 中 间 结 点 11, 2, =, k-l | 中 的 所 有 中 间 结 点 





| 1，2,…,k| 中 的 所 有 中 间 结 点 


图 25-3 ”路径 pp 是 从 结 点 i 到 结 点 j 的 一 条 最 短路 径 ， 结 点 & 是 路 径 p 上 编号 最 大 
的 中 间 结 点 。 路 径 p 是 路 径 p 上 从 结 点 i 到 结 点 之 间 的 一 段 ， 其 所 有 
中 间 结 点 取 自 集合 {1，2，…，k 一 1}。 从 结 点 到 结 点 j 的 路 径 ps 也 遵 
守 同 样 的 规则 
所 有 结 点 对 最 短路 径 问 题 的 一 个 递归 解 
基于 上 面 的 观察 ， 我 们 可 以 定义 一 个 不 同 于 25. 1 节 所 描述 的 最 短路 径 估 计 的 递归 公式 。 设 
dt 为 从 结 点 i 到 结 点 7 的 所 有 中 间 结 点 全 部 取 自 集合 (1，2，…，A&+} 的 一 条 最 短路 径 的 权重 。 当 
k=0 时 ， 从 结 点 i 到 结 点 7 的 一 条 不 包括 编号 大 于 0 的 中 间 结 点 的 路 径 将 没有 任何 中 间 结 点 。 这 
样 的 路 径 最 多 只 有 一 条 边 ， 因此 ， dP? 一 Yi o 根据 上 面 的 讨论 ， 递归 定义 如 下 : 
w — | Wi tk = 0 
oe mind? ,dk +da% L) 若 & 宇 1 (0 
因为 对 于 任何 路 径 来 说 ， 所 有 的 中 间 结 点 都 属于 集合 {1，2，…，n}， 和 矩阵 D” 二 (dF) 给 出 的 就 
是 我 们 的 最 后 答案 : 对 于 所 有 的 i, jEV, dp=dG, j). 
自 底 向 上 计算 最 短路 径 权 重 
根据 递归 公式 (25. 5)， 我 们 可 以 使 用 下 面 的 自 底 向 上 的 算法 以 递增 次 序 来 计算 di 的 值 。 
算法 的 输入 为 一 个 nXn WR WwW, 该 WW 由 式 (25.1) 所 定义 。 a 
矩阵 D” , 


FLOYD-WARSHALL(W) 
1 n=W. rows 

2 D© =W 

3 for k=1 ton 

4 letD® =(d# )be a new n Xn matrix 
5 for ;一 ] ton 

6 for j=] ton 

7 dP 一 min(d 人 7 an rag? ) 
8 


return D” 


图 25-4 描述 的 是 在 图 25-1 上 运行 Floyd-Warshall 算法 所 计算 出 的 矩阵 D” . 
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图 25-4 在 图 25-1 上 运行 Floyd-Warshall 算 法 所 计算 出 的 矩阵 序列 DE 和 IA 


Floyd-Warshall 算法 的 运行 时 间 由 算法 第 3 一 7 行 的 3 BREN for 循环 所 决定 。 因 为 算法 第 
7 行 的 每 次 执行 时 间 为 O(1)， 因 此 该 算法 的 运行 时 间 为 O). 25.1 节 中 所 描述 的 最 终 算法 
一 样 ， 该 代码 也 非常 紧凑 ， 没 有 使 用 精巧 的 数据 结构 ， 隐 藏 在 9 表述 后 面 的 常数 比较 小 ， 因 此 ， 
即使 对 于 输入 规模 为 中 等 的 图 ，Floyd-Warshall 算法 的 效率 也 相当 好 。 

构建 一 条 最 短路 径 

在 Floyd-Warshall 算法 中 ， 可 以 有 多 种 不 同 的 方法 来 构建 最 短路 径 。 一 种 办 法 是 先 计 算 最 短 
路 径 权 重 矩 阵 D， 然 后 从 DD 矩阵 来 构造 前 驱 和 矩阵 L Ky 25. 1-6 将 要 求 读 者 来 实现 该 方法 ， 并 
将 算法 的 运行 时 间 限 制 在 OG DA. — BAe ST BSR I, PRINT-ALL-PAIRS-SSHORTEST- 
PATH 过 程 将 打印 出 给 定 最 短路 径 上 的 所 有 结 点 。 

另外 ， 我 们 可 以 在 计算 矩阵 DY 的 同时 计算 前 驱 矩 阵 工 。 具 体 来 说 ， 我 们 将 计算 一 个 矩阵 序 
列 O, IP, e, DP, XE II=I” 并 且 定 义 np HAAA i NARI 的 一 条 所 有 中 间 结 点 都 取 
自 集合 (1L，2，…，A&)} 的 最 短路 径 上 7 的 前 驱 结 点 。 

我 们 可 以 给 出 of? 的 一 个 递归 公式 。 当 8 二 0 时， 从 i 到 j 的 一 条 最 短路 径 没 有 中 间 结 点 ， 因 此 . 

ae a a ea (25. 5) 
: 2 i Fj A w; < co 

XF kl, WRAEK i ~k j, KE kAj, METAF A 7 的 前 驱 与 我 们 选择 的 从 结 点 
k 到 结 点 7 的 一 条 中 间 结 点 全 部 取 自 集合 (1，2，…，R& 一 1) 的 最 短路 径 上 的 前 驱 是 一 样 的 。 否 
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则 ， 所 选择 的 结 点 7 的 前 驱 与 选择 的 从 结 点 i 到 结 点 7 的 一 条 中 间 结 点 全 部 取 自 集合 (1，2，…， 
& 一 1} 的 最 短路 径 上 的 前 驱 是 一 样 的 。 也 就 是 说 ， 对 于 kel, 
a nD AEP < de 二 dD 
Tj 一 AD de? > ae” Hae (25. 7) 

我 们 把 IA 矩阵 的 计算 纳入 到 Floyd-Warshall 过 程 里 的 工作 留 作 练习 (练习 25. 2-3). 。 图 25-4 描述 
的 是 进行 此 种 合并 后 的 算法 在 图 25-1 上 运行 时 所 生成 的 OO 矩阵 序列 。 该 练习 题 同时 还 要 求 读 
者 证 明 前 驱 子 图 G,; 是 一 棵 根 结 点 为 i 的 最 短路 径 树 。 练 习 25. 2-7 则 要 求 读者 设计 一 种 不 同 的 算 
法 来 构建 最 短路 径 。 

有 向 图 的 传递 闭 包 

给 定 有 回 图 C 一 (V， 书 ) ， 结 点 集合 为 V 王 (1L，2，…， 妙 ， 我 们 希望 判断 对 于 所 有 的 结 点 对 iA 
j， 图 G 是 否 包含 一 条 从 结 点 i 到 结 点 ; 的 路 径 。 我 们 定义 图 C 的 传递 闭 包 为 图 G =, E), HH 
E ={G, j); 如 果 图 G 中 包含 一 条 从 结 点 i 到 结 点 7 的 路 径 ) 。 

一 种 时 间 复 杂 度 为 OC ) 的 计算 图 G 的 传递 财 包 的 办 法 是 给 五 中 的 每 条 边 赋予 权重 1， 然 后 
运行 Floyd-Warshall 算法 。 如 果 存 在 一 条 从 结 点 i 到 结 点 7 的 路 径 ， 则 有 d; <n; BM, dj=o, 

还 有 男 一 种 类 似 的 办 法 ， 其 时 间 复 杂 度 也 是 6(mw )， 但 在 实际 场景 中 能 够 节省 时 间 和 空间 。 
该 办 法 以 逻辑 或 操作 (V ) 和 逻辑 与 操作 (人 人) 来 替换 Floyd-Warshall 算法 中 的 算术 操作 min 和 十 。 
对 于 js k=l, 2, **, n, 我 们 定义 : 如 果 图 G 中 存在 一 条 从 结 点 i 到 结 点 7 的 所 有 中 间 结 点 都 
MARA, 2, +, ORE, WP Al, 否则 ， 营 为 0。 我 们 构建 传递 闭 包 CG" =V, E DWH 
法 为 : KAG, DETRE E SHAK i 为 1。 一 种 与 公式 (25. 5) 相 似 的 成 递归 定义 如 下 : 
0 #i#jAG j) EE 
1 者 ;一 7 或 (17J) EE 


(0) 一 
ip = 


对 于 kl, 
a = 1? V at? A ar?) (25. 8) 
如 Floyd-Warshall A — 4, RITA k SSKK RHR EE T° = Ce? )。 697 
TRANSITIVE-CLOSURE(G) 
1 n=|GV| 


2 letT® =(P )be a new nXn matrix 
3 fori=1 ton 

4 for 7 一 1 ton 

5 ifi=—jorGajEGeE 
6 (P =1 

7 else ¢{ 一 0 
8 fork=lton 

9  leT® =U be a newnXn matrix 
10 for :一 1] ton 

11 for j=l ton 

12 i =? V Gey A ie? ) 


13 return T°” 


图 25-5 描述 的 是 在 一 个 样本 图 上 运行 TRANSITIVE-CLOSURE(G) 过 程 所 计算 出 的 矩阵 序 
列 T? 。 如 Floyd-Warshall 算法 一 样 ，TRANSITIVE-CLOSURE(G) 过 程 的 运行 时 间 也 是 O(n’). 
在 某 些 计算 机 上 ， 对 单个 位 值 进行 的 逻辑 操作 比 对 数据 整数 字 的 算术 操作 要 快 。 而 且 ， 因 为 直接 
的 传递 闭 包 算法 仅 使 用 布尔 值 ， 而 不 是 整数 值 ， 其 空间 需求 比 Floyd-Warshall 算法 的 空间 需求 要 
小 一 个 数量 级 ， 这 个 数量 级 就 是 计算 机 存储 里 的 一 个 字 的 规模 。 
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图 25-5 ”一 个 有 向 图 和 由 TRANSITIVE-CLOSURE(G) 过 程 所 计算 出 的 矩阵 TO 


在 图 25-2 所 示 的 带 权重 的 有 癌 图 上 运行 Floyd-Warshall 算法 ， 给 出 外 层 循环 的 每 一 次 
迭代 所 生成 的 矩阵 D”。 
说 明 如 何 使 用 25. 1 节 的 技术 来 计算 传递 闭 包 。 
请 修改 Floyd-Warshall 算法 ， 以 便 根据 式 (25. 6) 和 (25. 7) 计 算出 矩阵 O® 。 再 请 严格 证 
H: 对 于 所 有 的 结 点 iEV， 前 驱 子 图 C.: 是 一 棵 根 结 点 为 ; 的 最 短路 径 树 。( 提 示 : 为 
了 证 明 G;,; 是 无 环 的 ， 可 以 首先 证 明 根 据 xf? EM, ai? =L BA dy di 十 rw 。 然 
后 ， 再 采用 引 理 24. 16 KWEH.) 
QUA ATI, Floyd-Warshall 算法 的 空间 需求 为 6(n’ )， 因 为 要 计算 dP, Hi, j, k= 
1，2，…，7?。 请 证 明 下 面 所 列 出 的 去 掉 所 有 上 标的 算法 是 正确 的 ， 从 而 将 Floyd 
Warshall 算法 的 空间 需求 降低 到 O(n’). 

FLOYD-WARSHALL (W) 

1 n=W. rows 

2 D=W 
3 for k=1 ton 
4 for :一 1 ton 
5 for j=l ton 
6 dy =min(d; ,dz 十 du ) 
7 return D 


假定 我 们 修改 式 (25. 7) 对 等 式 的 处 理 办 法 如 下 : 
jad" ta 

m ne? # de” > dY +e 
请 问 这 种 前 驱 矩 阵 I 的 定义 正确 吗 ? 
我 们 怎样 才能 使 用 Floyd-Warshall 算法 的 输出 来 检测 权重 为 负 值 的 环 路 ? 
在 Floyd-Warshall 算法 中 构建 最 短路 径 的 另 一 种 办 法 是 使 用 烙 o EP is js k=l, 2, 0, 
n, $P EMEA i 到 结 点 j 的 一 条 中 间 所 有 结 点 都 取 自 集合 {1，2，…，&} 的 最 短路 径 上 编号 
最 大 的 中 间 结 点 。 请 给 出 焰 的 一 个 递归 公式 ， 并 修改 Floyd-Warshall 过 程 来 计算 O° 的 值 ， 
并 重 写 PRINT-ALL-PAIRSSHORTEST-PATH 过 程 ， 使 其 以 矩阵 O= (4° ) 作 为 输入 。 和 矩阵 
四 与 15. 2 节 所 讨论 的 链 式 矩阵 乘法 中 的 表格 存在 何 种 相似 点 ? 
给 出 一 个 OCVE) 时 间 复 杂 度 的 算法 来 计算 有 向 图 G=(V, EWA. 
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25.2-9 假定 我 们 可 以 在 f(1V|，|E|) 的 时 间 内 计算 出 一 个 有 向 无 环 图 的 传递 闭 包 ， 其 中 了 是 
一 个 自 变量 为 |V| 和 |E| 的 单调 递增 函数 。 证 明 : 计算 一 个 通用 的 有 向 图 G 二 (V，E) 的 
传递 闭 包 G* = 二 (V，E"* ) 的 时 间 复 杂 度 为 所 |Y| ，| 五 | ) 十 OCV 十 五 " ) 。 


25.3 用 于 稀疏 图 的 Johnson 算法 

Johnson 算法 可 以 在 OCV? lgV 十 VE) 的 时 间 内 找到 所 有 结 点 对 之 间 的 最 短路 径 。 对 于 稀 玖 图 
ii, Johnson 算法 的 渐 近 表现 要 优 于 重复 平方 法 和 Floyd-Warshall 算法 。Johnson 算法 要 么 返回 
一 个 包含 所 有 结 点 对 的 最 短路 径 权 重 的 和 矩阵， 要 么 报告 输入 图 包含 一 个 权重 为 负 值 的 环 路。 
Johnson 算法 在 运行 中 需要 使 用 Dijkstra 算法 和 Bellman-Ford 算法 作为 自己 的 子 程序 。 

Johnson 算法 使 用 的 技术 称 为 重新 赋予 权重 。 该 技术 的 工作 原理 如 下 : 如 果 图 G=(V, EP 
所 有 的 边 权 重 w 皆 为 非 负 值 ， 我 们 可 以 通过 对 每 个 结 点 运行 一 次 Dijkstra 算法 来 找到 所 有 结 点 对 
之 间 的 最 短路 径 ， 如 果 使 用 斐 波 那 契 堆 最 小 优先 队列 ， 该 算法 的 运行 时 间 为 OOV lgV 十 VE)。 如 
RE G 包含 权重 为 负 值 的 边 ， 但 没有 权重 为 负 值 的 环 路 ， 那 么 只 要 计算 出 一 组 新 的 非 负 权重 值 ， 
然后 使 用 同样 的 方法 即 可 。 新 赋予 的 权重 忆 必 须 满 足下 面 两 个 重要 性 质 . 

1. 对 于 所 有 结 点 对 w，vEV， 一 条 有 路径 p ETERNE RA w 时 从 结 点 到 结 点 v 的 一 条 
最 短路 径 ， 当 且 仅 当 p 是 在 使 用 权重 隐 数 时 从 到 wv 的 一 条 最 短路 径 。 

2. 对 于 所 有 的 边 (u，v) ， 新 权重 w《u，wv) 为 非 负 值 。 
正如 我 们 将 要 看 到 的 ， 我 们 可 以 对 图 G 进行 预 处 理 ， 并 在 OCVE) 的 时 间 内 计算 出 w。 

重新 赋予 权重 来 维持 最 短路 径 

下 面 的 引 理 描述 的 是 我 们 可 以 很 容易 地 对 边 的 权重 进行 重新 赋值 来 满足 上 面 的 两 个 条 件 。 我 们 使 
用 6 表示 从 权重 函数 ww 所 导出 的 最 短路 径 权 重 ， 而 用 6 表示 从 权重 函数 克 所 导出 的 最 短路 径 权重 。 

引 理 25. 1( 重 新 赋予 权重 并 不 改变 最 短路 径 ) 给 定 带 权重 的 有 向 图 G 一 (V， 了 已 ， 其 权重 函数 
Aw: ER, Rh: V 一 -R 为 任意 函数 ， 该 函数 将 结 点 映射 到 实数 上 。 对 于 每 条 边 (u，)EEkE， 定 义 

wlusv) = wlusv) 二 hu) — hv) (25. 9) 
设 p= (vw 9 Us ts Up) AAAS A, Uo 到 结 点 Uh 的 任意 一 条 路 径 ， 那么 p 是 在 使 用 权重 函数 也 时 
从 结 点 vo AJA A u 的 一 条 最 短路 径 ， 当 且 仅 当 思 是 在 使 用 权重 函数 Ww 时 从 结 点 vo BAK Y, 的 一 
条 最 短路 径 ， 即 WSS, vu) HKW) =s, ud). MH, A GEEA AREA% wi 
不 包含 权重 为 负 值 的 环 路 ， 当 且 仅 当 jp 在 使 用 权重 函数 tw 也 不 包括 权重 为 负 值 的 环 路 。 
证 明 首先 来 证 明 
wp) = wp) thw) — hy) (25. 10) 
RITA: 


(Ui 9 U;) 


&> 


Wp 
(vw( Uv, 9 U; ) + hCv;-1) — hv; ) ) 


wWwlu stu) 十 hl(w) 一 hlv) (因为 裂 项 相 消 和 和 ) 


一 ce + hCw) — hlo) 
因此 ， 对 于 结 点 w 到 结 点 u WER p, RIAU =w thha). AA hF h) 
不 依赖 于 任何 具体 的 路 径 ， 如 果 从 结 点 w 到 结 点 u 的 一 条 路 径 在 使 用 权重 函数 包 时 比 另 一 条 路 径 
短 ， 则 其 在 使 用 权重 函数 w ERRA. AE, WS, w) KHALKHO, w). 
最 后 ， 我 们 证 明 图 G 在 使 用 权重 函数 记 时 包含 一 个 权重 为 负 值 的 环 路 当 且 仅 当 z 在 使 用 权 
重 函 数 也 也 包含 一 个 权重 为 负 值 的 环 路 。 考虑 任意 环 路 C= (Ws Urs ts VU), 其 中 Up = Ub o 根据 


| 
‘ha: iM- iM- 
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(25.10), RPA wl) =wle) th(yw)—hlu,) =wle), Alt, Whe c EERE RA w 时 为 负 
值 当 且 仅 当 其 在 使 用 权重 函数 w 时 也 为 负 值 。 m 

通过 重新 赋值 来 生成 非 负 权重 

我 们 的 下 一 个 目标 是 确保 第 二 个 属性 保持 成 立 ， 即 对 于 所 有 的 边 (u，v) Ek，wlu，v) 为 非 
负 值 。 给 定 带 权重 的 有 向 图 G 一 (V，E) ， 其 权重 函数 为 w: ER, RNa CG =V, 
E'), 这 里 V'==VU{s}，s 是 一 个 新 结 点 ，s FV，E' = 二 EU((s，v): vEV)。 我 们 对 权重 函数 w 
进行 扩展 ， 使 得 对 于 所 有 的 结 点 EV, ws, v 二 0。 注 意 ， 因 为 结 点 s 没有 进入 的 边 ， 除 了 以 ， 
为 源 结 点 的 最 短路 径 外 ， 图 G 中 没有 其 他 包含 结 点 s 的 最 短路 径 。 而 且 ， 图 G 不 包含 权重 为 负 
值 的 环 路 当 且 仅 当 图 G 不 包含 权重 为 负 值 的 环 路 。 图 25-6(a) 描 述 的 是 对 应 图 25-1 图 G 的 图 G 








图 25-6 Johnson 所 有 结 点 对 最 短路 径 算法 在 图 25-1 上 的 运行 过 程 。 结 点 的 编号 位 于 结 点 之 外 。(a) 使 
用 原始 权重 函数 也 的 图 G 。 新 的 结 点 * 为 黑色 。 在 每 个 结 点 v 里 面 标记 的 是 h(v)= 二 6(s，w) 
的 值 。(b) 在 对 每 条 边 (u，v) 重 新 赋予 权重 后 的 图 ， 重 新 赋值 的 函数 为 包 (w，v) 二 wlu，v) 十 
h(u)—h(v). (c)~( 2) ARB aM G 的 每 个 结 点 上 运行 Dijkstra 算法 的 结果 。 在 每 一 个 
部 分 中 ， 源 结 点 u 是 黑色 ， 加 了 阴影 的 边 是 由 算法 计算 出 来 的 属于 最 短路 径 树 里 面 的 边 。 在 
每 个 结 点 v 里 面 标 记 的 是 6(u， 攻 和 6Cu，wv) 的 值 ， 中 间 由 一 个 斜 杠 分 开 。d, 二 6(u，w) 的 值 
与 S(u， 人 小 十 h(v) 一 h(w) 的 值 相等 


BOR ”所 有 结 点 对 的 最 短路 径 问 题 。 411 


现在 假定 图 G 和 图 G ' 都 不 包含 权重 为 负 值 的 环 路 。 让 我 们 定义 ， 对 于 所 有 的 结 点 v€V'， 
h(v) 二 6(s，v)。 根 据 三 角 不 等 式 ( 引 理 24. 10)， 对 于 所 有 的 边 (u，v) EE '， 有 hh(v) 二 hh(w) 十 
wlu，v)。 因 此 ， 如 果 我 们 根据 式 (25. DKELHHMEw, MAwu, v)=wlu, v) thlu)— 
h(v) 宇 09， 至 此 我 们 满足 了 第 二 条 性 质 。 图 25-6(b) 描 述 的 是 对 图 25-6(a) 的 图 进行 权重 重新 赋值 
后 的 图 G 。 
计算 所 有 结 点 对 之 间 的 最 短路 径 
Johnson 算法 在 执行 过 程 中 需要 使 用 Bellman-Ford 算法 ( 见 24. 1 节 ) 和 Dijkstra 算法 ( 见 24. 3 
节 ) 作 为 子 程序 来 计算 所 有 结 点 对 之 间 的 最 短路 径 。 该 算法 假定 所 有 的 边 都 保存 在 邻接 链表 里 ， 
其 返回 的 则 是 一 个 |V| x |V| 的 和 矩阵 DD 二 4d; ， 其 中 di; = 二 6(i，;)， 或 者 报告 输入 图 包含 一 个 权重 
为 负 值 的 环 路 。 对 于 所 有 结 点 对 最 短路 径 算法 来 说 ， 我 们 通常 假定 结 点 的 编号 为 从 1 一 |V| 。 
JOHNSON(G, w) 
1 compute G’,where G’. V=G. VU {s}, 
G'. E=G. EU {((s,v):v€G. V} ‚and 
w(s,v)=0 for all veG. V 
2 if BELLMAN-FORD(G’ ,w,s)==FALSE 
3 print“the input graph contains a negative- weight cycle” 
4 else for each vertex vEG'.V 
5 set h(v)to the value of (s, v) 
computed by the Bellman-Ford algorithm 
6 for each edge(u,v) EG’. E 
7 w u,v) =wu,v) thu) —h(v) 
8 let D=(d,,,) be a new nXn matrix 
9 


for each vertex uEG.V 


10 run DIJJKSTRA(G,w,u)to compute §(u,v) for allv€G. V 
11 for each vertex v€G. V 

12 diy =S(uyv) th(v) —h(u) 

13 return D 


上 述 代码 所 执行 就 是 我 们 前 面 讨 论 的 操作 。 算 法 第 1 行 生成 图 G ， 第 2 行 在 图 G 上 运行 
Bellman-Ford 算法 ， 使 用 权重 函数 w 和 源 结 点 s。 如 果 图 G (也 因此 图 G) 包 含 一 条 权重 为 负 值 的 
环 路 ， 算 法 的 第 3 行将 报告 这 个 问题 。 算 法 第 4 一 12 行 假定 图 G' 不 包含 权重 为 负 值 的 环 路 。 第 
4 一 5 行将 h(v) 的 值 设置 为 由 Bellman-Ford 算法 所 计算 出 来 的 最 短路 径 权重 Os, u). BREWS 
6 一 7 行 计算 新 的 权重 w。 对 于 每 一 对 结 点 w，vEV， 算法 的 第 9 一 12 FH for 循环 通过 调用 
Dijkstra 算法 来 计算 最 短路 径 权重 6(u，v)。 算 法 第 12 行将 根据 式 (25. 10) 所 计算 出 来 的 最 短路 径 
权重 Ou, v RARER ICR dB. Ra, PENS 13 行 返回 构造 完毕 的 矩阵 D。 图 25-6 描述 
的 是 Johnson 算法 的 执行 过 程 。 

如 果 使 用 斐 波 那 契 堆 来 实现 Dijkstra 算法 里 面 的 最 小 优先 队列 ， 则 Johnson 算法 的 运行 时 间 
K OV lgV 十 VE)。 使 用 更 简单 的 二 又 最 小 堆 实 现 则 运行 时 间 为 OCVE IgV). A m E A 
下 ， 该 时 间 仍 然 比 Floyd-Warshall 算法 的 时 间 表 现 要 好 。 


练习 

25.3-1 请 在 图 25-2 上 使 用 Johnson 算法 来 找到 所 有 结 点 对 之 间 的 最 短路 径 。 给 出 算法 计算 出 的 
h MoE. 

25.3-2 在 Johnson 算 法 里 ， 在 集合 V 中 加 入 新 结 点 s 产生 V 的 目的 是 什么 ? 

25.3-3 BEX TARU, VEE, RITE wu, 920. HARRERA w 和 ww 之 间 是 什么 关系 ? 
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25.3-4 


25. 3-5 


25. 3-6 
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Greenstreet 教授 声称 ， 他 有 一 种 比 Johnson 算法 中 所 使 用 的 更 简单 的 办 法 来 对 边 的 权重 
进行 重新 赋值 。 Bw" = min dwu, vo}, RAMAN, WEE, ~Xwlu, v= 
wu, v)—w 即 可 。 请 问 这 种 重新 赋值 有 什么 错误 ? 

假定 在 一 个 权重 函数 为 w 的 有 问 图 G 上 运行 Johnson A. WH: 如 果 图 G 包含 一 条 
权重 为 0 的 环 路 c， 那 么 对 于 环 路 c 上 的 每 条 边 (u，v)，w(u, v)=0, 

Michener 教授 声称 ， 没 有 必要 在 JOHNSON 算法 的 第 1 行 创建 一 个 新 的 源 结 点 。 他 主 
张 可 以 使 用 G =G, HE * 为 任意 结 点 。 请 给 出 一 个 带 权重 的 有 向 图 例子 ， 使 得 当 将 这 
位 教授 的 想法 用 到 JOHNSON 算法 中 将 导致 错误 的 结果 。 然 后 ， 证 明 : 如 果 图 GEE 
连通 的 (每 个 结 点 都 可 以 从 其 他 每 个 结 点 到 达 )， 那 么 使 用 教授 的 修改 意见 后 的 
JOHNSON 算法 将 返回 正确 结果 。 


思考 题 


25-1 


25-2 


(动态 图 的 传递 闭 包 ) RERNPBERWBARAA E PHARARMAG=(V, DW 
传递 闭 包 ， 即 在 插入 每 条 边 后 ， 我 们 希望 对 到 目前 为 止 已 插入 边 的 传递 闭 包 进行 更 新 。 假 
定 图 G 开 始 时 不 包含 任何 边 ， 并 且 传 递 闭 包 用 布尔 矩阵 来 表示 。 

a 说 明 在 加 入 一 条 新 边 到 图 G 时 ， 如 何在 O(Vz ) 时 间 内 更 新 图 G=, EE) 的 传递 闭 
包 G* =(V, FE’ ) 。 

b. 给 出 一 个 图 G 和 一 条 边 e， 使 得 在 将 边 e 插 入 到 图 G 后 ， 更 新 传递 闭 包 的 时 间 复 杂 性 为 
QCV?)， 而 不 管 使 用 的 是 何 种 算法 。 

c. 描述 一 个 有 效 的 算法 ,使 得 在 将 边 加 入 到 图 G 中 时 更 新 传递 闭 包 。 对 于 任意 7 次 插入 
的 序列 ， 算 法 运行 的 总 时 间 应 该 是 办. 二 OCV*)， 其 中 是 插入 第 i 条 边 时 更 新 传递 闭 
包 所 用 的 时 间 。 请 证 明 你 的 算法 确实 达到 了 这 个 时 间 效 率 。 

(e 稠密 图 的 最 短路 径 ) MFAG=(V, EK, wR |El =0Vt), WAGHe 稠密 

图 ， 其 中 e 为 某 个 常数 ， 且 0<s 委 1。 如 果 在 s 稠密 图 的 最 短路 径 算法 中 使 用 4 又 最 小 堆 

(请 参阅 本 书 的 问题 6-2) ， 则 能 使 算法 的 运行 时 间 相 当 于 基于 斐 波 那 契 堆 的 算法 的 运行 时 

间 ， 同 时 无 需 引入 后 者 所 使 用 的 复杂 数据 结构 。 

a. INSERT, EXTRACT-MIN, DECREASE-KEY 的 渐 近 运行 时 间 是 多 少 ? 请 以 d 和 元 素 

个 数 n 为 参数 予以 表达 。 如 果 选 择 d=O(n'), EP 0<a 委 1， 这 些 运行 时 间 又 是 多 少 ” 

请 把 这 些 时 间 与 斐 波 那 契 堆 的 摊 还 代价 进行 比较 。 

说 明 如 何在 OCE) 时 间 内 ， 在 一 个 es 稠密 的 有 向 图 中 计算 出 单 源 最 短路 径 ， 这 里 假定 该 

图 不 包含 权重 为 负 值 的 边 。( 提 示 : 选 一 个 以 s HAREM BREN.) 

. 说 明 如 何在 OCVE) 时 间 内 ， 在 一 个 。e 稠密 的 有 向 图 中 计算 出 所 有 结 点 对 之 间 的 最 短路 

径 ， 这 里 假定 该 图 不 包含 权重 为 负 值 的 边 。 

说 明 如 何在 OCVE) 时 间 内 ， 在 一 个 e 稠密 的 有 向 图 中 计算 出 所 有 结 点 对 之 间 的 最 短路 

径 ， 这 里 假定 图 中 可 以 包含 权重 为 负 值 的 边 ， 但 不 包含 权重 为 负 值 的 环 路 。 


a 


O 


a 


本 章 注 记 

LawlerL224] 详 细 讨 论 了 所 有 结 点 对 之 间 的 最 短路 径 问 题 ， 但 没有 分 析 稀 玖 图 的 解 。 他 将 挫 
阵 乘法 算法 归功 于 多 人 的 努力 。Floyd-Warshall 算法 则 来 自 于 Floyd[L105]， 其 原理 乃 基 于 
WarshallL349] 所 提出 的 一 个 定理 ， 该 定理 描述 了 如 何 计算 布尔 矩阵 的 传递 闭 包 。Johnson 算法 则 
来 自 于 文献 L192J。 

一 些 研究 人 员 对 基于 矩阵 乘法 的 最 短路 径 算 法 进行 了 各 种 改进 。Fredman[111] 提 出 了 一 种 
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不 同 的 所 有 结 点 对 之 间 的 最 短路 径 算 法 ， 该 算法 对 边 的 权重 和 进行 OV”) ) 次 比较 ， 算 法 总 运行 
By a] Ay OCV? (lglgV/lgV)“”)， 这 比 Floyd-Warshall 算法 的 时 间 复 杂 性 稍微 好 一 点 。HanL159j 则 
将 该 算法 的 时 间 复 杂 性 降低 到 OC(V? (lglgV/lgV)55) 。 另 一 类 的 研究 则 表明 ， 我 们 可 以 将 快速 矩 
阵 乘 法 (请 参阅 第 4 章 注 记 ) 应 用 到 所 有 结 点 对 最 短路 径 问 题 上 。 设 OA nX n 维 矩 阵 快 速 乘 
法 算法 的 运行 时 间 ; 当前 的 w<2. 376[78]. Galil 和 MargalitL123，124] 和 SeidelL308] 设 计 出 了 
时 间 复 杂 度 为 (V*p(V)) 的 针对 无 向 无 权重 图 的 所 有 结 点 对 最 短路 径 问 题解 决 方案 ， 其 中 p(n) 
示 一 个 以 ”的 多 项 式 对 数 为 界 的 特殊 函数 。 在 稠密 图 中 ， 这 些 算法 要 比 执行 | 六 | 次 广度 优先 搜索 
的 时 间 复 杂 度 OC(VE) 要 快 。 一 些 研究 人 员 将 这 些 结果 推广 到 了 带 权 重 的 无 向 图 中 ， 条 件 是 这 些 
权重 值 全 部 为 整数 ， 且 在 范围 (1，2，…， 信 } 之 内 。 这 些 算 法 中 渐 近 最 快 的 是 由 Shoshan 和 
Zwick[ 316 | 所 提出 的 ， 其 运行 时 间 为 OC(WV*p (VW))。 

Karger, Koller 和 PhillipsL 196 ] 和 McGeoch[ 247 ] 独 立地 给 出 了 一 个 依赖 于 E* 的 时 间 界 ， 这 
里 E* 为 边 集 合 王 中 属于 某 条 最 短路 径 的 边 的 集合 。 给 定 一 个 所 有 边 的 权重 为 非 负 值 的 图 ， 他 们 
的 算法 的 运行 的 时 间 为 OCVE* +V IgV), |E" | 三 o(CE) 时 ， 该 时 间 复 杂 度 比 Dijkstra 算法 好 
了 |V| 倍 。 

Baswana、Hariharan 和 SenL33j] 对 维持 所 有 结 点 对 最 短路 径 和 传递 闭 包 信息 的 递减 算法 进行 
了 讨论 。 递 减 算法 允许 将 边 删 除 操作 和 查询 操作 穿插 进行 ; 与 之 相 比 较 的 话 ， 思 考题 25-1 所 要 
求 的 是 一 个 递增 算法 ， 因 为 该 题 要 求 对 边 的 操作 是 插入 操作 。Baswana、Hariharan 和 Sen 所 提 
出 的 算法 是 一 种 随机 算法 ， 当 一 条 路 径 存 在 时 ， 他 们 的 传递 闭 包 算法 可 能 有 1/z 的 概率 不 能 报 
告 该 路 径 的 存在 ， 这 里 的 c 为 任意 大 于 0 的 正 数 。 查 询 时 间 则 有 很 高 的 概率 为 O(1)。 对 于 传递 
闭 包 ， 每 次 更 新 的 摊 还 代价 为 OV lg“V)。 对 于 所 有 结 点 对 之 间 的 最 短路 径 ， 更 新 时 间 依 赖 
于 查询 操作 。 对 于 仅 给 出 最 短路 径 权 重 的 查询 ， 每 次 更 新 的 挫 还 代价 为 OCV /Elg’V). MRE 
给 出 具体 的 最 短路 径 ， 则 摊 销 下 来 的 更 新 代价 为 min (OCV JigV), OC(V3/E lg’V)). 
Demetrescu 和 Italiano[ 84] 说 明了 如 何在 既 可 以 插入 也 可 以 删除 边 的 情况 下 处 理 更 新 和 查询 操作 ， 
条 件 是 每 条 给 定 的 边 的 权重 取 值 范围 为 实数 ， 且 有 限定 范围 。 

Aho, Hopcroft 和 Ullman[ 5j 定 义 了 一 种 称 为 “闭合 半 环 ”的 代数 结构 来 作为 解决 有 向 图 路 径 
问题 的 一 般 框架 。Floyd-Warshall 算法 和 25.2 节 所 讨论 的 传递 闭 包 算法 都 可 以 看 做 是 基于 闭合 
半 环 的 所 有 结 点 对 最 短路 径 算法 的 具体 实例 。Maggs 和 PlotkinL240j 说 明了 如 何 使 用 闭合 半 环 来 
找 出 最 小 生成 树 。 
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正如 可 以 通过 将 道路 交通 图 模型 化 为 有 回 图 来 找到 从 一 个 城市 到 另 一 个 城市 之 间 的 最 短路 
径 ， 我 们 也 可 以 将 一 个 有 向 图 看 做 是 一 个 “ 流 网 络 ” 并 使 用 它 来 回答 关于 物料 流动 方面 的 问题 。 设 
想 一 种 物料 从 产生 它 的 源 结 点 经 过 一 个 系统 ， 流 向 消耗 该 物料 的 汇 点 这 样 一 个 过 程 。 源 结 点 以 
某 种 稳定 的 速率 生成 物料 ， 汇 点 则 以 同样 的 速率 消耗 物料 。 从 直观 上 看 ， 物 料 在 系统 中 任何 一 个 
点 上 的 “流量 ”就 是 物料 移动 的 速率 。 这 种 流 网 络 可 以 用 来 建 模 很 多 实际 问题 ， 包 括 液体 在 管道 中 
的 流动 、 装 配 线 上 部 件 的 流动 、 电 网 中 电流 的 流动 和 通信 和 网络 中 信息 的 流动 。 

我 们 可 以 把 流 网 络 中 每 条 有 向 边 看 做 是 物料 的 一 个 流通 通道 。 每 条 通道 有 限定 的 容量 ， 是 
物料 流 经 该 通道 时 的 最 大 速率 ， 如 一 条 管道 每 小 时 可 以 流 过 200 加 仑 的 液体 或 一 根 电线 可 以 经 受 
20 安培 的 电流 。 流 网 络 中 的 结 点 则 是 通道 的 连接 点 。 除 了 源 结 点 和 终结 点 外 ， 物 料 在 其 他 结 点 
上 只 是 流 过 ， 并 不 积累 或 聚集 。 换 句 话 说， 物料 进入 一 个 结 点 的 速率 必须 与 其 离开 该 结 点 的 速率 
相等 。 这 个 性 质 称 为 “流量 守恒 ”， 这 里 的 流量 守恒 与 Kirchhoff 电流 定律 等 价 。 

在 最 大 流 问题 中 ， 我 们 希望 在 不 违反 任何 容量 限制 的 情况 下 ， 计 算出 从 源 结 点 运送 物料 到 
汇 点 的 最 大 速率 。 这 是 与 流 网 络 有 关 的 所 有 问题 中 最 简单 的 问题 之 一 。 我 们 在 本 章 将 会 看 到 ， 这 
个 问题 可 以 由 高 效 的 算法 解决 。 而 且 ， 最 大 流 算法 中 的 一 些 基本 技巧 可 以 用 来 解决 其 他 网 络 
流 问 题 。 

本 章 介绍 两 种 解决 最 大 流 问 题 的 一 般 方法 。26. 1 节 给 出 流 网 络 和 流 概念 以 及 最 大 流 问 题 
的 形式 化 定义 。26. 2 节 描 述 Ford 和 Fulkerson 提出 的 解决 最 大 流 问 题 的 经 典 方法 。26. 3 节 给 
出 该 方法 的 一 种 实际 应 用 ， 在 无 向 二 分 图 (二 分 图 ) 中 找 出 最 大 匹配 。26.4 PARE OH 
送 - 重 贴标签 ?方法 ， 该 方法 是 许多 网 络 流 问 题 的 快速 算法 的 基石 。26. 5 节 则 讨论 推送 - 重 贴 标 
签 方法 的 一 种 具体 实现 一 一 “前 置 重 贴标签 ”算法 ， 该 算法 的 运行 时 间 为 O(V )。 虽 然 该 算法 并 
不 是 已 知 算法 中 最 快 的 ， 但 它 演示 了 渐 近 最 快 算法 中 用 到 的 某 些 技巧 ， 并 且 在 实际 应 用 中 也 是 
非常 有 效 的 。 


26.1 流 网 络 

在 本 节 中 ， 我 们 将 给 出 流 网 络 的 图 论 定义 ， 讨 论 其 性 质 ， 并 精确 地 定义 最 大 流 问 题 。 我 们 同 
时 还 引入 一 些 有 用 的 记号 。 

流 网 络 和 流 

流 网 络 G=(V, DR-*AWA, APERA, VEEA—MEANABAc(u, vo. 
而 且 ， 如 果 边 集合 玉 包 含 一 条 边 (u，v)， 则 图 中 不 存在 反方 向 的 边 (vw，w) 。( 随 后 我 们 将 看 到 在 
这 个 限制 下 如 何 做 。) 如 果 (w，v) 针 EE， 则 为 方便 起 见 ， 定 义 cC(u，w)= 二 0， 并 且 在 图 中 不 允许 自 循 
环 。 在 流 网 络 的 所 有 结 点 中 ， 我 们 特别 分 辨 出 两 个 特殊 结 点 ; 源 结 点 s 和 汇 点 上 。 为 方便 起 见 ， 
假定 每 个 结 点 都 在 从 源 结 点 到 汇 点 的 某 条 路 径 上 。 也 就 是 说 ， 对 于 每 个 结 点 vEV， 流 网 络 都 包 
含 一 条 路 径 *~ 人 >、~ 人 +。 因此 ， 流 网 络 图 是 连通 的 ， 并 且 由 于 除 源 结 点 外 的 每 个 结 点 都 至 少 有 一 
条 进入 的 边 , 我 们 有 |E| 宇 |V| 一 1。 图 26-1 描述 的 是 一 个 流 网 络 的 例子 。 

我 们 现在 可 以 给 出 流 的 形式 化 定义 。 设 G=(V，E) 为 一 个 流 网 络 ， 其 容量 函数 为 c。 设 ;为 
网 络 的 源 结 点 ， 上 为 汇 点 。G 中 的 流 是 一 个 实 值 函数 1: VXV 一 R， 满 足下 面 的 两 条 性 质 : 
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图 26-1 (a)Lucky 冰球 公司 货运 问题 的 流 网 络 G==(V，E)。 在 该 流 网 络 中 ,温哥华 的 工厂 是 源 结 点 y， 
温 尼 伯 的 仓库 是 汇 点 :。 公 司 在 运送 冰球 时 要 通过 多 个 中 间 城 市 ， 但 从 城市 u 到 城市 v 每 天 只 
能 运送 c(x， 切 个 货 箱 。 每 条 边 上 注 明 的 是 该 条 交通 道路 上 的 容量 。(b) 图 G 中 的 一 个 流 f， 这 
里 | f| =19。 每 条 边 (uw，v) 上 所 注 明 的 是 f(w，v)/c(xu，v)。 注 意 ， 这 里 的 斜 杠 记号 仅仅 用 来 
分 开 流 和 容量 ， 并 不 代表 除法 操作 


容量 限制 : 对 于 所 有 的 结 点 u. vEV, BROS, clu, v). 
流量 守恒 ， 对 于 所 有 的 结 点 ucV—{s, t), BER 


fv) = > fuso) 


v€EV VEY 


(u, VEER, AHR u PAA o 之 间 没 有 流 ， 因 此 flu, v)=0, 
我 们 称 非 负 数值 flu, DAWA u BAR 的 流 。 一 个 流 f 的 值 |f | 定义 如 下 : 


IFI = Df — 2 fv,s) (26. 1) 
veV v€EV 


也 就 是 说 ， 流 /了 的 值 是 从 源 结 点 流出 的 总 流量 减 去 流 人 源 结 点 的 总 流量 。( 这 里 ， 符 号 | 。 | 表示 
流 的 值 ， 而 不 是 绝对 值 或 者 基数 值 .通常 来 说 ， 一 个 流 网 络 不 会 有 任何 进入 源 结 点 的 边 ， 因 此 ， 
公式 (26. 1) FPR AUR Qf Cu, DHE 0。 我 们 将 其 宫 括 在 该 公式 里 的 原因 是 本 章 后 面 将 要 讨论 
残存 网 络 ， 在 此 种 网 络 中 ， 流 人 源 结 点 的 流量 十 分 重要 。 在 最 大 流 问题 中 ， 给 定 一 个 流 网 络 C、 
一 个 源 结 点 s、 一 个 汇 点 :， 我 们 希望 找到 值 最 大 的 一 个 流 。 

在 查看 任何 网 络 流 问 题 的 例子 前 ， 我 们 简略 地 对 流 的 定义 和 流 的 两 种 性 质 进行 探讨 。 容 量 
限制 性 质 说 明 ， 从 一 个 结 点 到 另 一 个 结 点 之 间 的 流 必 须 为 非 负 值 且 不 能 超过 给 定 的 容量 限额 。 
流量 守恒 性 质 说 明 ， 流 和 人 一 个 结 点 ( 指 非 源 结 点 和 非 汇 点 ) 的 总 流量 必须 等 于 流出 该 结 点 的 总 流 
量 ， 非 形式 化 地 称 为 “流入 等 于 流出 ”。 

流 的 一 个 例子 

用 流 网 络 把 图 26-1(a) 所 示 的 货运 问题 模型 化 。Lucky 冰球 公司 在 温哥华 有 一 家 制造 冰球 的 
I ORAR 29， 在 温 尼 们 有 一 个 存储 产品 的 仓库 ( 汇 点 力 。Lucky 冰球 公司 从 另 一 家 公司 租用 
货车 来 将 冰球 从 工厂 运送 到 仓库 。 因 为 货车 按 指定 路 线 ( 边 ?在 城市 ( 结 点 ) 间 行驶 且 其 容量 有 
BR, Lucky 冰球 公司 在 图 26-1(a) 所 示 的 每 对 城市 和 wv 之 间 每 天 至 多 运送 c(u，) 箱 产品 。 
Lucky 冰球 公司 无 权 控制 运输 路 线 和 货车 的 运输 能 力 ， 因 此 无 法 改变 图 26-1(a) 所 示 的 流 网 络 。 
他 们 所 能 做 的 事情 是 ， 判 断 每 天 可 以 运送 的 最 大 货 箱 数 p， 并 按 这 一 数量 进行 生产 ， 因 为 生产 
出 来 的 产品 多 于 其 运输 能 力 没有 什么 意义 。Lucky 冰球 公司 并 不 关心 一 个 给 定 的 冰球 需要 多 长 
时 间 才 能 从 工厂 运送 到 仓库 ; 他 们 关心 的 只 是 每 天 可 以 有 zp 箱 货物 离开 工厂 ， 每 天 可 以 有 p 箱 
货物 到 达 仓库 。 

由 于 从 一 个 城市 运送 到 另 一 个 城市 的 货 箱 数量 每 天 都 有 容量 限制 ， 因 此 可 以 在 这 个 网 络 中 
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用 流 来 模拟 这 种 运输 “ 流 ”。 此 外 ， 我 们 的 模型 必须 遵守 流量 守恒 性 质 ， 因 为 在 一 种 稳定 的 状态 
下 ， 冰 球 进 入 一 个 中 间 城 市 的 速率 必须 等 于 冰球 离开 该 城市 的 速率 。 否 则 ， 货 箱 将 在 中 间 城 市 堆 
积 起 来 。 

使 用 反 平 行 边 来 模拟 问题 

假定 从 埃 德 蒙 顿 到 卡尔 加 里 ， 货 运 公司 提供 给 Lucky 冰球 公司 10 个 货 箱 。 很 自然 地 ， 需 
要 将 该 容量 加 入 到 我 们 的 例子 中 ， 从 而 形成 一 个 如 图 26-2(a) 所 示 的 网 络 。 但 是 这 个 网 络 却 有 
一 个 问题 : 它 违 反 了 我 们 原来 的 假设 一 一 如 果 边 (w，w)EEK， 则 (w，w) 儿 EE。 RIER C, 
w) 和 边 (v。，w) 为 反 平行 (antiparallel)。 因 此 ， 如 果 要 使 用 反 平行 边 来 模拟 一 个 流 问 题 ， 必 须 
将 这 种 网 络 转换 为 一 个 等 价 的 但 不 包括 反 平 行 边 的 网 络 。 图 26-2(b) 描 述 的 就 是 这 样 一 个 等 价 
网 络 。 选 择 两 条 反 平 行 边 中 的 一 条 ， 在 这 个 具体 例子 中 是 边 (w，w%)， 通 过 加 入 一 个 新 结 点 v 
来 将 其 分 解 为 两 段 ， 并 以 边 (w，v ) 和 (vw ，%w%) 来 替换 边 (w，w%)。 同 时 将 两 条 新 设立 的 边 的 容 
量 设 置 为 与 原来 的 边 的 容量 相同 。 这 样 得 出 的 网 络 将 满足 我 们 的 限制 条 件 : 如 果 一 条 边 属于 该 
网 络 ， 则 其 反 回 边 不 属于 该 网 络 。 练 习 26. 1-1 将 要 求 读者 证 明 这 样 转换 后 的 网 络 与 原来 的 网 
络 等 价 。 





图 26-2 将 一 个 包含 反 平行 边 的 网 络 转换 为 一 个 等 价 的 但 不 包括 反 平行 边 的 网 络 。(a) 一 个 包含 反 
平行 边 (w ，w) 和 (ws，w ) 的 流 网 络 。(b) 一 个 没有 反 平行 边 的 等 价 网 络 。 我 们 加 入 一 个 
新 结 点 v 来 将 其 分 解 为 两 段 ， 以 边 (w，v') 和 (vw ，w) 来 替换 边 (w ，vs)， 并 将 两 条 新 设 
立 的 边 的 容量 设置 为 与 原来 的 边 的 容量 相同 


从 上 面 的 讨论 可 以 看 到 ， 实 际 生活 中 的 流 问 题 可 以 目 然 地 表示 为 一 个 带 反 平行 边 的 网 络 。 
但 如 果 不 允 许 反 平行 边 则 将 更 为 方便 。 幸 运 的 是 ， 我们 有 一 个 非常 直接 的 办 法 将 一 个 带 有 反 平 
行 边 的 网 络 转换 为 不 带 反 平行 边 的 网 络 。 

具有 多 个 源 结 点 和 多 个 汇 点 的 网 络 

一 个 最 大 流 问题 可 能 有 几 个 源 结 点 和 几 个 汇 点 ， 而 不 仅仅 只 有 一 个 源 结 点 和 汇 点 。 例 如 ， 
Lucky 冰球 公司 可 能 有 m ATT (s19 s29 s Se} An SEE Lt tes ots te}, ， 如 图 26-3(a) 所 
示 。 幸 运 的 是 ， 多 个 源 结 点 和 多 个 汇 点 的 最 大 流 问 题 并 不 比 普通 的 最 大 流 问 题 更 难 。 

在 具有 多 个 源 结 点 和 多 个 汇 点 的 网 络 中 ， 确 定 最 大 流 的 问题 可 以 归 约 为 一 个 普通 的 最 大 流 
问题 。 图 26-3(b) 描 述 的 是 如 何 将 图 26-3(a) 所 示 的 网 络 转换 为 一 个 只 有 一 个 源 结 点 和 一 个 汇 点 
的 普通 流 网 络 。 转换 方法 是 加 入 一 个 超级 源 结 点 S9 并 对 于 i=l, 2, *, m, 加 入 有 回 边 (s， 
s;) 和 容量 cs, 5) 一 c2。 我 们 同时 创建 一 个 新 的 超级 汇 点 :， 并 且 对 于 i 二 1，2,，…，n， 加 入 有 
WW, 0, HEE ci, t) =, ABWES, A 26-3(a) 所 示 网 络 中 的 任意 流 均 对 应 于 
图 26-3(b) 所 示 网 络 中 的 一 个 流 ， 反 之 亦 然 。 单 源 结 点 ;能 够 给 原来 的 多 个 源 结 点 s; 提供 所 需 
要 的 流量 ， 而 单 汇 点 上 则 可 以 消费 原来 所 有 汇 点 去 所 消费 的 流量 。 练 习 26. 1-2 将 要 求 读者 来 形 
式 化 证 明 这 两 个 问题 是 等 价 的 。 
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图 26-3 


练习 


26. 1-1 


26. 1-2 


26. 1-3 


26. 1-4 


26. 1-5 
26. 1-6 


(a) (b) 


将 一 个 多 源 结 点 多 汇 点 的 最 大 流 问题 转换 为 单 源 结 点 单 汇 点 的 最 大 流 问 题 。(a) 一 个 有 5 个 源 
结 点 S 二 {51，s2，53，54，55} 和 3 个 汇 点 T= ，tc，s) 的 流 网 络 。(b) 一 个 等 价 的 单 源 结 点 单 
汇 点 的 流 网 络 。 在 原来 的 图 (a) 中 加 入 了 一 个 超级 源 结 点 *， 并 从 结 点 s 到 每 个 原来 的 源 结 点 之 
间 增 加 一 条 容量 为 无 限 的 有 向 边 。 同 时 加 入 一 个 超级 汇 点 :， 并 从 原来 的 每 个 汇 点 到 zt 之 间 增 
加 了 一 条 容量 为 无 限 的 有 问 边 


证 明 : 在 一 个 流 网 络 中 ， 将 一 条 边 分 解 为 两 条 边 所 得 到 的 是 一 个 等 价 的 网 络 。 更 形式 化 
地 说 ， 假 定 流 网 络 G 包含 边 (u，vw)， 我们 以 如 下 方式 创建 一 个 新 的 流 网 络 G : 创建 一 
个 新 结 点 z， 用 新 的 边 (u，xz) 和 (x，v) 来 蔡 换 原来 的 边 (uw，v)， 并 设置 c(x，Zz) 一 
c(xz, v)=c(u, v), WH: GC 中 的 一 个 最 大 流 与 G 中 的 一 个 最 大 流 具 有 相同 的 值 。 
将 流 的 性 质 和 定义 推广 到 多 个 源 结 点 和 多 个 汇 点 的 流 问 题 上 。 证 明 ， 在 多 源 结 点 多 汇 点 
流 网 络 中 ， 任 意 流 均 对 应 于 通过 增加 一 个 超级 源 结 点 和 超级 汇 点 所 形成 的 具有 相同 值 的 
一 个 单 源 结 点 单 汇 点 流 中 ， 反 之 让 然 。 
假定 流 网 络 G 二 (V，E) 违 反 了 对 于 所 有 结 点 vEV， 网 络 必须 包括 一 条 路 径 su 
的 假设 。 设 “为 这 样 一 个 结 点 : 不 存在 路 径 人 xx ~2t。 证 明 :， G 中 必然 存在 一 个 最 大 
流 ff， 使 得 对 于 所 有 结 点 vEV，j(x， 切 三 Jo，z) 一 0。 
设 f 为 网 络 中 的 一 个 流 ， 设 a 为 一 个 实数 ， 则 af 称 为 标量 流 积 ， 该 标量 流 积 是 一 个 从 
VXV 到 R 的 了 旺 数 ， 其 定义 如 下 : 

(af ) lusu) =ae flu,v) 
证 明 ; 网 络 中 的 流 形成 一 个 上 是 集 。 也 就 是 说 ,， 证明: MRAM 为 两 个 流 ， 则 
afi tA—a) f 也 是 一 个 流 ， 这 里 Kasl. 
将 最 大 流 问题 表述 为 一 个 线性 规划 问题 。 
Adam 教授 有 两 个 儿子 ， 可 不 幸 的 是 ， 他 们 互相 讨厌 对 方 。 随 着 时 间 的 推移 ， 问 题 变 得 
如 此 严重 ， 他 们 之 间 不 仅 不 愿意 一 起 走 到 学 校 ， 而 且 每 个 人 都 拒绝 走 另 一 个 人 当天 所 走 
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过 的 街区 。 两 个 孩子 对 于 上 自己 所 走 的 路 径 与 对 方 所 走 的 路 径 在 街角 交叉 并 不 在 意 。 幸 运 
的 是 ， 教 授 的 房子 和 学 校 都 位 于 街角 上 。 但 除 此 之 外 ， 教 授 不 能 肯定 是 否 可 以 在 满足 上 
述 条 件 的 情况 下 把 两 个 小 孩 送 到 同一 所 学 校 。 教 授 有 一 份 小 镇 的 地 图 ， 试 说 明 如 何 将 这 
个 问题 转换 为 一 个 最 大 流 问 题 ， 以 全 决定 是 否 可 以 将 孩子 送 到 同一 所 学 校 。 

26.1-7 假定 除 边 的 容量 外 ， 流 网 络 还 有 结 点 容量 。 即 对 于 每 个 结 点 v， 有 一 个 极限 值 :(v)， 这 
是 可 以 流 经 结 点 v 的 最 大 流量 。 请 说 明 如 何 将 一 个 带 有 结 点 容量 的 流 网 络 GSV, E) 
转换 为 一 个 等 价 的 但 没有 结 点 容量 的 流 网 络 G 二 (V'，E')， 使 得 G' 中 的 最 大 流 与 G 中 
的 最 大 流 的 取 值 一 样 。 图 G 里 有 多 少 个 结 点 和 多 少 条 边 ? 


26.2 Ford-Fulkerson 方法 


本 节 讨 论 用 来 解决 最 大 流 问 题 的 Ford-Fulkerson 方法 。 之 所 以 称 其 为 “方法 ”而 不 是 “算法 ”， 
是 因为 它 包 含 了 几 种 运行 时 间 各 不 相同 的 具体 实现 。Ford-Fulkerson 方法 依赖 于 三 种 重要 思想 ， 
它们 与 许多 的 流 算法 和 问题 有 关 ， 如 残 仔 网 络 、 增 广 路 径 和 切割 。 这 些 思想 是 最 大 流 最 小 切割 定 
理 (定理 26. 6) 的 精通， 该 定理 以 流 网 络 的 切割 来 表述 最 大 流 的 值 。 在 本 节 的 末尾 ， 我 们 将 给 出 
Ford-Fulkerson 方法 的 一 种 具体 实现 ， 并 分 析 其 运行 时 间 。 

Ford-Fulkerson 方法 循环 增加 流 的 值 。 在 开始 的 时 候 ， 对 于 所 有 的 结 点 uw，v EV， 
flu, 二 0, 给 出 的 初始 流 值 为 0。 在 每 一 次 迭代 中 ， 我 们 将 图 G 的 流 值 进行 增加 ， 方 法 就 是 在 
一 个 关联 的 “残存 网 络 ”Gy 中 寻找 一 条 “ 增 广 路 径 >。 一 旦 知道 图 Gy 中 一 条 增 广 路 径 的 边 ， 就 可 以 
很 容易 辨别 出 G 中 的 一 些 具体 的 边 ， 我 们 可 以 对 这 些 边 上 的 流量 进行 修改 ， 从 而 增加 流 的 值 ， 
虽然 Ford-Fulkerson 方法 的 每 次 迭代 都 增加 流 的 值 ， 但 是 对 于 图 G 的 一 条 特定 边 来 说 ， 其 流量 可 
能 增加 ， 也 可 能 减少 ;对 某 些 边 的 流 进行 缩减 可 能 是 必要 的 ， 以 便 让 算法 可 以 将 更 多 的 流 从 源 结 
点 发 送 到 汇 点 。 重 复 对 流 进行 这 一 过 程 ， 直 到 残存 网 络 中 不 再 存在 增 广 路 径 为 止 。 最 大 流 最 小 切 
割 定 理 将 说 明 在 算法 终结 时 ， 该 算法 将 获得 一 个 最 大 流 。 

FORD-FULKERSON-METHOD(G, s, 2) 

1 initialize flow f to 0 

2 while there exists an augmenting path p in the residual network Gy 
3 augment flow f along p 
4 


return f 


为 了 实现 和 分 析 Ford-Fulkerson 方法 ， 需 要 引入 几 个 新 的 概念 。 

残存 网 络 

从 直观 上 看 ， 给 定 流 网 络 G 和 流量 上， 残存 网 络 Gj 由 那些 仍 有 空间 对 流量 进行 调整 的 边 构 
成 。 流 网 络 的 一 条 边 可 以 允许 的 额外 流量 等 于 该 边 的 容量 减 去 该 边 上 的 流量 。 如 果 该 差 值 为 正 ， 
则 将 该 条 边 置 于 图 Gr 中 ， 并 将 其 残存 容量 设置 为 cj (wu，v) 二 cC(u，v) 一 fl(u，v)。 对 于 图 G 中 的 
边 来 说 ， 只 有 能 够 允许 额外 流量 的 边 才能 加 入 到 图 G 中。 如 果 边 (wx， 人 的 流量 等 于 其 容量 ， 则 
其 cslu, v) 二 0， 该 条 边 将 不 属于 图 Gro 

残存 网 络 Cr 还 可 能 包含 图 G 中 不 存在 的 边 。 算 法 对 流量 进行 操作 的 目标 是 增加 总 流量 ， 为 此 ， 
算法 可 能 对 某 些 特定 边 上 的 流量 进行 缩减 。 为 了 表示 对 一 个 正 流 量 u, VWA, RITKO, w 
加 入 到 图 G; 中 ， 并 将 其 残存 容量 设置 为 cj(v， 二 fl(u，v)。 也 就 是 说 ， 一 条 边 所 能 允许 的 反 向 流量 
最 多 将 其 正 向 流量 抵消 。 残 存 网 络 中 的 这 些 反 向 边 允 许 算法 将 已 经 发 送出 来 的 流量 发 送 回 去 。 而 将 流 
量 从 同一 条 边 发 送 回 去 等 同 于 缩减 该 条 边 的 流量 ， 这 种 操作 在 许多 算法 中 都 是 必需 的 。 

更 形式 化 地 ， 假 定 有 一 个 流 网 络 G 二 (V，E)， 其 源 结 点 为 ;， 汇 点 为 t。 设 f 为 图 G 中 的 一 
个 流 ， 考 虑 结 点 对 u，vEV， 定 义 残存 容量 clu, VAF: 
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fv,u) 若 (v,u) EE (26. 2) 
0 其 他 
因为 假定 边 (w，v) EE 意味 着 (v，w) FE， 对 于 每 一 对 边 来 说 ， 公 式 (26. 2) 中 只 有 一 种 情况 成 立 。 
作为 公式 (26. 2) 的 一 个 例子 ， 如 果 c(u，wv)= 二 16， 并且 flu, v=11, WX flu, od WW 
加 的 量 最 大 为 c/(u，wv)= 二 5， 再 多 就 将 超过 边 (u，wv) 的 容量 限制 。 同 时 ， 允 许 算法 从 结 点 v 向 结 
mu 最 多 返回 11 个 单位 的 流量 ， 因 此 ,cj(v, w=11, 
给 定 一 个 流 网 络 C 一 (V， 刀 和 一 个 流 f， 则 由 f 所 诱导 的 图 GHREENE GSV, Ep, HP 
E; = {(u,v) E VXV:c (u,v) > 0} (26. 3) 
也 就 是 说 ， 正 如 我 们 在 前 面 所 承诺 的 ， 残 存 网 络 的 每 条 边 或 残存 边 ， 必 须 允 许 大 于 0 的 流量 通 
过 。 图 26-4(a) 是 图 26-1(b) 的 流 网 络 G 和 流量 了 的 重新 绘制 ， 图 26-4(b) 描 述 的 是 对 应 的 残存 网 
络 Gj E, 中 的 边 要 么 是 五 中 原 有 的 边 ， 要 人 么 是 其 反 疝 边 ， 因 此 有 
IE,| <2|E| 


c(usv) 一 flu,v) Z (u,v) = E 
C,(uyv) 5 





(c) (d) 


图 26-4 (a) 图 26-1(b) 中 的 流 网 络 G 和 流 /。(b) 残 存 网 络 G;:， 阴 影 履 盖 的 边 为 其 增 广 路 径 p 上 加 了 阴 
影 ， 其 残存 容量 为 cr (p) 二 cy (vs，vws) 二 4。 残存 容量 为 0 的 边 ( 如 (ww，vw)) 未 在 图 中 显示 ， 这 
是 本 节 所 遵守 的 一 个 约定 。(c)G 中 使 用 残存 容量 4 沿路 径 p 增加 而 导出 的 流 。 对 于 没有 运送 
流量 的 边 ， 如 (vs，w)， 图 中 只 标 出 了 其 容量 ， 这 是 本 节 所 遵守 的 另 一 个 约定 。(d) 由 图 (c) 的 
流 所 诱导 出 的 残存 网 络 


注意 ， 残 存 网 络 G 类 似 于 一 个 容量 为 cr 的 流 网 络 ， 但 该 网 络 并 不 满足 我 们 对 流 网 络 的 定义 ， 因 
为 它 可 能 包含 边 (u，v) 和 它 的 反 向 边 (vw，w)。 除 了 这 个 区 别 外 ， 残存 网 络 具 有 与 流 网 络 同样 的 性 质 ， 
我 们 可 以 在 残存 网 络 中 和 定义 一 个 流 ， 它 满足 流 的 定义 ， 但 是 针对 的 是 残存 网 络 Cr 中 的 容量 cr。 
残存 网 络 中 的 一 个 流 给 我 们 指出 的 是 一 条 路 线 图 : 如 何在 原来 的 流 网 络 中 增加 流 。 如 果 了 
是 G 的 一 个 流 ，f 是 对 应 的 残存 网 络 Cr 中 的 一 个 流 ， EMSA SAR f' 对 流 f 的 递增 
(augmentation)， 它 是 一 个 从 VXV 到 R 的 函数 ， 其 定义 如 下 : 
Cf Timo — ~ HEF (u,v) = (vu) o E E 
该 定义 背后 的 直观 解释 遵循 残存 网 络 的 定义 。 因 为 在 残存 网 络 中 将 流量 发 送 到 反 向 边 上 等 同 于 
在 原来 的 网 络 中 缩减 流量 ， 所 以 将 边 (u，w) 的 流量 增加 S Cu, v), ARD f Cou, u), ERAN 


(26. 4) 
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络 中 将 流量 推送 回去 也 称 为 抵消 操作 (cancellation) 。 例 如 ， 如 果 将 5 货 箱 的 冰球 从 城市 u 发 送 到 
城市 z， 同 时 将 2 货 箱 冰球 从 城市 v 发 送 到 城市 x， 和 那么 可 以 等 价 (以 最 后 结果 来 看 ) 地 将 3 个 货 
箱 从 城市 u 发送 到 城市 vw。， 而 不 从 城市 v 发 送 任何 货 箱 到 城市 w。 这 类 抵消 操作 对 于 任何 最 大 流 
算法 来 说 都 是 非常 关键 的 。 

引 理 26.1 设 G 一 (V， 五 ) 为 一 个 流 网 络 ， 源 结 点 为 s， 汇 点 为 tf， AJAG 中 的 一 个 流 。 设 
Gy 为 由 流 太 所 诱导 的 G 的 残存 网 络 ， 设 A G 中 的 一 个 流 。 那 么 式 (26. 4) 所 定义 的 函数 FA; 
是 G 的 一 个 流 ， 其 值 为 | ff 了 |= 二 | fl 十 | 了 |。 

证 明 首先 证 明 f 4 广 满足 对 五 中 每 条 边 的 容量 限制 性 质 ， 以 及 对 每 个 结 点 vEV 一 {s, 人 的 
流量 守恒 限制 。 

对 于 容量 限制 ， 注 意 到 ， 如 果 边 (4,， OEE, M clv, w=fu, v. MA fiw wWX<c(v, w= 
flu, v), RIE, 

CFA fOG.0= flusv) +f lus) — f Cuu) (根据 式 (26. 4)) 
> flu, + f' lu, — flus) (因为 f (ou S flu,v)) 


= f Cuv) 
之 0 
此 外 ， 

(fA F Cuv) = flwusd) 十 了 (usv) 一 了 (vu) (根据 式 (26. 4)) 
fu,d) tf (u,v) (因为 流量 为 非 负 值 》 
flu,v) eu,v) (容量 限制 》 
= fl(u,v) +clu,v)— flu,v) (根据 cr 的 定义 ) 
= c(uyv) 


对 于 流量 守恒 性 质 ， 因 为 f 和 了 ' 均 遵守 流量 守恒 性 质 ， 对 于 所 有 的 结 点 EV 一 {s，t} ,我 们 有 ， 
STFA PF u= > fav) + f' uv) — fF' vw)) 
veV veV 


= $ fu, + OF uo — of vm) 
ve V 


vEV vEV 


= X fvw DF wu) — Yf uo) 
vEV VEV vEV 

= S\(flow tf v0 一 大 (ao)) 
vEV 


= X, (SFA F')(o,u) 


因为 流量 守恒 ， 所 以 上 面 的 第 2 行 推导 出 了 第 3 行 。 
最 后 ， 计 算 fA 广 的 值 。 回 忆 前 面 讨论 过 的 内 容 ， 我 们 不 允许 图 G 中 包含 反 平 行 边 ( 但 不 禁止 G 
中 有 这 种 边 ) ， 因 此 对 于 每 个 结 点 vEV， 可 以 有 边 (*， 臣 或 者 (zz，s， 但 不 能 二 者 同时 存在 。 和 定义 
Vi=tu: G, VEDKJENNE s 到 达 的 结 点 集合 ，Vi 二 {v: 《(v，s) EP} 为 有 边 通 往 s HARE 
合 。 我们 有 Vi1 UVSV， 并 且 因 为 不 允许 有 反 平 行 边 ， 我 们 有 Vi 站 V; 二名。 现在 来 计算 
FAF |= yf FG wd) — 24 SA FCs) 


= X (FA fACE D — XCA FD (oy) (26.5) 
vEV, vEV, 
这 里 的 第 2 IREKIA SO Cw, DEE, DEENA O. WEK fh 大 的 定义 应 用 到 
式 (26. 5) 上 ， 然 后 对 和 值 项 进行 重新 排序 与 重组 可 以 获得 : 
LFA SLT =D Go + f'(s,0) — fv — 3) fas) + Cos) — f'Gs50)) 
vEV, 


ve V, 
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ZA o + DIF Cw) — Df os) 
= Ss 一 sy (v,s) + H Cs») 


ve V, ve V, 


= 1 f(s,v) — >) flv,s) 
vEV, ve V, 
+ Ff Got >) f'G.w — DF s) 一 >) f'(v,s) 
vEV， ve V, ve V, 
= 2, hsv) = 2, fos) + >) f'(s.v)— ay F's) (26. 6) 


vE V, UV, 


在 式 (26. 6) 中 ， 可 以 将 4 个 求 和 项 的 范围 都 扩展 到 整个 结 点 集合 VE, 因为 每 个 额外 的 项 的 值 
都 为 0( 练 习 26. 2-1 将 要 求 读 者 证 明 这 一 点 )。 因 此 有 

LFA S| = OF G0 — Df @a9+ DFG — SF's) = | Fl +1 F') (26.7) 

vEV vEV vEV vEV E 

增 广 路 径 

给 定 流 网 络 G 二 (V，E) 和 流 f/， 增 广 路 径 p 是 残存 网 络 Gj 中 一 条 从 源 结 点 * CA 的 简 
单 路 径 。 根 据 残 存 网 络 的 定义 ， 对 于 一 条 增 广 路 径 上 的 边 (u，v)， 我 们 可 以 增加 其 流量 的 幅度 最 
大 为 c/(u，v)， 而 不 会 违反 原始 流 网 络 G 中 对 边 (x， 切 或 (2，z) 的 容量 限制 。 

图 26-4(b) 中 阴影 覆盖 的 路 径 是 一 条 增 广 路 径 。 如 果 将 图 中 的 残存 网 络 Gy 看 做 一 个 流 网 络 ， 
那么 可 以 对 这 条 路 径 上 每 条 边 的 流量 增加 4 个 单位 ， 而 不 会 违反 容量 限制 ， 因 为 该 条 路 径 上 最 小 
的 残存 容量 是 cy(v,，v) 二 4。 我 们 称 在 一 条 增 广 路 径 p 上 能 够 为 每 条 边 增 加 的 流量 的 最 大 值 为 
路 径 p 的 残存 容量 ， 该 容量 由 下 面 的 表达 式 给 出 : 

cj(p) = min{c;(u,v):(u,v) 属于 路 径 p) 

下 面 的 引 理 将 上 面 的 论断 闻 述 得 更 加 精确 。 该 引 理 的 证 明 留 给 读者 作为 练习 (练习 26. 2-7) 。 

引 理 26.2 设 G 二 (V，F) 为 一 个 流 网 络 ,， 设 f 为 图 G 中 的 一 个 流 ， 设 妃 为 残存 网 络 Gr 中 的 
一 条 增 广 路 径 。 定 义 一 个 函数 f,: VXV-R OF: 

cp) 若 (usv) 在 p 上 
f (u,v) = ; 其 他 (26. 8) 
则 f, 是 残存 网 络 Gy 中 的 一 个 流 ， 其 值 为 | fl =c-(p)>0. m 

下 面 的 推论 证 明 ， 如 果 将 流 /增加 S 的 量 ， 则 将 获得 G 的 另 一 个 流 ， 该 流 的 值 更 加 接近 最 
大 值 。 图 26-4(c) 所 描述 的 是 对 图 26-4(a) 的 流 了 增加 图 26-4(b) 所 示 的 f 的 量 所 获得 的 结果 ， 而 
图 26-4(d) 描 述 的 则 是 残存 网 络 Gj。 

推论 26.3 设 G=(V， 瑟 ) 为 一 个 流 网 络 ， 设 为 G 中 的 一 个 流 ， 设 旋 为 残存 网 络 Gr 中 的 一 
条 增 广 路 径 。 设 f。 由 式 (26.8) 所 定义 ， 假 定 将 f 增加 fs 的 量 ， 则 函数 f 个 f, 是 图 G 中 的 一 个 
wi, HMAISAAI=lFI+ 14,1 >141. 

证 明 根据 引 理 26. 1 和 引 理 26. 2 可 立即 得 到 上 述 推论 。 m 

流 网 络 的 切割 

Ford-Fulkerson 方法 的 核心 就 是 沿 着 增 广 路 径 重复 增加 路 径 上 的 流量 ， 直 到 找 一 个 最 大 流 为 
止 。 我 们 怎么 知道 在 算法 终止 时 ， 确 实 找到 了 一 个 最 大 流 呢 ? 稍 后 将 要 证 明 的 最 大 流 最 小 切割 定 
理 告诉 我 们 ， 一 个 流 是 最 大 流 当 且 仅 当 其 残存 网 络 不 包含 任何 增 广 路 径 。 为 了 证 明 这 个 定理 ， 首 
先 来 探讨 一 下 流 网 络 中 的 切割 概念 。 

流 网 络 G 二 (V，E) 中 的 一 个 切割 (S， 了 TD) 将 结 点 集合 V 划分 为 S 和 全 二 V 一 S 两 个 集合 ， 

得 SES，iET。( 该 定义 与 第 23 章 讨论 最 小 生成 树 时 所 定义 的 “切割 "有些 类 似 ， 只 不 过 这 里 切 
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割 的 是 有 向 图 ， 而 不 是 无 向 图 ， 并 和 且 要 求 ;ES，ztET,) 若 f 是 一 个 流 ， 则 定义 横 跨 切割 (S，7T) 
的 净 流 量 (S, DWF: 


(ST) = fw — >) Df (26. 9) 
uES veT uES veT 
HAS, DWABE: 
c(S,T) = >) $i clu) (26. 10) 


一 个 网 络 的 最 小 切割 是 整个 网 络 中 容量 最 小 的 切割 。 

流 的 定义 和 切割 容量 的 定义 之 间 存 在 着 不 对 称 性 ， 但 这 种 不 对 称 性 是 有 意 而 为 ， 并 且 很 重 
要 。 对 于 容量 来 说 ， 我 们 只 计算 从 集合 S 发 出 进入 集合 工 的 边 的 容量 ， 而 忽略 反方 向 边 上 的 容 
量 。 对 于 流 ， 我 们 考虑 的 则 是 从 S 到 了 的 流量 减 去 从 工 到 S 的 反方 向 的 流量 。 这 种 区 别 的 原因 
在 本 节 稍 后 就 会 清楚 了 。 

图 26-5 HIRE 26-10 MAH —ThOA Cs, 1s wh, (w, w, t). RE AW Al 
净 流 量 是 

flusu) flv wu) 一 um) = 124+11—-4= 19 





a g 


图 26-5 图 26-1(b) 中 流 网 络 的 一 个 切割 (9S， T), 其 中 S={s, Ul s v2 }， T= (vw,， U4 9 
t). S 中 的 结 点 是 黑色 ， 工 中 结 点 是 白色 。 横 跨 (S，T) 的 净 流 量 是 f(S, T= 
19, ABE c(S, T)=26 


该 切割 的 容量 是 
CCU, 503) Helu su) = 12+14 = 26 
下 面 的 引 理 将 证 明 对 于 给 定 流 f， 横 跨 任何 切割 的 净 流 量 都 相同 ， 都 等 于 | f| ， 即 流 的 值 。 
引 理 26.4 设 f 为 流 网 络 G 的 一 个 流 ， 该 流 网 络 的 源 结 点 为 s， 汇 点 为 1， 设 (S， 了 本) 为 流 网 
络 G 的 任意 切割 ， 则 横 跨 切 割 (S，T) 的 净 流 量 为 f(S, D=(lfl. 
证 明 对 于 任意 结 点 wEV 一 {s，t} ， 重 写 流量 守恒 性 质 如 下 : 
Dyfuse) — Dif Cow) = 0 (26.11) 


根据 式 (26.1) 对 | FL 的 定义 ， 并 将 式 (26. 11) 左 面 的 项 加 进来 ， 针 对 所 有 结 点 S 一 {s) 进 行 求 和 ， 
我 们 得 到 : 


fl = Ere- Efod D (Dfa E fou) 
vES-{s} wvEV vEV 


vEV vEV 


将 右面 的 求 和 项 展开 并 重新 组 合 ， 可 以 获得 : 
[fl= fs. — DoD) >) Mfaw—- Dd) Da 
vEV vEV ve S—{s} vEV vE S—{s} vEV 


= (f(s + >) flo) A (f+ >) flu) 
ve S—{s} vEV vE S—(s} 


vEV 
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一 = 24 Uf — 24 flow 


AA V=SUT#HESNT=2, 我 们 可 以 将 上 述 表达 式 中 针对 集合 V 的 求 和 分 解 为 针对 S AT 
KORA, 72: 


|fl= 21 fH + 27 Df uo) — SS FO — >) >) Fv 
vES wes vET uES 


vES xkES 


= =>) S fuv) a ED Xf vw) 
vET xES vET xkxES 


F ( 5 Ff u,v) 一 > > Fu,zo) 
vES xxES vES ES 
因为 对 于 所 有 的 结 点 x，yE S， 项 F(z，y) 在 每 个 求 和 项 中 刚好 出 现 一 次 ， 上 述 表达 式 括 号 里 面 
的 两 个 求 和 项 实际 上 是 一 样 的 。 因 此 ， 这 些 求 和 项 相互 抵消 ， 我 们 有 
|f| = fa. Df owu) = KST = 


引 理 26. 4 的 一 个 推论 说 明 如 何 使 用 切割 容量 来 限定 一 个 流 的 值 。 

推论 26.5 AMAG 中 任意 流 f 的 值 不 能 超过 G 的 任意 切割 的 容量 。 

证 明 RS, 了) 为 流 网 络 G 的 任意 切割 ,， 设 f 为 G 中 的 任意 流 。 根 据 引 理 26. 4 和 容量 限制 
性 质 ， 我 们 有 


| FEO) > Dif Cuo) 一 2, Dif ow) 


<2, Dif uso) < 2, ic (us) = c(S,T) 国 


推论 26. 5 给 出 的 一 个 直接 结 ; 全 是 ， _ 个 流 网 络 中 最 大 流 的 值 不 能 超过 该 网 络 最 小 切割 的 容 
量 。 这 就 是 下 面 要 来 陈述 和 证 明 的 非常 重要 的 最 大 流 最 小 切割 定理 。 该 定理 表明 一 个 最 大 流 的 
值 事 实 上 等 于 一 个 最 小 切割 的 容量 。 

定理 26. 6( 最 大 流 最 小 切割 定理 ) 设 f 为 流 网 络 G 二 (V，E) 中 的 一 个 流 ， 该 流 网 络 的 源 结 
点 为 s， 汇 点 为 :， 则 下 面 的 条 件 是 等 价 的 : 

1. ff 是 G 的 一 个 最 大 流 。 

2. 残存 网 络 Gy 不 包括 任何 增 广 路 径 。 

3. | fl 二 c(S，T)， 其 中 (S， 了 是 流 网 络 G 的 茶 个 切割 。 

WA 〈1) 之 (2) :使 用 反 证 法 。 假 定 f 是 G 的 一 个 最 大 流 ， 但 残存 网 络 Gj 同时 包含 一 条 增 
广 路 径 p。 那 么 根据 推论 26. 3， 对 f 增 加 流量 f,( 这 里 的 f 由 式 (26. 8) 给 出 ) 所 形成 的 流 是 G 中 
一 个 值 严格 大 于 | 了 | 的 流 ， 这 与 /是 最 大 流 的 假设 矛盾 。 

(2) 二 (3); 假定 Gy 不 包含 任何 增 广 路 径 ， 也 就 是 说 ， 在 残存 网 络 Cr 中 不 存在 任何 从 源 结 点 
s 到 汇 点 t 的 路 径 。 定 义 S=={vE€EV: EG, 中 存在 一 条 从 到 vw KR), T=V—S. BR, sES, 
而 因为 Gj 中 不 存在 从 s 到 上 WERE, PUES. Auk, MIS, DARMAGH-TMIA. HW 
在 考虑 一 对 结 点 vxES 和 zzET。 如 果 (x，zEE， 则 必 有 fu, v=clu, v, ANAM, v) 
KETE, MKEHA v 置 于 集合 S HF. MRM. WEE, WHA fA(v，w) = 二 0， 因 为 否则 
cj(u，v) 二 fl(v，w) 将 为 正 值 ， 边 (wu，wv) 将 属于 上 上;， 而 这 将 把 结 点 v 置 于 集合 S 中 。 当 然 ， 如 采 
Wu, VRAE, WMRERBS EP, M flu, 0=flv, )=0. AKA 


FS, D= > f(u, o) — > 2 flow = 2, Dy Curo) 一 > 2,0= c(S,T) 
uES vET 
根据 引 理 26.4，| f|==f(S， 门 =c(S， D. 


(3)>(1): 根据 推论 26.5, WFMRAWACS, TD, |fl<c(S. T. Ab, 条件 | f|= 
(S, DREE f 是 一 个 最 大 流 。 B 
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基本 的 Ford-Fulkerson 算法 

在 Ford-Fulkerson 方法 的 每 次 迭代 中 ， 寻 找 菜 条 增 广 路 径 p， 然 后 使 用 p 来 对 流 f 进行 修改 
(增加 )。 正 如 引 理 26. 2 和 推论 26.3 所 示 ， 我 们 以 ff, 来 替换 ff， 从 而 获得 一 个 值 为 | f| 十 
| | 的 更 大 的 流 。 在 下 面 的 算法 实现 中 ， 通 过 为 每 条 边 (u，v) EE 更 新 流 属 性 (u，wv). f RHA 
流 网 络 G 二 (V，E) 中 的 最 大 流 。 如 果 边 (uw，wv) FE， 则 假设 (uw，wv). f= 二 0。 男 外 ， 假 设 流 网 络 的 
容量 c(u，wv) 都 已 经 给 出 ， 如 果 边 (ux，v) EE, Wj clwn，wv) 二 0。 根 据 式 (26.2) 来 计算 残存 容量 
clu， 功 。 代 码 中 的 表达 式 cy(p) 只 是 一 个 临时 变量 ， 用 来 存放 路 径 p 的 残存 容量 。 

FORD-FULKERSON(G, s,t) 

1 for each edge(u,v) EG. E 

2 (u,v). f=0 

3 while there exists a path p from s to ż in the residual network G; 

4 c,(p)=min{c,(u,v): (u,v)is inp} 

5 for each edge(u,v)in p 

6 if(u,v) CE 

7 (u,v). f=(u,v). fies lp) 

8 else(v,u). f=(v,u). f—cs(p) 


FORD-FULKERSON 算法 仅 是 对 早先 给 出 的 FORD-FULKERSON-METHOD 过 程 的 简单 扩 
Fe. Bl 26-6 所 描述 的 是 一 个 样本 运行 过 程 的 每 次 迭代 的 结果 。 算 法 第 1 一 2 行将 流 f 初始 化 为 0， 
算法 第 3 一 8 行 的 while 循环 重复 在 残存 网 络 Cr 中 寻找 一 条 增 广 路 径 p， 然 后 使 用 残存 容量 cj(p) 
来 对 路 径 p 上 的 流 f 进行 加 增 。 路 径 p 上 每 条 残存 边 要 么 是 原来 网 络 中 的 一 条 边 ， 要 么 是 原来 
网 络 中 的 边 的 反 向 边 。 算 法 第 6~8 行 针对 每 种 情况 对 流 进行 相应 的 更 新 :如果 残存 边 是 原来 网 
络 中 的 一 条 边 ， 则 加 增 流量 ， 否 则 缩减 流量 。 当 不 再 有 增 广 路 径 时 ， 流 f 就 是 最 大 流 。 

FORD-FULKERSON 算法 的 分 析 

FORD-FULKERSON 算法 的 运行 时 间 取 决 于 算法 第 3 行 是 如 何 寻 找 增 广 路 径 的 。 如 果 选 择 
不 好 ， 算 法 可 能 不 会 终止 : 流 的 值 会 随 着 后 续 的 递增 而 增加 ， 但 它 却 不 一 定 收敛 于 最 大 的 流 
值 s 。 如 果 使 用 广度 优先 搜索 (请 参阅 22. 2 节 ) 来 寻找 增 广 路 径 ， 算 法 的 运行 时 间 将 是 多 项 式 数 
量 级 。 在 证 明 该 结果 前 ， 我 们 先 来 为 任意 选择 增 广 路 径 的 情况 获取 一 个 简单 的 上 限 ， 这 里 假定 所 
选择 的 任意 增 广 路 径 和 所 有 的 容量 都 是 整数 。 

在 实际 情况 中 ， 最 大 流 问 题 中 的 容量 常常 是 整数 。 如 果 容 量 为 有 理 数 ， 则 可 以 通过 乘 以 某 个 
系数 来 将 其 转换 为 整数 。 如 果 S 表示 转换 后 网 络 中 的 一 个 最 大 流 ， 则 在 FORD-FULKERSON 算 
法 的 一 个 直接 实现 中 ， 执 行 第 3 一 8 行 的 while 循环 的 次 数 最 多 为 | f* | 次， 因为 流量 值 在 每 次 和 迭 
代 中 最 少 增加 一 个 单位 。 

如 果 用 来 实现 流 网 络 G 二 (VV，E) 的 数据 结构 是 合理 的 ， 并 且 寻 找 一 条 增 广 路 径 的 算法 时 间 
是 线性 的 ， 则 整个 while 循环 的 执行 将 非常 有 效 。 假 设 有 一 个 与 有 向 图 G =V, EART 
Et, XE E’=((u, v): Cu JEER, uEE. Wi G 中 的 边 也 是 网 络 G' 中 的 边 ， 因 此 
在 这 一 数据 结构 中 ， 保 持 其 容量 和 流 就 非常 简单 了 。 给 定 网 络 G 的 一 个 流 f， 残 存 网 络 Cr 中 的 边 
由 网 络 G “中 所 有 满足 条 件 clu, ow >O 的 边 (u，wv) 所 构成 ， 其 中 cr 遵守 式 (26.2)。 因 此 ， 如 果 使 
用 深度 优先 搜索 或 广度 优先 搜索 ， 在 一 个 残存 网 络 中 找到 一 条 路 径 的 时 间 应 是 OCV ++ E') = OE). 
while 循环 的 每 一 遍 执 行 所 需 的 时 间 因 此 为 O(E) ， 这 与 算法 第 1 一 2 行 的 初始 化 成 本 一 样 ， 从 而 整 
个 FORD-FULKERSON 算法 的 运行 时 间 为 OCE|f* |). 


© BUM 22.1 HAA, FARA, vo. f RERU, OME f， 就 如 我 们 表示 任何 其 他 对 象 的 属性 一 般 。 
全 ”只 有 当 边 的 容量 为 无 理 数 时 ，Ford-Fulkerson 方法 才 有 可 能 不 能 终止 。 





(a) 


(b) 


(c) 


(d) 





(e) 





(f) 


图 26-6 ”基本 的 FORD-FULKERSON 算法 的 执行 过 程 。(a) 一 (e)while 循环 的 每 遍 执行 过 程 。 每 个 图 的 
左边 部 分 描述 的 是 算法 第 3 行 的 残存 网 络 cr， 覆盖 阴影 的 路 径 是 增 广 路 径 p。 右 边 的 图 描述 的 
是 将 流 三 增加 户 的 量 后 所 形成 的 新 流 f。(a) 图 中 残存 网 络 就 是 输入 网 络 G。(f) 在 最 后 一 次 
while 循环 测试 时 的 残存 网 络 。 该 网 络 没 有 增 广 路 径 ， 因 此 (e) 图 所 显示 的 流 f 已 经 是 最 大 流 。 
在 本 例 中 ,算法 所 发 现 的 最 大 流 的 值 为 23 
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当 容 量 都 是 整数 值 且 最 优 的 流量 值 | f° | 较 小 时 ，FORD-FULKERSON 算法 的 运行 时 间 相 当 
不 错 。 图 26-7(a) 描 述 的 是 当 | f* | 的 取 值 较 大 时 可 能 发 生 的 情况 。 该 网 络 的 一 个 最 大 流 取 值 为 
2 000 000: 1000 000 单位 的 流量 流 经 路 径 s->u->t， 另 外 1000 000 单位 的 流量 流 经 路 径 svt, 
如 果 FORD-FULKERSON 算法 找到 的 第 一 条 增 广 路 径 为 s>u>v>t, WE 26-7(a) 所 示 ， 则 在 第 
一 次 迭代 后 ， 流 的 值 为 1。 这样 产生 的 残存 网 络 如 图 26-7(b) 所 示 ， 然 后 流 的 值 将 为 2， 
图 26-7(c) 描 述 的 是 结果 残存 网 络 。 在 每 个 奇数 次 迭代 中 ， 选 择 增 广 路 径 ssu, ERME 
数 次 迭代 中 ， 选 择 增 广 路 径 ;一 uv->u->:， 并 如 此 继续 下 去 。 这 样 将 一 共 执 行 2 000 000 次 递增 操 
作 ， 每 次 将 流量 增加 1 个 单位 。 





(a) (b) (c) 


图 26-7 (a) 一 个 流 网 络 ，FORD-FULKERSON 算法 运行 的 时 间 为 OCE|f* |), HH 广 是 一 个 最 大 流 . 
在 本 图 中 | f* | =2 000 000。 覆 盖 阴 影 的 路 径 是 增 广 路 径 ， 其 残存 容量 为 1。(b) 结 果 残 存 网 络 ， 
增 广 路 径 不 同 于 (a) 部 分 的 增 广 路 径 ， 但 容量 仍然 为 1。(c) 结 果 残 存 网 络 


Edmonds-Karp 算法 

我 们 可 以 通过 在 算法 第 3 行 寻 找 增 广 路 径 的 操作 中 使 用 广度 优先 搜索 来 改善 FORD- 
FULKERSON 算法 的 效率 。 也 就 是 说 ， 我 们 在 残存 网 络 中 选择 的 增 广 路 径 是 一 条 从 源 结 点 s 到 
汇 点 t 的 最 短路 径 ， 其 中 每 条 边 的 权重 为 单位 距离 。 我 们 称 如 此 实现 的 Ford-Fulkerson 方法 为 
Edmonds-Karp 算法 。 现 在 来 证 明 Edmonds-Karp 算法 的 运行 时 间 为 OCVE’). 

我 们 的 分 析 取 决 于 残存 网 络 Cr 中 结 点 之 间 的 距离 。 下 面 的 引 理 使 用 符号 lu, VRENJA 
存 网 络 Gj PMA Ru 到 结 点 wv 的 最 短路 径 距 离 ， 其 中 每 条 边 的 权重 为 单位 距离 。 

引 理 26.7 如果 Edmonds-Karp 算法 运行 在 流 网 络 G 二 (V，E) 上 ， 该 网 络 的 源 结 点 为 $s 汇 点 
At, UHTHAHAS vEV—{s, th, REMBG, 中 的 最 短路 径 距 离 6,(s，) 随 着 每 次 流量 的 
递增 而 单调 递增 。 

证 明 我 们 的 证 明 思 路 是 ， 对 于 某 个 结 点 v€EV 一 {s，zt}， 存 在 一 个 流量 递增 操作 ， 导 致 从 源 
结 点 s 到 结 点 v 的 最 短路 径 距 离 减少 ， 然 后 以 此 来 导出 一 个 矛盾 。 设 f 是 在 第 一 个 导致 某 条 最 短路 
径 距 离 减 少 的 流量 递增 操作 之 前 的 流量 , 设 f 为 该 流量 递增 操作 之 后 的 流量 。 设 "为 所 有 在 递增 
操作 中 最 短路 径 距 离 被 减少 的 结 点 中 ，6y.《(s， 劝 最 小 的 结 点 ， 因 此 ，6y Gs, DKE ls, ue R pF 
suv ARAMA Gy 中 从 源 结 点 s 到 结 点 v 的 一 条 最 短路 径 ， 因 此 ，(u，w)EEn， 并且 


Ôp (ssu) = Or(s,v)—1 (26. 12) 
因为 无 论 怎样 选择 结 点 v， 我 们 知道 从 源 结 点 s 到 结 点 的 距离 并 没有 减少 ， 即 
Ôp (ssu) = 6s,u) (26. 13) 


RIAC, VEE, HAR? MRAM, VEE, WA 
ÔsCs u) Klu) +1 (根据 引 理 24. 10 的 三 角 不 等 式 ) 
过 6r《s,w) 十 1] (根据 不 等 式 (26. 13)) 
= 6/'(s,v) (根据 等 式 (26. 12)) 
而 上 述 结果 与 我 们 的 假设 6j.(s，) 二 6y(s， 马 相 矛 盾 。 
WA RBA Cu, v) EE; Hlu, VEE? 递增 操作 必定 增加 从 结 点 v 到 结 点 的 流量 。 
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Edmonds-Karp 算法 总 是 沿 最 短路 径 来 增加 流 ， 因 此 ， 残 存 网 络 Cr 中 从 源 结 点 s 到 结 点 的 最 短 
路 径 上 的 最 后 一 条 边 是 (vw，w)。 因 此 ， 
ôs C(s u) = ô (ssu) — 1 
<p (ssu) —1 (根据 不 等 式 (26. 13)) 
= 6y.(s,v) 一 2 (根据 等 式 (26. 12)) 
这 与 我 们 的 假设 6n(s， 臣 二 6/(s，v) 相 了 矛盾。 因此 可 以 得 出 结论 ， 我 们 关于 存在 这 样 一 个 结 点 v 
的 假设 是 不 正确 的 。 图 

下 面 的 定理 给 出 了 Edmonds-Karp 算法 的 迭代 次 数 的 上 界 。 

定理 26.8 如 果 Edmonds-Karp 算法 运行 在 源 结 点 为 s 汇 点 为 1 的 流 网 络 G 二 (V，E) 上 ， 则 
该 算法 所 执行 的 流量 递增 操作 的 总 次 数 为 OCE). 

证 明 ERR MAG, 中 ， 如 果 一 条 路 径 p 的 残存 容量 是 该 条 路 径 上 边 (u，wv) 的 残存 容量 ， 
RE, WME cp) =c u, vd, WERA CU, OA BRE p 上 的 关键 边 。 在 沿 一 条 增 广 路 径 
增加 流 后 ， 处 于 该 条 路 径 上 的 所 有 关键 边 都 将 从 残存 网 络 中 消失 。 而 且 ， 任 何 一 条 增 广 路 径 上 都 
至 少 存在 一 条 关键 边 。 我 们 将 证 明 ， 对 于 |E| 中 的 每 条 边 来 说 ， 其 成 为 关键 边 的 次 数 最 多 为 
IvV1/2 次 。 

Humo 为 集合 V 中 的 结 点 ， 这 两 个 结 点 由 中 的 一 条 边 连接 在 一 起 。 由 于 增 广 路 径 都 是 
最 短路 径 ， 当 边 (u，v) 第 一 次 成 为 关键 边 时 ， 我 们 有 

ôs (ssu) = ò Csu) +1 
一 旦 对 流 进行 增加 后 ， 边 (u，wv) 就 从 残存 网 络 中 消失 。 以 后 ， 也 不 能 重新 出 现在 男 一 条 增 广 路 径 
bk, KAM u dv 的 网 络 流 减 小 后 为 止 ， 并 且 只 有 当 (w“， 妇 出 现在 增 广 路 径 上 时 ， 这 种 情况 才 会 
发 生 。 如 果 当 这 一 事件 发 生 时 广 是 G 的 流 ， 则 有 

Op (ssu) = Op (ssu) +1 
由 于 根据 引 理 26.7, dCs, Vr Cs, v), ALLA 

p Csu) = p Csu) $126,550) +1 = 6 (5,u) +2 

因此 ， 从 边 (“， 了 成 为 关键 边 到 下 一 次 再 成 为 关键 边 ， 从 源 绪 点 s 到 结 点 的 距离 至 少 增加 2 个 
单位 ， 而 从 源 结 点 s 到 结 点 的 最 初 距离 至 少 为 0， 从 ; 到 的 最 短路 径 上 的 中 间 结 点 中 不 可 能 
包括 结 点 *、 或者:( 因 为 边 (u，wv) 处 于 一 条 增 广 路 径 上 意味 着 At). Ai, -ESAS u 成 为 
不 可 到 达 的 结 点 前 ， 其 距离 最 多 为 |V| 一 2。 因 此 ， 在 边 (u，) 第 一 次 成 为 关键 边 时 ， 它 还 可 以 
至 多 再 成 为 关键 边 (|V| 一 2)/2==|V|/2 一 1 次 ， 即 边 (u，w) 成 为 关键 边 的 总 次 数 为 |V|/2。 由 于 
一 共有 OCE) 对 结 点 可 以 在 一 个 残存 网 络 中 有 边 连接 彼此 ， 因 此 在 Edmonds-Karp 算法 执行 的 全 
部 过 程 中 ， 关 键 边 的 总 数 为 OC(VE)。 每 条 增 广 路 径 至 少 有 一 条 关键 边 ， 因 此 定理 成 立 。 E 

由 于 在 用 广度 优先 搜索 寻找 增 广 路 径 时 ，FORD-FULKERSON 中 的 每 次 迭代 可 以 在 OCE) BY 
间 内 实现 ， 所 以 Edmonds-Karp 算法 的 总 运行 时 间 为 OC(VE* ) 。 我 们 在 后 面 将 看 到 ， 推 送 - 重 贴 标 
签 算法 能 够 取得 更 好 的 界 。26.4 节 给 出 了 一 个 时 间 复 杂 度 为 O(W 五 ) 的 最 大 流 算 法 ， 该 算法 是 
26.5 节 所 讨论 的 OV ) 算 法 的 基础 。 


练习 


26.2-1 证 明 式 (26. 6) 中 的 和 值 等 于 式 (26.7) 中 的 和 值 。 

26. 2-2 在 图 26-1(b) 中 ， 横 跨 切割 (1{s， Uz9 U } 9 {vy 9 U39 t) ) 的 流 是 多 少 ? 该 切割 的 容量 又 是 
多 少 ? 

26.2-3 在 图 26-1(a) 所 示 的 流 网 络 上 演示 Edmonds-Karp 算法 的 执行 过 程 。 

26.2-4 在 图 26-6 的 例子 中 ， 对 应 图 中 所 示 最 大 流 的 最 小 切割 是 什么 ? 在 例子 中 出 现 的 增 广 路 
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径 里 ， 哪 一 条 路 径 抵消 了 先前 被 传输 的 流 ? 

26.2-5 在 26.1 市 中 ,我们 通过 增加 具有 无 限 容量 的 边 ， 把 一 个 多 源 结 点 多 汇 点 的 流 网 络 转换 
为 单 源 结 点 单 汇 点 的 流 网 络 。 证 明 : 如 果 原 来 的 多 源 结 点 多 汇 点 网 络 的 容量 是 有 限 的 ， 
则 转换 后 的 结果 网 络 中 任何 一 个 流 的 值 都 是 有 限 值 。 

26.2-6 假定 在 一 个 多 源 结 点 多 汇 点 的 流 网 络 中 ， 每 个 源 结 点 s; 生产 出 恰好 zp; 个 单位 的 流 ， 因 
此 ， Dy fs =p. BERDEA i 消费 恰好 gj 个 单位 的 流 ， 因 此 dy fw ti) = 


qj» 其 中 2 pi= 2 9j 。 说 明 如 何 把 寻找 一 个 满足 这 些 额 外 条 件 的 流 7 的 问题 ， 转换 


为 在 一 个 单 源 结 点 单 汇 点 的 流 网 络 中 寻找 最 大 流 的 问题 。 

26.2-7 证 明 引 理 26. 2。 

26.2-8 假定 我 们 对 残存 网 络 进行 重新 定义 ， 禁止 一 切 进 入 源 结 点 s 的 边 。 证 明 :， FORD 
FULKERSON 算法 仍然 能 够 正确 计算 出 最 大 流 。 

26.2-9 BESMI REANA G 中 的 流 ， 计 算 流 让 广 。 加 增 后 的 流 满 足 流 量 守恒 性 质 吗 ? 满 
足 容 量 限制 吗 ? 

26.2-10 说 明 在 流 网 络 G= 二 (V，E) 中 ， 如 何 使 用 一 个 最 多 包含 | 五 | 条 增 广 路 径 的 序列 来 找到 一 
SRA. GF: 找到 最 大 流 后 再 确定 路 径 。) 

26.2-11 无 向 图 的 边 连通 性 是 指使 图 变 为 非 连通 图 所 需要 删除 的 最 少 边 数 &。 例 如 ， 树 的 边 连 
通 性 为 1， 所 有 结 点 形成 的 环 h 路 的 边 连通 性 为 2。 请 说 明 如 何在 最 多 |V | 个 流 网 络 上 运 
行 最 大 流 算法 来 确定 无 向 图 G= 王 (V， 匹 ) 的 边 连 通 性 ， 这 里 的 每 个 流 网 络 的 结 点 数 为 
OCV)， 边 的 条 数 为 O(E)。 

26.2-12 给 定 一 个 流 网 络 G，G 中 包含 进入 源 结 点 :的 边 。 设 f 为 网 络 G 中 的 一 个 流 ， 在 该 流 
中 ， 其 中 一 条 进入 源 结 点 的 边 (vw，s) 有 f(v，s) 二 1。 证 明 : 图 G 中 必 存 在 另 一 个 流 f 、 
满足 f"(v，s) 二 0， 使 得 | f| = 二 | 了 1。 给 出 一 个 OCE) 时 间 复 杂 度 的 算法 来 在 给 定 流 f 
的 情况 下 计算 f ， 这 里 假定 所 有 边 的 容量 都 是 整数 值 。 

26.2-13 假定 我 们 希望 找到 一 个 流 网 络 G 的 所 有 最 小 切割 中 包含 边 的 条 数 最 少 的 切割 ， 这 里 假 
定 G 的 所 有 容量 都 是 整数 值 。 说 明 如 何 修改 G 的 容量 来 创建 一 个 新 的 流 网 络 G ， 使 得 
G 中 的 任意 一 个 最 小 切割 是 G 中 包含 边 的 条 数 最 少 的 最 小 切割 。 


26.3 ”最 大 二 分 匹配 

一 些 组 合 问题 可 以 很 容易 地 表述 为 最 大 流 问 题 。26. 1 节 所 讨论 的 多 源 结 点 多 汇 点 最 大 流 问 
题 就 是 一 个 例子 。 其 他 一 些 组 合 问题 在 表面 上 看 似乎 与 流 网 络 没有 多 少 关 系 ， 但 实际 上 却 能 够 
归 约 到 最 大 流 问 题 。 本 节 就 来 讨论 这 样 的 一 个 问题 : 在 一 个 二 分 图 中 找 出 一 个 最 大 匹配 。 为 了 解 
决 这 个 问题 ， 我 们 将 用 到 由 Ford-Fulkerson 方法 所 提供 的 完整 性 性 质 (integrality property) 。 我 们 
将 看 到 如 何 使 用 Ford-Fulkerson 方法 在 OCVE) 时 间 内 来 解决 图 G 二 (V，E) 的 最 大 二 分 匹配 问题 。 

最 大 二 分 匹配 问题 

给 定 一 个 无 向 图 G 二 (V，E)， 一 个 匹配 是 边 的 一 个 子 集 MCE， 使 得 对 于 所 有 结 点 vE V， 
子 集 M 中 最 多 有 一 条 边 与 结 点 v 相连 。 如 果子 集 M 中 的 某 条 边 与 结 点 v 相连 ， 则 称 结 点 vz 由 M 
PLE; 否则， 绪 点 v 就 是 没有 匹配 的 。 最 大 匹配 是 最 大 基数 的 匹配 ， 也 就 是 说 ， 对 于 任意 匹配 
M', 有 |M| 宇 |M'| 的 匹配 M。 在 本 节 的 讨论 中 ， 我 们 将 注意 力 集中 在 寻找 二 分 图 的 最 大 匹配 
bk. 在 一 个 二 分 图 中 ， 结 点 集合 可 以 划分 为 V= 二 LUR， 其 中 LL 和 R 是 不 相交 的 ， 并 且 边 集合 E 
中 所 有 的 边 都 横 跨 L 和 R。 进 一 步 假 定 结 点 集合 V 中 的 每 个 结 点 至 少 有 一 条 边 。 图 26-8 描述 的 
是 二 分 图 中 匹配 的 概念 。 
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(a) (b) (c) 


图 26-8 一 个 二 分 图 G 二 (V，E)， 结 点 集 划 分 为 V 二 LUR。(a) 基 数 为 2 的 匹配 ， 由 履 次 阴影 
的 边 所 表示 。(b) 基 数 为 3 的 最 大 匹配 。(c) 对 应 的 流 网 络 G'， 图 中 显示 的 是 最 大 流 。 
每 条 边 的 容量 为 单位 容量 。 和 覆盖 阴影 的 边 的 流量 为 1， 其 他 所 有 的 边 没 有 流量 。 从 子 
集 工 指向 子 集 R 的 覆盖 阴影 的 边 对 应 的 是 图 (b) 中 最 大 匹配 所 用 到 的 边 


在 二 分 图 中 寻找 最 大 匹配 问题 有 着 许多 的 实际 应 用 。 例 如 ， 把 一 个 机 胡 集 合 L 和 要 同时 执 
行 的 任务 集合 R 相 匹 配 。E 中 有 边 (w，v) 就 说 明 一 台 特 定 的 机 器 uC L 能 够 完成 一 项 特定 的 任务 
vER。 最 大 匹配 能 够 让 尽 可 能 多 的 机 器 运行 起 来 。 

寻找 最 大 二 分 匹配 

使 用 Ford-Fulkerson 方法 可 以 在 关于 |V| 和 |E| 的 多 项 式 时 间 内 ， 找 出 无 向 二 分 图 
G 二 (V，E) 的 最 大 匹配 。 解 决 这 一 问题 的 关键 技巧 是 构建 一 个 流 网 络 ， 其 中 的 流 对 应 于 匹配 ， 
如 图 26-8(Cc) 所 示 。 我 们 将 二 分 图 G 所 对 应 的 流 网 络 G'= 二 (V'，E') 定 义 如 下 设 源 结 点 s 和 汇 点 
t 为 不 属于 结 点 集 V 的 新 结 点 ， 并 设 V'= 二 VU {s，t}。 如 果 图 G 的 结 点 集 划 分 为 V=LUR， 则 EE 
中 从 工 指向 R 的 边 都 是 流 网 络 G 的 边 。 此 外 ，G 中 的 边 还 包括 如 下 的 |V| 条 新 有 向 边 : 

E' = {(s,u):u E€ L?) U {(u,v): (u,v) E E) U {(v,t):v E R} 
要 完成 流 网 络 的 构建 ， 需 要 给 E 中 的 每 条 边 赋予 单位 容量 。 由 于 结 点 集 立 中 的 每 个 结 点 至 少 有 一 
条 相连 的 边 ，|E| 宇 |V|/2。 因 此 , |EI<|E'| =|EI+|VI<3/El, BU E'|=OCch. 

下 面 的 引 理 证 明了 图 G 中 的 一 个 匹配 直接 对 应 G 所 对 应 的 流 网 络 G 中 的 一 个 流 。 对 于 流 网 
络 G= 二 (V，E) 中 的 一 个 流 f 来 说 ， 如 果 对 于 所 有 的 边 (u，v) EVXV，f(u，wv) 都 是 整数 值 ， 则 
称 流 f 是 整数 值 的。 

引 理 26.9 设 G=(V， 甩 为 一 个 二 分 图 ， 其 结 点 划分 为 V 二 LUR, 设 G = 二 (V', EE ) 是 图 G 所 
对 应 的 流 网 络 。 如 果 M 是 G 中 的 一 个 匹配 ， 则 流 网 络 G' 中 存在 一 个 整数 值 的 流 f， 使 得 | f| = 
1M| 。 相 反 ， 如 果 f 是 G' 中 的 一 个 整数 值 的 流 ， 则 G 中 存在 一 个 匹配 M, 44| M| =|fl. 

证 明 首先 证 明 图 G 中 的 一 个 匹配 M 对 应 流 网 络 G 中 一 个 整数 值 的 流 fo ELM f 如 下 : 
如 果 边 (xz，zEM， 则 fls, ww) 二 fl(u，wv)= 二 fl(v，t) 二 1]。 对 于 所 有 其 他 属于 EE' 的 边 (w，v)， 定 N 
X fu, V=0, RAT IRAAKI ELR 了 满足 容量 限制 和 流量 守恒 性 质 。 

从 直观 上 看 ， 每 条 边 (u，v) EM 对 应 流 网 络 G PRAK suvut 的 一 个 单位 的 流 。 而 
且 ， 除 了 源 结 点 s 和 汇 点 上 之 外 ， 由 子 集 M 中 的 边 所 诱导 的 路 径 都 是 结 点 不 相交 的 ? 。 横 跨 切 割 
(LU {s}，RU {z}) 的 净 流 量 等 于 |M| 。 因 此 ,根据 引 理 26.4， 流 8 的 值 为 | 站 王 | M| 。 

要 证 明 反 向 的 论断 ， 设 f 为 G' 中 的 一 个 整数 值 的 流 ， 并 设 


O 除 s 和 :之 外 ， 两 条 不 同 的 路 径 中 不 存在 相同 的 结 点 。 一 一 译 者 注 
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M = {((u,v):u EL,vE R, FH fl(u,v) > 0} 

每 个 结 点 EL 只 有 一 条 进入 的 边 ， 即 (*，z) ， 其 容量 为 1。 因 此， 每 个 结 点 UCLEZA 1] 个 单 
位 的 流 进入 ， 而 如 果 有 1 个 单位 的 流 进 入 ， 根 据 流 量 守恒 性 质 ， 离 开 该 结 点 的 流 也 必须 有 1 个 单 
位 。 此 外 ， 由 于 f 是 整数 值 的 流 ， 对 于 每 个 结 点 vxE 工 ， 流 和 人 的 这 1 个 单位 的 流 只 能 最 多 从 一 条 
边 进 入 ， 也 只 能 最 多 从 一 条 边 流出 。 因 此 ，1 个 单位 的 流 进入 结 点 w 当 且 仅 当 恰好 存在 一 个 结 点 
vER， 使 得 f(u，wv)= 二 1， 并 且 在 离开 每 个 结 点 uwEL 的 边 中 至 多 有 一 条 出 边 带 有 正 值 的 流 。 对 每 
个 结 点 VER 也 有 一 个 对 称 的 结论 。 因 此 ， 集 合 M 是 一 个 匹配 。 

要 证 明 | M| = | f| ， 只 要 注意 到 对 于 每 个 匹配 的 结 点 KE 工 ， 有 f(s，w) 二 1， 并 且 对 于 每 条 
边 (u，v) EE 一 M， 有 flu, v)=0. Ah, Be OAI(LU{s}, RU 42})) 的 净 流 量 (LU {s}, RU {2} 
等 于 | M| 。 因 此 ， 根 据 引 理 26. 4， 流 的 值 为 | fl =| MI. m 

基于 引 理 26.9， 我 们 希望 得 出 结论 ， 二 分 图 G 中 的 一 个 最 大 匹配 对 应 于 流 网 络 C 中 的 一 个 
最 大 流 ， 并 且 ， 因 此 可 以 通过 在 对 应 流 网 络 G 上 运行 一 个 最 大 流 算法 来 计算 图 G 中 的 最 大 匹配 。 
这 一 推理 过 程 中 存在 的 唯一 障碍 是 最 大 流 算法 可 能 返回 流 网 络 G 中 一 个 非 整 数 的 流 f(u，v)， 即 
使 流 的 值 | /本身 必 须 是 整数 。 不 过 ， 下 面 的 定理 将 说 明 ， 如 果 使 用 Ford-Fulkerson 方法 ， 则 这 
个 问题 不 会 发 生 。 

定理 26. 10( 完 整 性 定理 ) ”如 果 容 量 函 数 c 只 能 取 整 数值 ， 则 Ford-Fulkerson 方法 所 生成 的 
最 大 流 满足 | 了 | 是 整数 值 的 性 质 。 而且， 对 于 所 有 的 结 点 和 vw，f(u，v) 的 值 都 是 整数 。 


证 明 通过 对 迭代 次 数 进行 归纳 来 进行 证 明 ， 具 体 证 明 留 作 练 习 26. 3-2。 i 
下 面 来 证 明 引 理 26.9 的 一 个 推论 。 
推论 26. 11 二 分 图 G 中 的 一 个 最 大 匹配 M 的 基数 等 于 其 对 应 的 流 网 络 G 中 某 一 最 大 流 的 值 。 


证 明 下 面 的 证 明 使 用 引 理 26. 9 中 的 术语 。 假 定 M 是 图 G 中 的 一 个 最 大 匹配 ， 且 其 相应 的 
流 网 络 G' 中 的 流 f 不 是 最 大 流 。 那 么 G' 中 存在 一 个 最 大 流 S. 满足 | | 二 |f|。 由 于 G 的 容量 
都 是 整数 值 ， 因 此 ， 根 据 定理 26. 10， 可 以 假设 广 是 整数 值 。 因 此 ，j 广 对 应 G 中 的 一 个 匹配 M ， 
且 其 基数 为 | M |=| | 二 |f|==|M|, 这 与 M 是 最 大 匹配 这 一 假设 相 矛 盾 。 用 类 似 的 方法 
可 以 证 明 : 如 果 f 是 G 中 的 一 个 最 大 流 ， 则 其 对 应 的 匹配 是 G 的 一 个 最 大 匹配 。 E 

因此 ， 给 定 一 个 二 分 无 向 图 G， 可 以 通过 创建 流 网 络 G ， 在 其 上 运行 Ford-Fulkerson 方法 来 
找到 一 个 最 大 匹配 。 这 个 最 大 匹配 M 可 以 直接 从 找到 的 整数 最 大 流 f 获得 。 由 于 二 分 图 中 的 任 
何 匹 配 的 基数 的 最 大 值 为 min( 工 ,RN)=OCV)，G ' 中 的 最 大 流 的 值 为 O(V)。 因 此 ， 可 以 在 
OC(VE ')= 二 OCVE) 时 间 内 找到 一 个 二 分 图 的 最 大 匹配 ， 因 为 |E' | 二 8@(E)。 


练习 


26.3-1 在 图 26-8(c) 上 运行 Ford-Fulkerson 算法 ， 给 出 每 次 流量 递增 后 的 残存 网 络 。 将 集合 L 
中 的 结 点 从 上 至 下 编号 1~5， 集 合 R 中 的 结 点 从 上 至 下 编号 6~9。 对 于 每 次 迭代 ， 选 
择 字典 次 序 最 小 的 增 广 路 径 。 

26.3-2 证 明和 定理 26. 10, 

26.3-3 设 G=(V，E) 是 一 个 二 分 图 ， 其 结 点 划分 为 V 二 LUR, RG=V', E ARM MN 
网 络 。 在 FORD-FULKERSON 执行 过 程 中 ， 对 在 G 中 找 出 的 任意 增 广 路 径 的 长 度 给 出 
一 个 适当 的 上 界 。 

*26.3-4 ”完全 匹配 是 指 图 中 所 有 结 点 都 得 到 匹配 的 匹配 。 设 G 二 (V，E) 是 结 点 划分 为 V= 二 LUR 
的 无 向 二 分 图 ， 其 中 并 | = |R| 。 对 于 任意 XCSV， 定 义 XX 的 邻居 为 : 
N(X) = (y E V:A x E X, (zy) € E} 

即 由 与 X 的 某 元素 相 邻 的 结 点 所 构成 的 集合 。 请 证 明 Hal CH: 图 G 中 存在 一 个 完全 
匹配 当 且 仅 当 对 于 每 个 子 集 ASL， 有 |4| 科 | NGCA) | 。 
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*26.3-5 ”对 于 一 个 结 点 划分 为 V 一 工 UR 的 二 分 图 G 二 (V，E) 来 说 ， 如 果 每 个 属于 结 点 集合 V 的 
结 点 vw 的 度数 正好 是 4， 则 称 该 二 分 图 为 d 正则 的 。 对 于 每 个 & 正则 的 二 分 图 ， 都 有 
|L|=|R|. WH: 每 个 4 正则 二 分 图 的 匹配 基数 都 是 |L|。( 提 示 : 证 明 对 应 的 流 网 
络 的 一 个 最 小 切割 的 容量 为 |L| 。) 


“26. 4 推送 - 重 贴标签 算法 

在 本 节 ， 我 们 讨论 用 来 计算 最 大 流 的 “推送 - 重 贴标签 ?方法 。 到 目前 为 止 ， 许 多 渐 近 效率 很 
高 的 最 大 流 算 法 都 是 推送 - 重 贴标签 算法 ， 最 大 流 算法 的 最 快 实现 也 是 基于 推送 - 重 贴标签 方法 。 
推送 - 重 贴标签 方法 还 能 有 效 地 解决 其 他 流 问 题 ， 如 最 小 成 本 流 问 题 。 在 本 节 的 讨论 中 ， 我 们 将 
引入 Goldberg 的 “通用 ”最 大 流 算法 ， 该 算法 有 一 个 非常 简单 的 实现 ， 其 运行 时 间 为 OC(V?E)， 这 
个 时 间 是 对 Edmonds-Karp 算法 的 OCVE? ) 时 间 的 一 种 改进 。26. 5 市 将 对 通用 算法 进行 调 优 ， 从 
而 获得 另 一 个 运行 时 间 为 OCVi ) 的 推送 - 重 贴标签 算法 。 

推送 - 重 贴 标签 算法 比 Ford-Fulkerson 方法 的 局 域 性 更 强 。 它 不 是 对 整个 残存 网 络 进 行 检查 ， 然 
后 选择 一 条 增 广 路 径 ， 而 是 一 个 结 点 一 个 结 点 地 进行 查看 ， 每 一 步 只 检查 当前 结 点 的 邻 结 点 。 而 且 ， 
与 Ford-Fulkerson 方法 不 同 ， 推 送 - 重 贴标签 算法 并 不 在 整个 执行 过 程 中 保持 流量 守恒 性 质 。 不 过 ， 在 
执行 过 程 中 ， 推 送 - 重 贴标签 算法 却 维持 一 个 预 流 (preflow) ， 该 预 流 是 一 个 7XV->R 的 函数 f， 该 函 
数 满 足 容 量 限 制 性 质 和 下 面 弱 化 了 的 流量 守恒 性 质 : 对 于 所 有 的 结 点 wEV 一 5s}， 

Df Cor) — 21 f (us) = 0 
即 进入 一 个 结 点 的 流 可 以 超过 流出 该 结 点 的 流 。 我 们 称 下 面 的 量 
e(u) = >; fluv,u) 一 >, fluv) (26. 14) 


为 进入 结 点 u 的 超额 流 (excess flow) 。 一 个 结 点 的 超额 流 是 进入 该 结 点 的 流 超过 流出 该 结 点 的 流 
的 部 分 。 如 果 对 于 结 点 uecV—{s, t}, A eu>, WS u HAY (overflowing). 

我 们 将 先 描述 推送 - 重 贴 标签 方法 后 面 的 直觉 思想 。 然 后 再 讨论 该 方法 所 使 用 的 两 个 操作 : 
“推送 ” 预 流 和 对 结 点 进行 “ 重 贴标签 ”。 最 后 ， 我 们 将 给 出 一 个 一 般 的 推送 - 重 贴标签 算法 并 分 析 
其 正确 性 和 运行 时 间 。 

直观 思想 

我 们 可 以 通过 观察 液体 流动 的 过 程 来 理解 推送 - 重 贴标签 方法 所 包含 的 直观 思想 : 考虑 一 个 流 网 
络 G 二 (V， 殊 ， 我 们 可 以 将 其 看 做 是 一 个 具有 给 定 容量 的 、 由 相互 连通 的 管道 所 构成 的 系统 。 如 果 将 
这 个 比喻 应 用 到 Ford-Fulkerson 方法 上 ， 可 以 说 网 络 中 的 每 条 增 广 路 径 均 引发 出 一 条 无 分 支点 、 从 源 
结 点 流 回 汇 点 的 额外 液体 流 。 

Ford-Fulkerson 方法 以 欠 代 的 方式 加 入 更 多 的 流 ， 直 到 不 能 再 加 入 时 为 止 。 

从 直观 上 来 看 ， 一 般 的 推送 - 重 贴标签 算法 的 思想 在 某 种 程度 上 来 说 有 所 不 同 。 跟 以 前 一 样 ， 
有 向 边 代 表 管 道 。 但 作为 管道 连通 点 的 结 点 有 两 个 有 趣 的 性 质 。 首 先 ， 为 了 容纳 额外 的 流 ， 每 个 
结 点 有 一 个 往外 流 的 管道 ， 通 回 一 个 任意 大 的 可 以 累积 这 些 液体 的 水 库 。 其 次 ， 每 个 结 点 、 其 水 
库 及 其 所 有 的 管道 连接 点 位 于 同一 个 平台 上 ， 该 平台 的 高 度 随 着 算法 的 推进 而 增加 。 

结 点 的 高 度 决定 了 流 的 推送 方向 : 我 们 只 从 高 处 往 低 处 推送 流 ， 也 就 是 说 ， 流 只 能 从 一 个 高 
度 较 高 的 结 点 向 高 度 较 低 的 结 点 推送 。 虽 然 从 低 结 点 到 高 结 点 的 流 可 能 是 正 的 ， 但 推送 流 的 操 
作 只 向 低 处 推送 。 我 们 将 源 结 点 的 高 度 固定 在 |V|， 而 汇 点 的 高 度 固定 在 0。 所 有 其 他 结 点 的 高 
度 在 初始 时 也 都 是 0, 但 将 随 着 时 间 的 推移 不 断 增加 。 该 算法 首先 从 源 结 点 往 下 发 送 尽 可 能 多 的 
流 到 汇 点 。 其 发 送 的 量 为 源 结 点 所 发 出 的 所 有 管道 的 容量 之 和 ; 也 就 是 说 ， 它 发 送 的 容量 为 切割 
(s，V 一 4s)) 的 容量 。 当 流 进入 一 个 中 间 结 点 时 ， 它 们 被 收集 在 该 结 点 的 水 库 中 。 从 这 里 ， 我 们 
最 终 将 把 它们 向 下 面 的 结 点 推送 。 
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我 们 可 能 发 现 ， 离 开 结 点 的 唯一 没有 充满 流 的 管道 通 向 的 是 一 个 与 结 点 w 处 于 同一 个 高 度 
的 结 点 或 者 比 结 点 4 更 高 的 结 点 。 在 这 种 情况 下 ， 要 消除 溢出 结 点 x 的 超额 流量 ， 必 须 增 加 该 结 
点 的 高 度 ， 这 就 是 所 谓 的 “ 重 贴 标签 ” 结 点 的 操作 。 我 们 将 结 点 的 高 度 增加 到 比 其 最 低 的 邻 结 
点 的 高 度 多 1 个 单位 的 高 度 ， 这 里 要 求 结 点 u 到 该 邻 结 点 的 管道 必须 未 被 充满 。 因 此 ， 在 一 个 结 
点 被 重 贴标签 后 ， 它 将 至 少 有 一 个 流出 管道 ， 并 且 可 以 通过 它 推送 更 多 的 流 。 

最 终 ， 所 有 可 能 到 达 汇 点 的 流 都 已 经 到 达 汇 点 。 因 为 所 有 管道 都 遵守 容量 限制 性 质 ， 不 能 接 
受 更 多 的 流 了 。 横 跨 任何 切割 的 流量 仍然 由 切割 的 容量 所 限制 。 为 了 让 预 流 成 为 一 个 “合法 ”的 
流 ， 本 算法 通过 继续 对 结 点 进行 重 贴 标签 操作 ， 使 其 高 度 高 于 源 结 点 的 高 度 |V| ， 把 收集 在 溢出 
结 点 的 水 库 中 的 超额 流量 发 送 回 源 结 点 ， 正 如 我 们 将 看 到 的 ， 一旦 所 有 的 水 库 都 为 空 ， 预 流 则 不 
但 是 “合法 ”的 流 ， 而 且 还 是 一 个 最 大 流 。 

基本 操作 

根据 前 面 的 讨论 ， 我 们 看 到 推送 - 重 贴标签 算法 执行 的 基本 操作 有 两 个 ， 从 一 个 结 点 将 超额 
的 流 推送 到 一 个 邻 结 点 ; 对 一 个 结 点 进行 重 贴标签 操作 (改变 该 结 点 的 高 度 )。 这 些 操作 适用 的 场 
景 依赖 于 结 点 的 高 度 ， 下 面 我 们 就 来 给 出 结 点 高 度 的 准确 定义 。 

设 G=(V， 台 ) 是 一 个 源 结 点 为 s 汇 点 为 t 的 流 网 络 ， 设 f 为 G 的 一 个 预 流 。 如 果 函 数 h: 
V 一 N 满 足 h(s)= 二 |V|，h(z) 二 0， 并 且 对 于 所 有 的 边 (u，v) EE:， 有 hhCw) 二 hl(v) 十 1， 则 是 一 
个 高 度 函 数 ? 。 

根据 上 面 的 定义 ， 我 们 立即 获得 下 面 的 引 理 。 

引 理 26.12 设 G 一 (V， 巨 ) 为 一 个 流 网 络 ， 设 为 G 的 预 流 ， 设 亚 为 V 上 的 高 度 函 数 。 对 
FEB ARH Bu, veV, wRACWSAWY+1, Niu, DRERGMSKPH-Hi, 

推送 操作 

WRA ue. cpu, V>, HA AC—=ACv)+1, WARE PUSH(u, v) 
WATER u Mov., PRN ARIS AT KES ET Mu, eR ROMA EST. 
该 伪 代 码 假设 可 以 在 给 定 c 和 上 的 情况 下 ， 在 常数 时 间 内 计算 出 残存 容量 clu, v, RIKANI 
在 结 点 w 上 的 超额 流 保存 在 属性 u.e 上 ， 将 的 高 度 保存 在 属性 u.h 中 。 表 达 式 Alu, 是 一 个 
临时 变量 ， 用 来 存放 可 以 从 结 点 推送 到 结 点 wv 的 流 。 


PUSH (u,v) 
// Applies when; u is overflowing,c;(u,v)>>0,and u. h=v. h+1. 
// Action; PushA; (u,v) =min(u. e,c;(u,v)) units of flow from u to v. 
Ay(u,v)=min(u. es,cs (u,v)) 
if(w,v)EE 
(u,v). f= (u,v). ftAsClu, v) 
else(v,u). f=(v,u). f—Ay(usv) 


u.e=u. e— Ar (u,v) 


on QO oO A WH N e 


v. e=v. et Arlu, v) 


PUSH 代码 的 工作 原理 如 下 。 因 为 结 点 w 有 一 个 正 的 超额 流 u.e， 且 边 (u，wv) 的 残存 容量 也 是 正 
值 ， 所 以 可 以 增加 从 结 点 流 问 结 点 v 的 流 ， 增 加 的 幅度 为 Ar(x， 切 三 min(x e, celu, v)), X 
种 幅度 的 流 增加 不 会 导致 u e 成 为 负 值 或 者 容量 clu, ORR. RES 3 行 计算 的 是 值 Alu, v), 
第 4~6 行 负责 对 流 f 进行 更 新 。 算 法 第 5 行 增加 边 (u，v) 上 的 流 ， 因 为 我 们 在 将 流 推 向 一 条 也 是 
原始 边 的 残存 边 。 第 6 行将 边 ("，z 上 的 流量 进行 缩减 ， 因 为 该 残存 边 实际 上 是 原始 网 络 中 一 条 


昌 ”在 文献 中 ， 高 度 函数 也 通常 称 为 “距离 聘 数 ”， 一 个 结 点 的 高 度 也 称 为 “距离 标签 "。 本 书 使 用 “高 度 ” 这 个 术语 的 
原因 是 其 更 能 揭示 算法 背后 的 直观 思想 。 我 们 保留 了 “ 重 贴 标签 ”这 个 术语 ， 用 来 代表 增加 一 个 结 点 高 度 的 操作 。 
一 个 结 点 的 高 度 与 其 离 汇 点 上 的 距离 相关 ， 正 如 在 转 置 图 GT 的 一 个 广度 优先 搜索 操作 中 所 找到 的 。 
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边 的 反 回 边 。 最 后 ， 算 法 的 第 7 一 8 TESA uv 和 w 的 超额 流 。 因 此 ， 如 果 在 PUSH 调用 
前 f 是 预 流 ， 则 在 PUSH 操作 后 ，f 仍然 是 预 流 。 

注意 ， 虽 然 PUSH 代码 中 没有 什么 操作 依赖 于 结 点 u 和 结 点 wv 的 高 度 ， 但 是 仍然 限定 该 操 
作 只 能 在 满足 条 件 u.h= 二 wv.h 十 1 的 情况 下 被 调用 。 因 此 ， 我 们 只 将 超额 流向 高 度 差 为 1 的 下 层 结 
点 推送 。 根 据 引 理 26. 12， 在 高 度 相差 超过 1 的 两 个 结 点 之 间 不 存在 残存 边 ， 因 此 ， 只 要 属性 h 
确实 是 一 个 高 度 函 数 ， 回 高 度 差 超过 1 的 下 层 结 点 推送 流 不 能 给 我 们 带 来 任何 价值 。 

我 们 称 操作 PUSH, VAARA u 到 结 点 "的 一 个 推送 操作 。 如 果 一 个 推送 操作 适用 于 某 
条 从 结 点 4 发 出 的 边 (u，v)， 则 称 推送 操作 适用 于 结 点 wx。 如 果 在 该 操作 后 ， 残 存 网 络 中 的 边 
(xu，w) 达 到 饱和 状态 ( 即 在 操作 之 后 有 clu, v = 二 0)， 则 该 推送 操 称 为 饱和 推送 ; 否则 ， 该 推送 
操作 称 为 非 饱 和 推送 。 如 果 一 条 边 达 到 饱和 状态 ， 它 将 从 残存 网 络 中 消失 。 下 面 的 简单 引 理 说 明 
了 非 饱和 推送 所 导致 的 一 种 结果 。 

引 理 26. 13 在 从 结 点 到 结 点 vv 的 一 个 非 饱 和 推送 操作 后 ， 结 点 将 不 再 溢出 。 

证 明 由 于 推送 操作 为 非 饱 和 操作 ， 被 推送 的 实际 流量 Aj(u，w) 在 推送 操作 前 必定 等 于 
wee HF u e 被 缩减 的 量 就 是 这 个 量 自 刁 ， 因 此 ，w.e 在 推送 操作 后 的 值 将 为 0。 E 

重 贴标签 操作 

如 果 结 点 洲 出 ， 并 且 对 于 所 有 的 边 (u，v) EE/， 有 uh 二 wv.h， 则 基本 操作 RELABEL(w) 
适用 于 结 点 w。 换 句 话 说， 我 们 可 以 对 一 个 溢出 结 点 进行 重 贴标签 的 操作 。 对 于 每 个 结 点 w， 如 
果 存 在 从 结 点 u 到 结 点 v 的 残存 容量 ,但 却 因为 结 点 v 不 在 结 点 的 下 方 ， 而 不 能 将 流 从 推送 
到 wv， 我 们 就 可 以 对 洲 出 结 点 进行 重 贴 标签 操作 。( 回 忆 前 面 讨论 的 内 容 ， 根 据 定 义 ， 源 结 点 s 
和 汇 点 t 都 不 可 能 溢出 ， 因 此 s 和 + 没有 资格 被 重 贴标签 。) 

RELABEL() 

1 // Applies when:v is overflowing and for all v€V such that(u,v) CE,, 

we have u. hv. h. 


2 // Action; Increase the height of u. 
3 ueh=1+min{v. h: (u,v) €E;} 


当 调用 操作 RELABEL(x 时 ， 我 们 称 结 点 :被 重 贴标签 。 注 意 ， 当 结 点 :被 重 贴标签 时 ， 
E, 必须 包含 至 少 一 条 从 结 点 发 出 的 边 ， 这 样 将 使 得 代码 中 的 求 最 小 值 操 作 所 针对 的 对 象 不 是 
一 个 空 集 。 这 条 性 质 可 以 从 结 点 & 是 一 个 溢出 结 点 的 假设 推导 出 来 ， 而 这 又 会 进一步 告诉 我 们 : 
u. e 一 Dy f wru) — Dy f (uy) > 0 


由 于 所 有 的 流 都 是 非 负 的 ， 因 此 ， 必 然 至 少 有 一 个 结 点 v Elo, u). f>0. BÆ, clu, v >0 则 
EREU, v) CE, Ak, HE RELABEL(w) 给 结 点 u 所 赋予 的 高 度 是 高 度 函 数 所 能 允许 的 最 
大 高 度 。 
通用 算法 
通用 的 推送 - 重 贴标签 算法 使 用 下 面 的 子 程序 来 在 流 网 络 中 创建 一 个 初始 的 预 流 : 
INITIALIZE-PREFLOW(G, s) 
1 for each vertexvEG. V 
2 v.h=0 
3 v. e=0 
4 for each edge(u,v) CG. E 
5 (usv). f=0 
6 sh=|G.V| 
7 


for each vertexvE€ s. Adj 
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8 (s,v). f=c(s,v) 
9 u. e=c(s,v) 


10 S. €=5.e—C(S,v) 


INITIALIZE-PREFLOW 创建 一 个 由 下 面 公 式 定 义 的 预 流 f: 
cluso) #u=s | 
(u,v). f = 全 其 他 (26. 15) 
也 就 是 说 ， 我 们 将 从 源 结 点 * 发 出 的 所 有 边 都 充满 流 ， 而 其 他 边 上 都 没有 流 。 对 于 每 个 与 源 结 点 
s 相 邻 的 结 点 v， 一 开始 有 v e=cls, v), HEK s. e 初始 化 为 所 有 这 些 容量 之 和 的 相反 数 。 该 通 
用 算法 的 初始 高 度 函 数 由 下 面 公 式 定义 : 
u. h = l 其 他 (26. 16) 
(26. 16) Are MEP a, AA EA u. hovhtl 的 边 (x， 人 也 全 都 是 那些 满足 条 
件 u=s 的 边 ， 并 且 这 些 边 都 已 经 达到 饱和 状态 ， 这 就 意味 着 这 些 边 不 在 残存 网 络 中 。 
先进 行 初始 化 ， 然 后 按 非 特定 次 序 执 行 一 个 序列 的 推送 和 重 贴标签 操作 ， 就 能 得 出 
GENERIC-PUSH-RELABEL 算法 : 


GENERIC-PUSH-RELABEL(G) 
1 INITIALIZE-PREFLOW(G, s) 
2 while there exists an applicable push or relabel operation 


3 select an applicable push or relabel operation and perform it 


下 面 的 引 理 说 明 ， 只 要 存在 溢出 结 点 ， 两 种 基本 操作 就 至 少 一 种 可 以 应 用 到 该 溢出 结 点 上 。 

引 理 26. 14 (可 以 对 溢出 结 点 执行 推送 或 重 贴标签 操作 ) 设 G=(V，E) 是 一 个 源 结 点 为 s 汇 
点 为 上 的 流 网 络 ， 设 f 为 一 个 预 流 ， hh 为 了 的 任意 高 度 函 数 。 如 果 是 一 个 溢出 结 点 ， 则 要 么 可 
以 对 结 点 执行 推送 操作 ， 要 么 可 以 对 其 执行 重 贴标签 操作 。 

证 明 ”对 于 任意 残存 边 (u，v)， 有 hw) 声 h(v) 十 1， 因 为 h 是 一 个 高 度 函数 。 如 果 推 送 操作 
不 适用 于 溢出 结 点 w， 则 对 于 所 有 的 残存 边 (u，v)， 必 定 有 hw) 二 h(v) 十 1， 而 这 意味 着 h(w) 声 
h(v)。 因 此 ， 重 贴标签 操作 必定 适用 于 结 点 wu. 国 

推送 - 重 贴标签 方法 的 正确 性 

为 了 证 明 通 用 的 推送 - 重 贴标签 算法 解决 了 最 大 流 问 题 ， 下 面 将 首先 证 明 如 果 该 算法 终止 ， 
预 流 f 就 是 一 个 最 大 流 。 我 们 稍 后 再 来 证 明 该 算法 必 将 终止 。 下 面 首先 来 关注 高 度 函 数 h. 

引 理 26. 15( 结 点 高 度 从 来 不 会 降低 ) ”在 一 个 流 网 络 G 二 (V，E) 上 执行 GENERIC-PUSH- 
RELABEL 算法 的 过 程 中 ， 对 于 每 个 结 点 EV， 其 高 度 v.h 从 来 不 会 减少 。 而 且 ， 每 当 一 个 重 
贴标签 操作 应 用 到 结 点 ww 上 时 ， 其 高 度 u.h 至 少 增加 1 个 单位 。 

证 明 因为 结 点 高 度 只 在 重 贴 标签 操作 时 发 生 改 变 ， 所 以 只 需要 证 明 引 理 的 第 二 个 论断 即 
可 。 如 果 将 要 对 结 点 u 进行 重 贴标签 操作 ， 则 对 于 所 有 的 结 点 uv， 如 果 (u，wv) EE,， 那 么 有 
uh<v.h, Alb, uh<l+min{v.h: (u, VEE, }, PRUE EO u. h 的 值 。 I 

引 理 26.16 设 G=(V， EF) 是 一 个 源 结 点 为 s 汇 点 为 t 的 流 网 络 ， 则 GENERIC-PUSH- 
RELABEL 算法 在 G 上 执行 的 过 程 中 ， 将 维持 属性 凡人 作为 一 个 高 度 函 数 。 

WEAR 通过 对 所 执行 的 基本 操作 的 次 数 进 行 归纳 来 予以 证 明 。 在 初始 状态 时 ，h 是 一 个 高 度 
函数 ， 正 如 我 们 已 经 观察 到 的 。 

我 们 断言 ， 如 果 刀 是 一 个 高 度 函 数 ， 则 RELABEL(w) 的 操作 将 保持 hh 作为 一 个 高 度 函 数 。 如 果 残 
FPA lu, VEE; 从 结 点 4 发出， 则 RELABEL(z) 将 确保 在 操作 执行 之 后 有 uh 二 wh 十 1。 现 在 考虑 一 
条 进入 结 点 的 残存 边 (w，z)。 根 据 引 理 26. 15， 在 操作 RELABEL(w) 之 前 有 w hu htl, XAR 
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着 在 该 操作 之 后 有 w hu htl, Kik, HE RELABEL(w 将 保持 A YEA BE PRL 

现在 来 考虑 操作 PUSH(wu，w)。 该 操作 可 能 在 E; 中 增加 一 条 边 (w，w)， 并 且 还 可 能 从 Ej 中 删 
除 边 (u，v)。 在 前 面 一 种 情况 下 ， 有 wh 二 wh 一 1<u.h 十 1， 因 此 有 仍然 是 一 个 高 度 清 数 。 在 后 面 
一 种 情况 下 ， 从 残存 网 络 中 删除 边 (“， 了 将 删除 相应 的 限制 ， 因 此 疡 再 次 保持 为 一 个 高 度 函 数 。 国 

下 面 的 引 理 给 出 高 度 函 数 的 一 个 重要 性 质 。 

引 理 26.17 设 G=(V， 已 ) 是 一 个 源 结 点 为 s 汇 点 为 t 的 流 网 络 ， 设 为 G 中 的 一 个 预 流 ， 
有 为 V 上 的 一 个 高 度 子 数 。 那 么 在 残存 网 络 Gr 中 不 存在 一 条 从 源 结 点 s BILAL 的 路 径 。 

证 明 使 用 反 证 法 。 假 定 残 存 网 络 GC, 中 存在 一 条 从 源 结 点 s 到 汇 点 t 的 路 径 p， 这 里 p= 
(Us Ws ts VU WFS, Vt 不 失 一 般 性 ， bp 是 一 条 简单 路 径 ， 因此 k<|V| 。 对 于 :一 0， 
soe, R—I, W Cv; » v) EE。 因为 h 是 一 个 高 度 函 数 ， 所 以 有 六 CD 入 PoHI) 十 1， 这 里 i 
0, 1, s+, R-1, HERG p LA IXHARSRAS BME, E AOS AAAGD=0, Hr 
WA ACS)<R<|V|, BORER As 三 | 六 | WFE. 图 

下 面 将 证 明 如 果 通 用 的 推送 - 重 贴标签 算法 能 够 终止 ， 则 其 所 计算 出 的 预 流 是 一 个 最 大 流 。 

定理 26. 18( 通 用 的 推送 - 重 贴标签 算法 的 正确 性 ) 设 G==(V， 上) 是 一 个 源 结 点 为 s 汇 点 为 
的 流 网 络 ， 如 果 算 法 GENERIC-PUSH-RELABEL 在 图 G 上 运行 时 能 够 终止 ， 则 该 算法 所 计算 出 
的 预 流 f 是 图 G 的 一 个 最 大 流 。 

证 明 ”在 证 明 中 将 使 用 下 面 的 循环 不 变 式 : 

每 次 GENERIC-PUSH-RELABEL 算法 在 执行 第 2 行 的 while 循环 时 ，f 都 是 图 G 的 一 个 预 流 。 

初始 化 : INITIALIZE-PREFLOW 使 得 f 是 一 个 预 流 。 

保持 : 位 于 算法 第 2 一 3 行 的 while 循环 中 的 唯一 操作 是 推送 和 重 贴标签 操作 。 重 贴标签 操作 
只 影响 高 度 属性 ， 不 影响 流 的 值 ， 因 此 ， 这 些 操作 不 影响 f 是 否 是 一 个 预 流 。 对 于 推送 操作 来 
说 ， 正 如 前 面 所 讨论 的 ， 如 果 f 在 推送 操作 前 是 一 个 预 流 ， 则 在 推送 操作 结束 后 仍然 是 一 个 预 
流 。 因 此 ， 循环 不 变 式 得 到 维持 。 

ik: 在 算法 终止 时 ，V 一 {s, 中 的 每 个 结 点 的 超额 流量 必定 是 0， 因 为 根据 引 理 26. 14 和 
f 总 是 一 个 预 流 的 循环 不 变 式 ， 图 中 不 存在 溢出 结 点 。 因 此 ，f 是 一 个 流 。 而 引 理 26. 16 说 明 ， 
在 终止 时 是 一 个 高 度 函 数 ， 再 根据 引 理 26. 17， 在 残存 网 络 Gy 中 不 存在 一 条 从 源 结 点 s 到 汇 点 
t 的 路 径 。 根 据 最 大 流 最 小 切割 定理 (定理 26. 6) ， 是 一 个 最 大 流 。 

推送 - 重 贴标签 方法 的 分 析 

为 了 证 明 通 用 的 推送 - 重 贴标签 算法 确实 会 终止 ， 我 们 将 给 出 该 算法 所 执行 的 操作 的 次 数 界 。 
分 别 对 如 下 三 类 操作 求 界 : 重 贴标签 操作 、 饱 和 推送 操作 和 非 饱 和 推送 操作 。 在 获得 每 种 操作 次 
数 的 界 后 ， 就 可 以 直接 构造 一 个 运行 时 间 为 OC(V2E) 的 算法 。 但 是 ， 在 进行 这 种 分 析 之 前 ， 首 先 
需要 证 明 一 个 重要 的 引 理 。 回 顾 前 面 所 讨论 的 内 容 可 知 ， 我 们 允许 在 残存 网 络 中 有 流 人 源 结 
点 的 边 。 

引 理 26. 19 设 G=(V， 世 ) 是 源 结 点 为 s 汇 点 为 1 的 一 个 流 网 络 ， 设 ff 是 G 中 的 一 个 预 流 。 
那么 对 于 任意 溢出 结 点 Tz， 在 残存 网 络 Gj 中 存在 一 条 从 结 点 工 到 源 结 点 5 的 简单 路 径 。 

证 明 ”对 于 洲 出 结 点 x， 设 U={v; 在 Gj 中 存在 一 条 从 结 点 xz 到 结 点 v 的 简单 路 径 }) ， 并 且 
为 了 使 用 反 证 法 ,假设 ;KfU， 并 设 U=V 一 U。 

使 用 式 (26. 14) 对 超额 流量 的 定义 ， 对 UU 中 的 所 有 结 点 求 和 和 ， 并 注意 到 V=UUU， 我 们 
获得 

dew) = D (Sf — Df (us»)) 


€U 


a D (Zond + 于 Foao) 一 人 Df (ure) + > f (u,v) ) 


ED 
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= 2 DS (su) EJ 2 Df vs) — D S)f(uyv) 一 Ss} S)f (u,v) 
u€U veU uEU veU u€EU veU u€U yeu 

= X fu — YS fuo) 
EU veU 


ELU „EU 


RIAR, DeD MRE, KAHF zxEU，e(z) 之 0， 除 源 结 点 s 以 外 的 所 有 结 点 都 有 非 负 
值 的 超额 流量 ， 并 且 根 据 假设 ，s 代 U， 因 此 有 

Di dQ fow— 2 D>) fUsv) >0 (26.17) 
所 有 边 上 的 流量 均 为 非 负 值 ， 因 此 ， 如 果 式 (26. IDRE WW 2, Uf, w>0, Ak, Bb E— 


对 结 点 w EU, v' EU， 有 flv', w')>0. (AE, WER fl(v ，x )>>0， 则 必 有 一 条 残存 边 (u ，v')， 这 就 意 
味 着 从 结 点 z 到 结 点 v' 存 在 一 条 简单 路 径 ( 路 径 z~2u'v')， 而 这 与 口 的 定义 矛盾 。 m 

下 面 的 引 理 将 给 出 结 点 的 高 度 的 界 ， 该 引 理 的 推论 则 对 重 贴标签 操作 的 总 次 数 进行 了 限定 。 

5| 26.20 设 G=(V，E) 是 源 结 点 为 s 汇 点 为 t 的 一 个 流 网 络 ， 在 G 上 执行 算法 
GENERIC-PUSH-RELABEL 过 程 中 的 任意 时 刻 ， 对 于 所 有 结 点 uEV，, u.h<2|V| 一 1。 

证 明 根据 定义 ， 源 结 点 s 和 汇 点 上 从 来 不 会 溢出 ， 因 此 ， 它 们 的 高 度 从 来 不 会 发 生变 化 。 
所 以 总 是 有 s.h=|V| Alt. h=0, 显然， 这 两 个 值 都 不 比 21V| 一 1 大 。 

现在 考虑 任意 结 点 wuEV 一 {s，t} 。 在 初始 情况 时 ，u. 1 一 0 委 21V| 一 1。 我 们 将 证 明 在 每 次 重 
贴标签 操作 后 ， 仍 然 有 u.h 二 21V| 一 1。 当 结 点 被 重 贴 标签 时 ， 它 必定 是 一 个 溢出 结 点 ， 引 理 
26. 19 告诉 我 们 ， 在 残存 网 络 Cr 中 存在 一 条 从 结 点 到 结 点 :的 简单 路 径 p。 设 p= (aH, 
iss ws AP w=u, u=s, #HRRS|V|—1, AA p 是 简单 路 径 。 对 于 ;一 0，1，… 
k—1, BTA u, vn) CEs, Alb, HBS BE 26.16, v hvin1.h 十 1。 将 这 些 不 等 式 在 路 径 p 
上 进行 扩展 ， 得 到 uh=w. hw.h 二 ks.h 十 (|V| 一 1)=2|1V| 一 1。 a 

推论 26. 21( 重 贴标签 操作 次 数 的 界 ) 设 G=(V，E) 是 源 结 点 为 s 汇 点 为 1 的 一 个 流 网 络 ， 
则 在 G 上 执行 算法 GENERIC-PUSH-RELABEL 的 过 程 中 ， 对 每 个 结 点 所 执行 的 重 贴标签 操作 的 
次 数 最 多 为 2|V| 一 1 次， 而 所 有 重 贴标签 操作 不 会 超过 (2|V | 一 1)(|V| 一 22?<2| 六 | :。 

证 明 集合 V 一 {s, OPRAIV| 一 2 个 结 点 有 可 能 需要 进行 重 贴标签 的 操作 。 设 结 点 
u€V—{s, t}, RELABEL(u) 操作 将 增加 u. h WIE. uh 的 值 在 初始 情况 时 为 0， 根据 引 理 
26. 20， 它 增长 的 幅度 最 多 为 21V| 一 1。 因 此 ， 每 个 结 点 wEV 一 {s, 被 重 贴标签 的 次 数 最 多 为 
2|V|—1, 而 重 贴 标签 操作 的 总 次 数 最 多 为 (2|V| 一 (IV| 一 2)<2|1V|?。 W 

引 理 26. 20 同时 也 帮助 我 们 对 饱和 推送 操作 的 次 数 进行 限定 。 

引 理 26. 22( 饱 和 推送 操作 次 数 的 上 界 ) 设 G 二 (V，E) 是 源 结 点 为 s 汇 点 为 的 一 个 流 网 络 ， 
则 在 G 上 执行 算法 GENERIC-PUSH-RELABEL 的 过 程 中 ， 饱 和 推送 操作 的 次 数 少 于 21V| IE! ， 

证 明 对 于 任意 一 对 结 点 wx，zEV， 把 从 结 点 “到 结 点 v 和 从 结 点 到 结 点 的 饱和 推送 操 
作 合 并 在 一 起 计数 ， 统 称 为 结 点 u 和 结 点 v 之 间 的 饱和 推送 操作 。 如 果 存 在 任何 这 样 的 推送 操 
作 ， 则 边 (“， 了 和 边 (o，z 思 中 至 少 有 一 条 是 五 中 的 一 条 边 。 现 在 假定 从 结 点 v 到 结 点 v 之 间 发 生 
了 一 次 饱和 推送 操作 。 这 时 ，w. hh 二 wu.h 一 1。 为 了 使 从 结 点 u 到 结 点 的 另 一 次 推送 操作 可 以 发 
生 ， 本 算法 必须 首先 将 流 从 结 点 v 推送 到 结 点 w， 而 这 种 操作 只 有 在 v. h=u.h+1 的 情况 下 才能 
发 生 。 由 于 uh 的 取 值 从 来 不 会 降低 ， 为 了 让 v. h=u. h+1 ERZ, uh 的 值 必须 增加 至 少 ? 
MA. AE, u h 的 值 在 两 次 从 结 点 v 到 结 点 的 饱和 推送 操作 之 间 必 须 增加 至 少 2 个 单位 ， 
由 于 高 度 的 初始 值 为 0， 根 据 引 理 26. 20， 高 度 从 来 不 会 超过 21V| 一 1， 这 意味 着 对 于 任意 一 个 
结 点 来 说 ， 其 高 度 增加 2 个 单位 的 次 数 都 小 于 |V| 。 由 于 在 结 点 u 和 结 点 v 之 间 的 任意 两 次 饱和 
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推送 操作 之 间 ，w.h Mov. h 两 个 值 中 ， 至 少 有 一 个 值 将 增加 2 个 单位 ， 结 点 u 和 结 点 wv 之 间 的 饱 
和 推送 操作 的 次 数 必定 少 于 21V| 。 将 该 数值 乘 以 边 的 条 数 ， 便 可 得 出 : 饱和 推送 操作 总 次 数 的 
上 界 为 2|V| |E|. 加 

下 面 的 引 理 对 通用 推送 - 重 贴标签 算法 中 的 非 饱 和 推送 操作 的 次 数 进行 了 限制 。 

引 理 26. 23( 非 饱和 推送 操作 次 数 的 上 界 ) 设 G=(V, E) 是 源 结 点 为 s 汇 点 为 的 一 个 流 网 
络 ， 则 在 G 上 执行 算法 GENERIC-PUSH-RELABEL 的 过 程 中 ， 非 饱和 推送 操作 的 次 数 少 于 
4|V\?C|VI+|E]). 

证 明 ”我 们 在 证 明 中 将 使 用 聚合 分 析 。 首 先 定 义 势能 函数 O= v.h。 在 初始 情况 下 ， 


二 0， 且 旬 的 值 在 每 次 重 贴 操 作 、 饱 和 推送 操作 和 非 饱 和 推送 操作 后 都 可 能 发 生 改 变 。 饱 和 推 
送 操作 和 重 贴标签 操作 都 会 导致 鲁 值 的 增加 ， 首 先 对 这 种 增加 的 上 界 进行 限定 。 然 后 再 证 明 每 
个 非 饱 和 推送 操作 将 © 的 值 降低 至 少 1 个 单位 ， 并 且 使 用 这 些 限 值 来 导出 非 饱 和 推送 操作 次 数 
的 上 界 。 

让 我 们 检查 一 下 鲁 值 可 能 增长 的 两 种 方式 。 首先 ， 对 一 个 结 点 u 进行 重 贴标签 操作 给 o E 
带 来 的 增加 量 少 于 21V| ， 因 为 用 于 求 和 的 集合 是 相同 的 (或 求 和 所 覆盖 的 集合 是 相同 的 )， 而 重 
贴标签 操作 不 能 将 结 点 u 的 高 度 增 加 超过 其 最 大 可 能 的 高 度 。 根 据 引 理 26. 20， 这 个 高 度 最 多 为 
2|V| 一 1。 其 次 ,一 个 从 结 点 到 结 点 的 饱和 推送 操作 给 © (TIBI BSF 21V| ， 因 为 没 
有 高 度 变化 ， 并 且 只 有 结 点 v 可 能 成 为 溢出 结 点 ， 而 结 点 v 的 高 度 最 多 为 21V| 一 1。 

现在 来 证 明 一 个 从 结 点 到 结 点 v 的 非 饱和 推送 将 @ 的 值 降低 至 少 1 个 单位 。 为 什么 这 样 说 
呢 ? 在 非 饱 和 推送 操作 前 ， 结 点 u ER, MAA v 可 能 溢出 ， 也 可 能 没有 溢出 。 根 据 引 理 
26. 13， 结 点 在 推送 操作 后 不 会 再 溢出 。 此 外 ， 除 非 v 是 源 结 点 ， 否 则 它 在 推送 操作 后 可 能 洲 
出 ， 也 可 能 不 溢出 。 因 此 ， 势 能 函数 @@ 减少 的 量 恰 好 是 u. hh， 并且 其 增加 的 量 要 么 是 0， 要 么 是 
vh, HF u h—v. hh 二 1， 净 效果 是 势能 函数 至 少 降低 一 个 单位 。 

因此 ， 在 算法 的 运行 过 程 中 ， 鲁 的 总 增长 量 都 来 源 于 重 贴标签 操作 和 饱和 推送 操作 ， 而 推论 
26. 21 MEIH 26. 22 将 这 种 增长 限制 在 少 于 C21V|1)C21V|2DD 二 + eIVDEIVIIED)=4|V|? 
(|V| 十 |E|) 的 范围 内 。 由 于 ozo, p 值 减少 的 总 量 ， 也 就 是 非 饱和 推送 操作 的 总 次 数 ， 小 于 
41V|?c|VI+IE]). a 

在 对 重 贴标签 操作 、 饱 和 推送 操作 、 非 饱和 推送 操作 的 次 数 进行 了 限定 后 ， 我 们 就 可 以 对 
GENERIC-PUSH-RELABEL 算法 进行 分 析 ， 还 可 以 对 任何 基于 推送 - 重 贴标签 方法 的 算法 进行 分 析 。 

定理 26. 24 在 任意 流 网 络 G=(V, E) £44 GENERIC-PUSH-RELABEL 算法 的 过 程 中 ， 
基本 操作 的 总 次 数 是 O(VE)。 

证 明 从 推论 26.21 和 引 理 26. 22 及 引 理 26. 23 可 立即 推 得 定理 中 的 结论 。 i 

因此 ， 算 法 GENERIC-PUSH-RELABEL 在 OV 已 ) 个 操作 后 终止 。 剩 下 的 就 是 给 出 实现 每 
个 操作 的 有 效 方法 和 选择 合适 的 操作 予以 执行 

推论 26.25 ”对 于 任意 流 网 络 G 一 (V， 正 ) ， 都 存在 一 种 通用 推送 - 重 贴标签 算法 的 实现 ， 其 
运行 时 间 为 OCV E). 

证 明 练习 26. 4-2 要 求 读 者 来 说 明 如 何 实现 通用 推送 - 重 贴标签 算法 ， 使 得 每 个 重 贴 标签 的 
操作 成 本 为 OOV) ， 每 个 推送 操作 的 成 本 为 O(1) 。 它 同时 还 要 求 读 者 设计 一 个 数据 结构 来 允许 用 
PE O(1) 时 间 内 选择 一 个 合适 的 操作 。 本 推论 将 从 这 些 结果 中 立即 得 到 。 m 


练习 
26.4-1 WEHA: 在 算法 INITIALIZE-PREFLOW(G，;s) 终 止 后 ， 有 s.e 声 一 |f* |, Hep ft 是 流 
网 络 G 的 一 个 最 大 流 。 
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26.4-2 ”说明 如 何 实现 通用 推送 - 重 贴标签 算法 ,使 得 每 个 重 贴 标签 的 操作 成 本 为 OOV) ， 每 个 推 
送 操作 的 成 本 为 0(1)， 并 且 可 以 在 O(1) 时 间 内 选择 一 个 合适 的 操作 ， 从 而 使 得 整个 算 


法 的 运行 时 间 为 OVE). 
26.4-3 证明; 通用 推送 - 重 贴标签 算法 只 用 了 总 共 OCVE) 的 时 间 来 执行 所 有 OCV”) 个 重 贴标签 
操作 。 


26.4-4 假定 使 用 推送 - 重 贴标签 算法 找到 了 流 网 络 G 二 (V，E) 的 一 个 最 大 流 ， 给 出 一 个 快速 算 
法 来 找到 G 的 一 个 最 小 切割 。 

26.4-5 给 出 一 个 有 效 的 推送 - 重 贴标签 算法 ， 使 得 其 可 以 在 一 个 二 分 图 中 找到 一 个 最 大 匹配 ， 
分 析 你 的 算法 的 效率 。 

26.4-6 假定 在 流 网 络 G 二 (V，E) 中 所 有 边 的 容量 都 在 集合 {1，2，…,，&}) 里 。 分 析 通 用 推送 - 
重 贴 标签 算法 的 运行 时 间 ， 请 以 |V|、|E| 和 来 予以 表示 。( 提 示 : 每 条 边 在 变 为 饱 
和 之 前 可 以 支持 多 少 次 非 饱和 推送 操作 ?) 

26.4-7 WEH: 我 们 可 以 将 INITIALIZE-PREFLOW 算法 的 第 6 行 改 为 如 下 : 

6sh=|G.V|—2 

而 不 会 影响 通用 推送 - 重 贴标签 算法 的 正确 性 和 渐 近 性 能 。 

26.4-8 eu, VARN G PMB Ay 到 结 点 的 距离 ( 边 的 条 数 )。 证 明 : GENERIC- 
PUSH-RELABEL 算法 维持 u.h<|V| 的 性 质 意味 着 u.hSo;-(u, t), WFE u. h> 
| V | WER u. h— |V| u, s). 


*26.4-9 ”如 前 一 个 练习 ， 设 5/(u，v) 为 残存 网 络 Cr PAER u 到 结 点 v 的 距离 。 请 说 明 如 何 修 


改 通 用 推送 - 重 贴标签 算法 ， 以 使 得 维持 u h< |V| BERERE u.h=8 (u, t), Æ 
性 质 u.h 宇 |V | 意味 着 u.h 一 |V| 二 6/,(u，s)。 你 所 设计 算法 用 于 维持 该 性 质 所 用 的 总 时 
EMA OVE). 

26.4-10 WEH: 在 流 网 络 G 二 (V，E) 上 运行 GENERIC-PUSH-RELABEL 算法 所 执行 的 非 饱 和 
推送 操作 的 总 次 数 为 4|V|?|E|， 这 里 假定 |V| 宕 4。 


“26.5 前 置 重 贴标签 算法 


推送 - 重 贴标签 方法 允许 我 们 以 任意 次 序 执行 基本 操作 。 但 是 ， 如 果 和 仔细 地 选择 这 个 次 序 ， 
并 对 网 络 数 据 结 构 进行 高 效 的 管理 ， 我 们 便 可 以 以 比 推论 26. 25 所 给 出 的 OCV?E) 时 间 复 杂 度 更 
快 的 速度 来 解决 最 大 流 问 题 。 下 面 将 要 讨论 的 算法 是 前 置 重 贴标签 算法 ， 该 算法 是 一 个 运行 时 
间 为 OCVi) 的 推送 - 重 贴 标签 算法 ， 其 运行 时 间 在 一 般 情况 下 不 亚 于 OCV?E)， 而 在 稠密 网 络 情况 
PERF OV E). 

前 置 重 贴标签 算法 在 执行 过 程 维 持 一 个 网 络 中 的 结 点 的 链表 。 算 法 从 头 到 尾 对 链表 进行 扫 
描 ， 每 次 选择 一 个 溢出 结 点 w， 然 后 对 所 选 结 点 进行 “释放 ”， 即 对 所 选 结 点 执行 推送 操作 和 重 帐 
标签 操作 ， 直 到 该 结 点 不 再 拥有 正 值 的 超额 流量 为 止 。 每 次 在 算法 对 一 个 结 点 进行 重 贴标签 操 
作 时 ， 我 们 都 将 该 结 点 移动 到 链表 的 最 前 面 (这 就 是 “前 置 重 贴标签 算法 ?名 字 的 由 来 ) ， 而 算法 则 
开始 一 次 新 的 扫描 。 

前 置 重 贴标签 算法 的 正确 性 和 时 间 复 杂 度 分 析 都 依赖 于 所 谓 的 “许可 边 ” 的 概念 。 许 可 边 是 
指 在 残存 网 络 中 ， 流 可 以 经 其 进行 推送 的 边 。 在 对 由 许可 边 所 组 成 的 网 络 的 一 些 性 质 进行 证 明 
后 ， 我 们 将 研究 结 点 的 释放 操作 ， 然 后 阐述 并 分 析 前 置 重 贴 标签 算法 。 

许可 边 和 网 络 

设 图 G 二 (VV，E) 是 一 个 源 结 点 为 s 汇 点 为 1 的 流 网 络 ，f 是 G 的 一 个 预 流 ，h 是 一 个 高 度 
mA. MFA, vw, WE clu, V0 HAUD Shot, MAC, VERFT. F, 
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边 (u，wv) 是 非 许可 边 。 许 可 网 络 则 指 的 是 图 Ga 5V, Epa) RP Ej 是 许可 边 的 集合 。 

从 上 述 定 义 可 知 ， 许 可 网 络 由 那些 可 以 在 其 上 推送 流 的 边 所 构成 。 下 面 的 引 理 表明 这 种 网 
络 是 一 个 有 问 无 环 图 。 

引 理 26. 26( 许 可 网 络 是 无 环 的 ) ”如 果 图 G 二 (V，E) 是 一 个 源 结 点 为 $s 汇 点 为 1 的 流 网 络 ，f 
是 G 的 一 个 预 流 ， h 是 一 个 高 度 函 数 ， 则 许可 网 络 Gp 一 (V， 忆 j,i，) 是 无 环 的 。 

iE RH 使 用 反 证 法 。 假定 许可 网 络 G BRZ — RA p= w, Us 8885 Wk?’ 其 中 w= vu H 
k>0, HFI p EWR, ALA ho) 5h) +1, i=1, 2, e+, ke HRE 
等 式 加 起 来 ， 我 们 有 : 


k k k 
S hlv) = X Cho) +1) = X ho) +h 
i=l i=] i=1 


因为 环 路 p 上 的 每 个 结 点 在 两 边 的 和 式 中 各 出 现 一 次 ， 因 此 得 到 矛盾 的 结果 0=&。 图 

下 面 的 两 个 引 理 说 明 推 送 操作 和 重 贴 标签 操作 是 如 何 改变 许可 网 络 的 。 

引 理 26. 27 如 果 图 G 二 (V， 世 ) 是 一 个 源 结 点 为 s 汇 点 为 1 的 流 网 络 ，f 是 G 的 一 个 预 流 ， 
假定 及 是 一 个 高 度 函 数 ， 如 果 结 点 是 一 个 溢出 结 点 ， 且 (u，v) 是 一 条 许可 边 ， 则 PUSH, v) 
操作 适用 于 结 点 wu 上 。 该 操作 不 会 创建 任何 新 的 许可 边 ， 但 有 可 能 导致 边 (u，) 成 为 非 许 可 边 。 

证 明 根据 许可 边 的 定义 ， 可 以 从 结 点 4 往 结 点 v 推 送 流 。 由 于 结 点 u fee, PUSH(u, v) 
操作 适用 于 结 点 w。 从 结 点 u 到 结 点 wv 推送 流 的 操作 所 能 创建 的 唯一 的 新 残存 边 是 边 (w，u)。 由 
于 wv.h 二 ww.h 一 1， 边 (vw， 忆 不 可 能 成 为 许可 边 。 如 果 推 送 操作 是 一 个 饱和 推送 ， 则 在 操作 之 后 有 
cslu, v) =0 HW Clu, VRAIT A. E 

5| 26.28 设 图 G=(V, ENX—-tRBRA SL LRACHRAMS, fECH-AMAK, 
BMEhE- RE BR, wR AS ut A, HRAFAMB RUKRKHATU, A 
RELABEL(w) 操 作 适 用 于 结 点 u。 此 外 ， 在 对 结 点 进行 重 贴标签 操作 后 ， 将 至 少 存 在 一 条 从 结 
点 发 出 的 许可 边 ， 但 不 存在 进入 结 点 的 许可 边 。 

WEAR ”如 果 结 点 在 溢出 ， 则 根据 引 理 26. 14， 推 送 操作 或 重 贴标签 操作 可 以 应 用 于 结 点 v。 
如 果 没 有 从 结 点 发 出 的 许可 边 ， 则 不 能 从 结 点 4 往外 推送 任何 流 ， 因 此 ，RELABEL(w) 操 作 可 
以 应 用 于 结 点 w。 在 对 进行 重 贴标签 操作 后 ， 将 有 .hh 二 1 十 min(v.h: (u, YEE, ). A, 4 
果 结 点 v 是 该 集合 中 取 值 最 小 的 结 点 ， 边 (u，wv) 将 成 为 非 许可 边 。 因 此 ， 在 重 贴 标签 操作 后 ， 将 
至 少 存在 一 条 从 结 点 发 出 的 许可 边 。 

要 证 明 在 重 贴标签 操作 后 ， 不 存在 进入 结 点 u 的 许可 边 ， 我 们 可 以 使 用 反 证 法 。 假 定 存在 一 
个 结 点 v， 使 得 (v，w) 是 一 条 许可 边 。 那 么 在 重 贴标签 操作 后 ， 有 wv.h==u.h 十 1， 因 此 ， 在 重 贴 
标签 之 前 有 v.h>>u.h 十 1。 根 据 引 理 26. 12， 在 高 度 差 超过 1 的 结 点 对 之 间 不 存在 残存 边 。 而 且 ， 
对 一 个 结 点 进行 重 贴标签 操作 并 不 会 改变 残存 网 络 。 因 此 ， 边 ("，z) 不 属于 残存 网 络 ， 从 而 它 不 
可 能 是 许可 网 络 的 一 条 边 。 FA 

邻接 链表 

在 前 置 重 贴标签 算法 中 ， 我 们 将 所 有 的 边 都 组 织 为 "邻接 链表 ”。 给 定 流 网 络 G==(V，E)， 
对 于 结 点 wEV， 其 邻接 链表 u NEAR ERG 中 的 邻接 结 点 所 构成 的 一 个 单 链表 。 因 此 ， 如 
果 边 (u，v) EE 或 者 边 (w，w) EE， 则 结 点 v 将 出 现在 链表 wu. NP. BRER u N 包含 的 结 点 
恰好 是 那些 可 能 存在 残存 边 (u，wv) 的 结 点 v。 属 性 u. N. head 指向 的 是 邻接 链表 u. N 中 的 第 一 个 
结 点 ，v. nextneighbor 指向 的 是 在 链表 .NN 中 位 于 结 点 v 后 面 的 一 个 结 点 ( 即 v 的 后 继 结 点 )。 
如 果 久 是 链表 中 的 最 后 一 个 结 点 ， 则 该 指针 的 值 为 NIL. 

前 置 重 贴标签 算法 以 任意 次 序 遍 历 每 个 邻接 链表 ， 该 次 序 在 算法 的 整个 执行 过 程 中 维持 不 
变 。 对 于 每 个 结 点 w， 属 性 u. current HARE u. N 链表 中 当前 正在 考虑 的 结 点 。 在 初始 状态 下 ， 
u. current WREN u. N. head, 
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释放 溢出 结 点 

对 于 溢出 结 点 w， 如 果 将 其 所 有 多 余 的 流通 过 许可 边 推送 到 相 邻 的 结 点 上 ， 则 称 该 结 点 得 到 
释放 。 在 释放 过 程 中 ， 需 要 对 结 点 u 进行 重 贴 标签 操作 ， 这 使 得 从 结 点 发 出 的 边 成 为 许可 边 。 
下 面 是 释放 操作 DISCHARGE 的 伪 代 码 : 

DISCHARGE(z) 

1 while u. e>0 

2 U=u. current 

3 if v == NIL 
4 RELABEL(u) 
5 u. current=u. N. head 
6 elseif c,(u,v)>0 and u. h==v.h+1 
7 PUSH (u,v) 
8 


else u. current=v. next-neighbor 


图 26-9 描述 的 是 上 述 算法 第 1~8 Îr while 循环 的 几 次 执行 。 只 要 结 上 4 还 有 正 值 的 超额 流 
量 ， 该 循环 就 持续 执行 。 每 次 迭代 执行 下 面 三 种 操作 中 的 一 种 ， 具 体 执行 哪 种 操作 取决 于 邻接 链 
K u 六 中 当前 结 氮 的 情况。 





x a E: a 
x x 上 


O = N UU 人 hn 个 
4 





图 26-9 对 结 点 y 进行 的 释放 操作 。 一 共 需 要 15 while 循环 的 DISCHARGE 操作 ， 才 将 结 点 y 
的 所 有 超额 流 推送 出 去 。 图 中 仅 显 示 了 结 点 y 的 邻接 结 点 和 流 网 络 中 进入 或 离开 结 点 y 
的 边 。 在 图 的 每 个 部 分 ， 结 点 中 的 数值 为 其 在 该 部 分 图 的 第 一 次 迭代 开始 时 的 超额 流量 
值 ， 每 个 结 点 都 显示 相应 的 高 度 标尺 上 。 在 每 次 迭代 开始 时 ， 邻 接 链表 y N 的 内 容 显 
示 在 图 的 右面 ， 而 迭代 的 次 数 显示 在 顶 上 。 和 覆盖 阴 影 的 邻接 结 点 是 y. current。(a) 初 始 
情况 下 ， 结 点 y 上 有 19 个 单位 的 超额 流量 ， 并 且 y. current=s, E1, 2 和 3 只 不 过 
是 将 y». current 指针 往 前 推进 ， 因为 没有 任何 从 结 点 y 发 出 的 许可 边 存 在 。 在 第 4 RIK 
AREY, y. current 一 NIL( 邻 接 链 表 下 面 的 覆盖 阴影 的 圆圈 ) ， 因 此 ， 算 法 对 结 点 y 进行 重 
贴标签 操作 ， 且 y. current 被 复位 到 邻接 链表 的 开头 。(b) 在 重 贴标签 操作 后 ， 结 点 y 的 
高 度 为 l; 在 第 5 次 和 第 6 次 迭代 时 ， 边 (y， Ss) FIA Cy, Z) 都 被 发 现 是 非 许 可 边 ， 但 在 
第 7 次 迭代 中 ， 算 法 将 8 个 单位 的 超额 流量 从 结 点 y 推送 到 结 点 xz。 因为 这 次 推送 ， 指 
针 y. current 在 该 次 迭代 中 没有 往 前 推进 。(c) 因 为 第 7 次 迭代 的 推送 操作 将 边 (y，z) 推 
至 饱和 状态 ， 该 条 边 在 第 8 次 迭代 时 被 发 现 是 非 许可 边 。 在 第 9 次 迭代 时 ，y current= 
NIL， 因 此 ， 算 法 对 结 点 y 将 再 次 进行 重 贴标签 操作 ， 且 y. current 被 复位 到 链表 的 最 
前 端 。(d) 在 第 10 次 迭代 时 ， 边 (y，s) 是 非 许 可 边 ,， 但 第 11 次 迭代 时 ， 算 法 将 5 个 单 
位 的 超额 流量 从 结 点 y 推送 到 结 点 zx。(e) 因 为 y. current 指针 在 第 11 次 迭代 时 没有 往 
前 推进 ， 在 第 12 次 迭代 时 ， 该 算法 发 现 边 (>，z) 是 非 许可 边 。 第 13 次 迭代 则 发 现 边 
(y，z) 是 非 许可 边 ， 在 第 14 次 迭代 时 ， 算 法 对 结 点 y 进行 重 贴标签 操作 并 对 指针 
y. current 进行 复位 。(f) 在 第 15 次 迭代 时 ， 算 法 将 6 个 单位 的 超额 流量 从 结 点 y 推送 到 
GaAs. OAR y 现在 已 经 没有 超额 流量 ，DISCHARGE 算法 终止 。 在 本 例 中 ， 算 
法 DISCHARGE 在 开始 和 结束 时 ， 当 前 的 指针 都 指向 邻接 链表 的 开头 ， 但 在 一 般 情 况 
下 ， 这 个 假设 不 一 定 成 立 
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1. 如 果 结 点 v 是 NIL， 则 运行 至 邻接 链表 u. N 的 末尾 。 此 时 ， 算 法 第 4 行将 对 结 点 进行 
重 贴标签 操作 ， 算 法 第 5 行将 结 点 的 当前 邻 结 点 设 为 邻接 链表 .NN 的 第 一 个 元 素 。( 下 面 的 引 
理 26. 29 将 证 明 重 贴标签 操作 在 本 场景 下 是 适用 的 。) 

2. 如 果 结 点 是 非 NIL， 并 上 且 边 (u，) 是 一 条 许可 边 ( 由 算法 第 6 行 的 测试 所 决定 )， 则 算法 
第 7 行将 结 点 的 部 分 (也 可 能 是 全 部 ) 超 额 流量 推送 到 结 点 v 上 。 

3. 如 果 结 点 v 是 非 NIL, 但 边 (x，wv) 是 非 许 可 边 ， 则 算法 第 8 行将 邻接 链表 uN 中 的 
u. current 指针 往 前 推进 一 个 位 置 。 

这 里 请 注意 ， 如 果 针 对 一 个 溢出 结 点 u 来 调用 DISCHARGE 操作 ， 则 DISCHARGE 所 执行 
的 最 后 一 个 操作 必定 是 对 结 点 & 所 执行 的 推送 操作 。 为 什么 ? 因为 该 算法 终止 的 唯一 条 件 是 当 
ue 为 0 时 ， 重 贴标签 操作 和 将 指针 u. current 往 前 推进 的 操作 都 不 会 影响 x. e 的 取 值 。 

我 们 必须 确保 ， 当 DISCHARGE 操作 调用 PUSH 或 RELABEL 操作 时 ， 该 操作 确实 是 当时 
适用 的 操作 。 下 面 的 引 理 将 证 明 这 个 事实 。 

引 理 26.29 如果 DISCHARGE 操作 在 第 7 行 调 用 PUSH(u， wv) 操作 ， 则 推送 操作 适用 于 边 
(wu，v)。 如 果 DISCHARGE 操作 在 第 4 行 调 用 RELABEL( 操 作 ， 则 重 贴标签 操作 适用 于 结 点 u 

证 明 算法 第 1 行 和 第 6 行 的 测试 确保 推送 操作 仅 在 该 操作 适用 时 才 会 被 调用 ， 因 此 ， 引 理 
的 第 一 部 分 得 到 证 明 。 

要 证 明 引 理 的 第 二 格 部 分 ， 根 据 算 法 第 1 行 的 测试 和 引 理 26. 28， 我 们 只 需要 证 明 所 有 从 结 
点 2 发 出 的 边 都 是 许可 边 即 可 。 如 果 在 DISCHARGE(z) 的 调用 开始 时 ， 指 针 u. current 指向 的 是 
结 点 的 邻接 链表 的 表 头 ， 在 调用 结束 时 指针 指向 的 是 链表 的 末尾 之 后 ， 则 结 点 的 所 有 发 出 边 
都 是 非 许 可 边 ， 并 且 重 贴标签 操作 可 以 应 用 于 结 点 uw。 但 是 ， 在 DISCHARGE(w) 的 调用 过 程 中 ， 
指针 u. current 仅仅 遍历 了 链表 的 一 部 分 ， 程 序 就 结束 并 返回 了 。 此 时 ， 我 们 可 以 针对 其 他 结 点 
调用 DISCHARGE(w) 操 作 ， 但 u. current 指针 将 在 下 一 次 对 DISCHARGE(w) 的 调用 中 继续 在 链 
表 中 向 前 推进 。 现 在 考虑 对 链表 进行 一 次 完整 遍历 时 所 发 生 的 事情 。 在 一 次 完整 的 遍历 中 ， 指 针 
在 开始 时 指 问 邻 接 链表 u NN 的 开头 ， 结 束 时 指向 链表 末尾 的 后 面 一 个 位 置 ， 即 u. current=NIL, 
— H u. current 指针 到 达 了 链表 的 末尾 ， 算 法 就 将 对 结 点 进行 重 贴标签 操作 ， 并 开始 新 一 轮 的 
遍历 。 在 一 次 遍历 中 ， 如 果 u. current 指针 要 推进 到 结 点 Ex NEM, WAC, v) DEER 
法 第 6 行 的 测试 中 被 判定 为 非 许可 边 。 因 此 ， 在 该 次 遍历 结束 时 ， 每 条 从 结 点 u 发 出 的 边 都 在 遍 
历 的 某 个 阶段 被 裁定 为 非 许 可 边 。 这 里 需要 注意 的 关键 是 ， 在 一 次 遍历 的 末尾 ， 所 有 从 结 点 uR 
出 的 边 仍然 是 非 许 可 边 。 为 什么 ?根据 引 理 26. 27， 对 于 推送 操作 来 说 ， 不 管 流 是 从 哪个 结 点 所 
推送 出 来 的 ， 都 不 能 创建 任何 许可 边 。 因 此 ， 任 何许 可 边 必 和 定 由 重 贴标签 操作 所 创建 。 但 结 点 zx 
在 遍历 中 并 没有 进行 重 贴标签 操作 ， 根 据 引 理 26. 28， 任 何在 遍历 (这 是 调用 DISCHARGE(v) W 
结果 ) 中 被 重 贴 标签 的 结 点 v 在 重 贴 标签 操作 后 将 没有 进入 的 许可 边 。 因 此 ， 在 遍历 结束 时 ， 所 
有 从 结 点 发 出 的 边 都 仍 是 非 许可 边 ， 而 这 就 完成 了 我 们 的 证 明 。 i 

前 置 重 贴标签 算法 

在 前 置 重 贴标签 算法 中 ， 我 们 维持 一 个 链表 LL， 该 表 由 V 一 {s，z} 中 的 所 有 结 点 构成 。 这 里 
WBE ie, R L 中 的 结 点 均 按照 许可 网 络 里 面 的 拓扑 排序 次 序 存放 ， 就 如 我 们 将 在 下 面 
的 循环 不 变 式 中 所 看 到 的 。( 由 引 理 26. 26 可 知 ， 许 可 网 络 是 一 个 有 向 无 环 图 。) 

在 前 置 重 贴标签 算法 的 伪 代 码 中 ， 假 定 针 对 每 个 结 点 w， 邻 接 链 表 u N 都 已 经 被 创立 。 该 算 
法 同时 还 假定 u. next 指针 指 癌 链表 L 中 紧 随 结 点 2 的 结 点 ( 结 点 2 的 后 继 结 点 )， 并 且 ， 与 往常 
一 样 ， 如 果 结 点 是 链表 的 最 后 一 个 结 点 ， 则 u. next=NIL, 

RELABEL-TO-FRONT(G, s,2) 


1 INITIALIZE-PREFLOW(G,s) 
2 L=G.V—{s,t},in any order 
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3 for each vertex u€ G.V—({s,t} 
4 u. current=u. N. head 

5 u=L. head 

6 while uANIL 

7 old-height=u. h 

8 

9 


DISCHARGE(u) 

if u.h>old-height 
10 move u to.the front of list L 
l1 u~u. next 


前 置 重 贴标签 算法 的 工作 过 程 如 下 : 算法 第 1 行 对 网 络 的 预 流 和 高 度 进行 初始 化 ， 初 始 化 所 用 到 的 
值 与 通用 推送 - 重 贴标签 算法 所 用 的 值 相同 。 算 法 第 2 行 对 链表 工 进行 初始 化 ， 在 该 步 初始 化 操作 结束 
时 ， 链 表 工 中 包含 的 是 所 有 可 能 出 现 潜在 溢出 的 结 点 ， 而 结 点 之 间 的 次 序 则 是 任意 的 。 算 法 第 3 一 4 行 对 
每 个 结 点 的 current 指针 进行 初始 化 ， 使 其 指向 结 点 u 的 邻接 链表 的 第 一 个 结 点 ( 表 头 结 点 )。 

如 图 26-10 所 示 ， 算 法 第 6 一 11 行 的 while 循环 对 链表 工 进行 遍历 并 释放 结 氮 。 算 法 第 5 行 
从 链表 的 第 一 个 结 点 开始 检查 。 每 次 通过 while 循环 时 ， 算 法 第 8 行 对 结 点 进行 释放 操作 。 如 
果 结 点 4 在 DISCHARGE 过 程 执行 了 重 贴标签 操作 ， 则 算法 的 第 10 行 负责 将 其 移动 到 链表 工 的 
最 前 面 。 对 于 结 点 4 来 说 ， 通 过 比较 其 释放 操作 前 的 高 度 与 释放 后 的 高 度 ( 第 9 行 )， 可 以 判断 出 
结 点 u 是 否 执 行 了 重 贴标签 操作 。 结 点 在 释放 前 的 高 度 保存 在 算法 第 7 行 的 变量 old-height 中 。 
算法 第 11 行 以 链表 工 中 % 结 点 后 面 的 一 个 结 点 作为 下 一 次 迭代 的 基点 。 如 果 算法 第 10 行 将 结 点 
u 移 到 了 链表 的 最 前 面 ， 则 下 一 次 迭代 所 用 到 的 结 点 是 在 新 位 置 上 的 后 继 结 点 。 
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图 26-10 ”前 置 重 贴标签 算法 的 执行 过 程 。(a) 在 while 循环 第 一 次 迭代 之 前 的 流 网 络 。 在 初始 时 ， 有 26 个 
单位 的 流 从 源 结 点 s 发 出 。 图 的 右面 显示 的 是 初始 链表 世 王 (z，y， 罗 。 在 初始 情况 下 ，z* 一 z。 在 
链表 工 中 的 每 个 结 点 之 下 为 该 结 点 的 邻接 链表 ， 其 中 我 们 在 当前 的 邻 结 点 上 加 了 阴影 。 算 法 对 
结 点 z 进 行 释放 操作 ， 在 该 释放 操作 中 ， 我 们 对 其 进行 了 重 贴标签 操作 ， 操 作 后 结 点 工 的 高 度 为 
1， 此 外 ， 算 法 还 将 结 点 守 的 5 个 单位 的 超额 流量 推送 到 结 点 >， 剩 下 的 7 个 单位 的 超额 流量 推送 
到 终结 点 t。 因 为 z 执行 了 重 贴 标签 操作 ， 所 以 算法 将 其 移动 到 链表 上 的 最 前 面 ， 在 本 图 中 ， 这 
种 移动 并 不 改变 链表 工 的 结构 。(b) 在 结 点 ca, BRL 中 的 下 一 个 被 释放 的 结 点 是 结 点 Yo 
图 26-9 描述 的 是 在 这 种 情况 下 释放 结 点 y 的 详细 过 程 。 因 为 结 点 > 也 执行 了 重 贴标签 操作 ， 它 
也 被 移动 到 链表 工 的 开头 。(c) 现 在 ， 结 点 r ER L 中 位 于 结 点 y 的 后 面 ， 因 此 它 再 次 被 释放 ， 
将 所 有 5 个 单位 的 超额 流量 推送 到 终结 点 上 因为 结 点 z 在 本 次 释放 操作 中 没有 执行 重 贴标签 操 
作 ， 所 以 它 在 链表 工 中 的 位 置 保持 不 变 。(d) 由 于 结 点 z 在 链表 革 中 紧 随 着 结 点 zx， 故 该 结 点 将 
被 释放 。 其 高 度 在 重 贴标签 操作 后 为 1， 其 所 有 8 个 单位 的 超额 流量 都 被 推送 到 终结 点 :。 因 为 
结 点 z 执行 了 重 贴标签 操作 ， 所 以 其 也 被 移动 到 链表 工 的 前 端 。(e) 结 点 y 现在 位 于 结 点 z 之 后 ， 
因此 将 再 次 被 释放 。 但 是 因为 结 点 y 已 经 没有 超额 流量 ，DISCHARGE 操作 将 立即 返回 ， 结 点 y 
维持 在 链表 工 中 的 位 置 不 变 。 在 此 之 后 ， 结 点 z 被 释放 。 因 为 结 点 xz 也 已 经 没有 超额 流量 ， 
DISCHARGE 操作 将 再 一 次 返回 ， 结 点 z 维持 原 位 置 不 变 。 此 时 ， 前 置 重 贴标签 算法 到 达 链 表 L 
的 末尾 ， 算 法 终止 。 这 时 再 没有 溢出 的 结 点 ， 预 流 就 是 一 个 最 大 流 


44 。 第 六 部 分 图 A 法 


0 
5 L x spo z 
4 N s 洒 % 
3 y x y 
2 Z z t 
1 t 
0 
6 
5 + bye? 
4 $i SX 
3 x Y Y 
2 z z t 
0 
6 
5-4 L: y x Z 
4 N: si s X 
3 x Y Y 
2 z z t 
| t 
0 
6 
54 L z y x 
4 Ni x ig: s 
3 

y x y 
2 A z z 
1 t 
0 





图 26-10 (28) 


为 了 证 明 前 置 重 贴标签 算法 确实 计算 出 了 一 个 最 大 流 ， 我 们 将 证 明 它 就 是 通用 推送 - 重 贴 标 
签 算法 的 一 种 实现 。 首 先 ， 我 们 观察 到 ， 该 算法 仅 在 推送 操作 和 重 贴标签 操作 适用 的 时 候 才 执行 
这 些 操作 ， 因 为 引 理 26. 29 保证 DISCHARGE 操作 只 在 这 些 操作 适用 的 情况 下 才 调 用 它们 。 午 
下 的 只 需要 证 明 当 前 置 重 贴标签 算法 终止 时 ， 没 有 任何 基本 的 操作 可 以 适用 。 正 确 性 论断 的 条 
余部 分 依赖 于 下 面 的 循环 不 变 式 : 

在 前 置 重 贴标签 算法 第 6 行 的 测试 中 ， 链 表 工 是 可 允许 网 络 Gjs 二 (V，Eji) 中 结 点 的 一 个 
拓扑 排序 ， 并 且 在 链表 工 中 位 于 结 点 w 前 面 的 结 点 没有 超额 流量 。 

初始 化 : 执行 INITIALIZE-PREFLOW 操作 后 立即 可 得 ，s.h 二 |V| 并 且 对 于 所 有 的 
vEV— {s}, vh=0, AFIVIS2 AAV 至 少 包含 源 结 点 s 和 汇 点 1)， 没 有 边 是 许可 边 。 因 此 
Ej 二名， 并 且 和 集合 V 一 {s， 人 中 结 点 之 间 的 任意 次 序 都 是 Cr 的 一 个 拓扑 排序 。 
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另外 ， 因 为 在 初始 情况 下 ， 结 点 4 是 链表 L 的 表 头 ， 它 前 面 没 有 其 他 结 点 ， 因 此 在 其 前 面 没 
有 超额 流量 的 结 点 。 

保持 : 要 证 明 while 循环 的 每 次 迭代 都 维持 拓扑 排序 的 次 序 ， 首 先 观察 到 许可 网 络 只 在 推送 
操作 和 重 贴标签 操作 中 发 生 改 变 。 根 据 引 理 26. 27， 推 送 操作 不 能 将 边 改 变 为 许可 边 。 因 此 ， 只 
有 重 贴标签 操作 能 够 创建 许可 边 。 但 是 ， 在 对 一 个 结 点 w 进行 重 贴标签 操作 后 ， 根 据 引 理 
26. 28， 不 存在 进入 结 点 & 的 许可 边 ， 但 可 能 有 从 结 点 x 发 出 的 许可 边 。 因 此 ， 通 过 将 u 移动 到 
ERL 的 前 端 ， 该 算法 确保 所 有 从 u 发 出 的 许可 边 都 满足 拓扑 排序 的 次 序 。 

为 了 证 明 在 链表 工 中 处 于 结 点 前 面 的 结 点 都 没有 超额 流量 ， 我 们 把 下 一 个 次 迭代 中 将 
作为 结 点 “的 结 点 标记 为 w 。 在 下 一 次 迭代 中 位 于 结 点 w 之 前 的 结 点 包括 当前 的 结 点 u( 因 
为 算法 第 11 行 )， 以 及 要 人 么 没有 其 他 结 点 (如 果 结 点 执行 了 重 贴标签 操作 要么 与 原来 相同 
的 结 点 (如 果 结 点 x 没 有 执行 重 贴标签 操作 ) 。 当 对 结 点 u 进行 释放 时 ， 结 点 x 在 此 操作 之 后 
将 没有 超额 流量 。 因 此 ， 如 果 结 点 在 释放 过 程 中 执行 了 重 贴 标签 操作 ， 则 所 有 位 于 结 点 w 
之 前 的 结 点 都 没有 超额 流量 。 如 果 结 点 在 释放 过 程 中 没有 执行 重 贴标签 操作 ， 则 链表 中 位 
于 该 结 点 之 前 的 结 点 中 没有 任何 结 点 在 该 次 释放 操作 中 获得 多 余 的 流量 ， 因 为 链表 工 在 释放 
操作 的 整个 过 程 中 都 维持 着 拓扑 排序 的 次 序 ( 正 如 前 面 已 经 指出 的 ， 许 可 边 只 能 由 重 贴标签 
操作 创建 ， 而 不 能 由 推送 操作 创建 )， 因 此 每 次 推送 操作 所 导致 的 超额 流量 只 能 往 链表 后 面 
的 结 点 ( 结 点 > 或 已 上 移动 。 再 一 次 ， 位 于 结 点 u 之 前 的 结 点 中 没有 超额 流量 。 

终止 : 当 循 环 终止 时 ， 结 点 刚刚 超过 了 链表 工 的 末尾 ， 因 此 ， 循 环 不 变 式 确保 每 个 结 
点 的 超额 流量 为 0。 因 此 ， 没有 基本 操作 可 以 应 用 。 

前 置 重 贴 标签 算法 的 分 析 

我 们 现在 来 证 明 前 置 重 贴标签 算法 在 任何 流 网 络 G 二 (V，E) 上 的 运行 时 间 为 O(V)。 因 为 
该 算法 是 通用 推送 - 重 贴标签 算法 的 一 种 实现 ， 我 们 将 充分 利用 推论 26. 21 的 结论 。 该 推论 告诉 
我 们 ， 每 个 结 点 的 重 贴标签 操作 次 数 不 会 超过 OW, ， 而 所 有 结 点 的 重 贴标签 操作 的 总 次 数 不 会 
超过 O( ) 。 此 外 ， 练 习 26. 4-3 告诉 我 们 ， 算 法 花 在 重 贴标签 操作 上 的 总 时 间 不 会 超过 OCVE)， 
而 引 理 26. 22 则 告诉 我 们 ， 饱 和 推送 操作 的 总 次 数 为 OCVE)。 

定理 26.30 前 置 重 贴标签 算法 在 任何 流 网 络 G 二 (V，E) 上 的 运行 时 间 为 O(V3 ) 。 

证 明 ”考虑 前 置 重 贴 标签 算法 中 两 次 相 邻 的 重 贴标签 操作 之 间 的 “区 段 >。 这 样 的 区 段 一 共 
有 OCV?) 个 ， 因 为 一 共有 OV ) 个 重 贴标签 操作 。 每 个 区 段 由 最 多 |V | 次 DISCHARGE 调用 所 
组 成 。 如 果 DISCHARGE 操作 不 执行 重 贴标签 操作 ， 则 下 一 次 对 DISCHARGE 的 调用 针对 的 将 
是 链表 工 中 更 往 后 的 结 点 ， 而 链表 工 的 长 度 少 于 |V| 。 如 果 DISCHARGE 执行 了 重 贴标签 操作 ， 
下 一 次 对 DISCHARGE 的 调用 将 属于 一 个 不 同 的 区 段 。 由 于 每 个 区 段 至 多 包含 1V | 次 对 
DISCHARGE 的 调用 ， 而 一 共 只 有 OW) T+ KER, Alt, BWR RELABEL-TO-FRONT 第 8 行 的 
DISCHARGE 被 调用 的 总 次 数 为 0(V)。 因 此 ， 算 法 RELABEL-TO-FRONT 中 while 循环 所 执 
行 的 总 工作 ， 除 掉 DISCHARGE 中 所 执行 的 工作 后 ， 最 多 为 O(V’)。 

现在 必须 对 算法 执行 过 程 中 DISCHARGE 中 的 工作 进行 限定 。DISCHARGE 操作 中 的 
while 循环 的 每 次 迭代 执行 三 种 操作 中 的 一 种 。 下 面 将 对 执行 每 种 操作 的 总 工作 量 分 别 进行 
分 析 。 

首先 来 分 析 重 贴标签 操作 (算法 的 第 4 一 5 行 )。 练 习 26. 4-3 为 所 有 OCV?) 个 重 贴标签 操作 的 
运行 时 间 提 供 一 个 OC(VE) 的 上 界 。 

现在 ， 假 定 算法 第 8 行 的 DISCHARGE 操作 对 指针 u. current 指针 进行 了 更 新 。 在 每 次 对 一 
个 结 点 v 进行 重 贴 标签 操作 时 ， 更 新 操作 将 发 生 O(degree(z) ) 次 ， 对 于 所 有 结 点 来 说 ， 这 种 操作 
一 共 发 生 OCV + degree(z) ) 次 。 因 此 ， 根 据 握手 引 理 (练习 B. 4-1)， 对 于 所 有 的 结 点 ， 将 指针 在 
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邻接 链表 中 往 前 推进 的 总 工作 量 为 OCVE)， 

DISCHARGE 所 执行 的 第 三 种 操作 是 推送 操作 (算法 第 7 行 )。 我 们 已 经 知道 饱和 推送 操作 的 
总 次 数 为 O(VE)。 注 意 观察 ， 如 果 算 法 执行 一 个 非 饱和 推送 操作 ，DISCHARGE 将 立即 返回 ， 
因为 推送 操作 会 将 超额 流量 缩减 到 0。 因 此 ， 在 每 次 DISCHARGE 调用 中 最 多 只 能 有 一 次 非 饱和 
推送 操作 。 正 如 我 们 已 经 看 到 的 ，DISCHARGE 被 调用 的 次 数 为 OC(V*)， 因 此 ， 用 于 执行 非 饱和 


推送 操作 的 总 时 间 成 本 为 OV). 
因此 ， 前 置 重 贴标签 算法 的 总 运行 时 间 为 OCV* 十 VE)， 也 就 是 OCV*)。 E 

练习 

26.5-1 请 以 图 26-10 所 示 的 方式 ， 在 图 26-1(a) 所 示 的 流 网 络 上 演示 前 置 重 贴标签 算法 的 执行 


*26. 5-2 


思考 题 


过 程 。 假 设 链表 工 中 结 点 的 最 初 顺序 是 (vw，v,。，wvw，v);， 并 且 各 个 邻接 链表 的 内 
容 如 下 : 

W. N= (s,v ,Us) 

U2» N= (550; sU s04? 

03» N= (vi ,vw ,vs ,> 

vw. N= (U2 sust) 
我 们 希望 以 如 下 方式 来 实现 推送 - 重 贴标签 算法 : 在 算法 中 维持 一 个 先进 先 出 的 队列 ， 
用 来 存放 溢出 结 点 。 算 法 重复 将 队列 头 部 的 结 点 进行 释放 ， 任 何在 释放 前 没有 溢出 但 在 
释放 后 出 现 溢出 的 结 点 均 被 放置 在 队列 的 末尾 。 在 队列 头 部 的 结 点 被 释放 后 ， 该 结 点 即 
被 删除 。 当 队列 为 空 时 ， 算 法 终止 。 说 明 如 何 实现 该 算法 ， 以 便 在 OV ) 时 间 内 计算 出 
一 个 最 大 流 。 
WEB: 如 果 RELABEL 操作 对 u. h 的 更 新 只 是 简单 地 计算 wu.h==wu.h 十 1， 通 用 算法 仍然 
能 够 正确 工作 。 另 外 ， 请 说 明 该 变化 对 前 置 重 贴标签 算法 的 分 析 会 有 何 种 影响 ? 
证 明 : 如 果 总 是 释放 高 度 最 高 的 溢出 结 点 ， 则 可 以 使 推送 - 重 贴标签 算法 在 OCV 7 时间 
内 完成 。 
假定 在 推送 - 重 贴标签 算法 执行 过 程 中 的 某 个 时 刻 ， 存 在 一 个 整数 0 二 k 二 |V| 一 1, 使 
得 没有 任何 一 个 结 点 的 高 度 为 &( 即 不 存在 结 点 uv， 使 得 vA=k). WE: 所 有 高 度 大 于 
k 的 结 点 都 位 于 某 个 最 小 切割 的 源 结 点 这 一 边 。 如 果 这 样 一 个 & 存 在 ， 则 跨越 式 启发 
(gap heuristic) 将 对 每 个 v. h>k 的 结 点 vEV 一 {s} 进 行 更 新 ,将 vh RBH max(v.h, 
1V| 十 1)。 证 明 ; 结果 属性 h 是 一 个 高 度 函 数 。( 在 实际 中 ， 跨 越 式 启发 对 于 高 效率 地 
实现 推送 - 重 贴标签 算法 起 着 关键 作用 。) 


26-1 GARA) nXn 的 网 格 是 由 ITA n 列 结 点 所 构成 的 无 回 图 ， 如 图 26-11 所 示 。 我 们 将 


位 于 第 i 行 和 第 ; 列 的 结 点 表示 为 (i，j)。 除 了 位 于 边界 的 结 点 外 ， 网 络 中 其 他 所 有 结 点 
都 有 刚好 4 个 邻 结 点 。 边 界 结 点 指 的 是 满足 iSl Sn, j5 Min 的 结 点 (i, j). 

在 这 样 的 网 格 里 给 定 mx MEIRA Cas Wi) > (Tzs Ya)s tts (Tms Yn» WEBB 
做 的 事情 是 判断 是 否 存在 从 这 些 起 始 结 点 到 任意 m 个 不 同 的 边界 结 点 之 间 的 m 条 结 点 分 
离 的 路 径 ( 每 条 路 径 之 间 没 有 共同 结 点 )。 例 如 ， 在 图 26-11(a) 所 示 的 网 格 中 有 一 个 逃逸 线 
路 ,但 图 26-11(b) 的 网 格 则 没有 逃逸 线路 。 
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图 26-11 用 于 逃逸 问题 的 网 格 。 黑 色 的 点 为 起 始 结 点 ， 其 他 结 点 为 白色 。(a) 有 逃逸 
线路 的 网 格 ， 逃 逸 线路 上 都 加 了 阴影 。(b) 没 有 逃逸 线路 的 网 格 

a. 考虑 一 个 结 点 和 边 都 有 容量 限制 的 流 网 络 。 也 就 是 说 ， 进 入 任何 给 定 结 点 的 正 流 都 要 

受到 容量 的 限制 。 证 明 : 在 一 个 结 点 和 边 都 有 容量 的 流 网 络 中 确定 最 大 流 的 问题 可 以 

归 约 为 同等 规模 流 网 络 中 的 普通 最 大 流 问题 。 
b. 给 出 一 个 有 效 的 算法 来 解决 逃逸 问题 ， 并 分 析 算 法 的 运行 时 间 。 
(最 小 路 径 履 盖 问 题 ) 有 向 图 G 二 (V，E) 的 一 个 路 径 覆 盖 是 指 一 个 结 点 不 相交 的 路 径 集 
合 P， 使 得 集合 V 中 的 每 个 结 点 恰好 在 P 的 一 条 路 径 上 出 现 。 路 径 的 起 始 结 点 和 终结 点 
可 以 是 任意 结 点 ， 也 可 以 有 任意 的 长 度 ， 包 括 0 长 度 。 图 G 的 一 个 最 小 路 径 覆 盖 是 一 个 包 
合 路 径 条 数 最 少 的 路 径 和 覆盖 。 
a. 个 有 效 算法 来 找到 有 向 无 环 图 G 二 (V，E) 的 一 个 最 小 路 径 覆 盖 。( 提 示 : 假定 

二 {1，2，…，n)}， 然 后 构建 图 G = 二 (V ，E')， 其 中 
V 一 {2 sta Ly} U { Yo 9 V1 9 Yn) 
= (zoT) :i E V} U (yoyo) :i E V} U (Ciy): Gj) € E) 

然后 在 图 G 上 运行 最 大 流 算 法 。) 
b. 你 的 算法 是 否 适用 于 带 环 路 的 有 向 图 ， 请 详细 解释 。 
(算法 咨询 ) Goe 教授 希望 创办 一 家 算法 咨询 公司 。 教 授 选 出 了 算法 中 的 个 重要 子 领 
域 ( 大 概 相当 于 本 书 的 每 个 不 同 部 分 )， 并 用 集合 A 二 (A!，A，, ，…，A,) 予 以 表示 。 在 每 
AF HRA, ARTA 美元 聘请 该 领域 的 一 位 专家 。 咨 询 公 司 已 经 列 出 了 一 个 潜在 
工作 的 集合 J 二 (1， Jos uae Jala 为 了 完成 工作 Ji» 公司 需要 在 子 领域 的 子 集合 REA 
中 聘请 专家 。 每 位 专家 可 以 同时 从 事 多 项 工作 。 如 果 公 司 选择 接受 工作 J;， 则 公司 必须 
在 集合 R 中 的 所 有 子 领 域 中 聘请 专家 ， 同时， 公司 从 该 项 目 中 可 以 收入 的 营业 额 
Ap: 美元 。 

Gore 教授 的 工作 是 决定 聘请 哪些 子 领域 的 专家 ， 接 受 哪些 工作 ， 以 便 使 公司 的 净 营 业 额 
达到 最 高 ， 这 里 净 营 业 额 指 的 是 从 工作 中 获得 的 总 输入 减 去 聘请 专家 的 总 成 本 的 差额 。 
考虑 下 面 的 流 网 络 G。 该 网 络 包含 一 个 源 结 点 s, BAL, Ars ot, Ars WA Si» 

Jes tts Ins WR—-MEA to 对 于 &=1，2，…，7， 流 网 络 包含 一 条 边 (5，A.) ， 其 容 
量 为 c《(s，Ai)= 二 6， 而 对 于 i 二 1，2,，…，m， 流 网 络 包 含 一 条 边 (J;，t)， 容 量 为 
cJis t)= pi MP R=1, 2, +, nn 和 i 二 1]，2,，…，m， 如 果 A € R;， 则 图 G 包 含 边 
(A, Ji), 其 容量 为 c(A,, J:i) =., 
a. 证 明 ， 如 果 对 于 一 个 有 限 容量 的 切割 (S，T)， 有 J;ET， 则 对 于 每 个 结 点 A; € R;:， 有 

AET. 
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b. 请 说 明 如 何 从 图 G 的 一 个 最 小 切割 的 容量 和 给 定 的 p; 值 中 计算 公司 的 最 大 净 收 入 。 

c. 请 给 出 一 个 有 效 算法 来 判断 哪些 工作 应 该 接受 ， 哪 些 专家 应 该 聘请 。 分 析 算 法 的 运行 
TEJ, Am, nA r=}, |R; | 来 予以 表示 。 

(最 大 流 的 更 新 ) 设 G=(V， 了) 是 一 个 源 结 点 为 s 汇 点 为 1 的 流 网 络 ， 其 容量 全 部 为 整数 

值 。 假 定 我 们 已 经 给 定 G 的 一 个 最 大 流 。 

a 如 果 将 单条 边 (u，wv) EE 的 容量 增加 1 个 单位 ， 请 给 出 一 个 OC(V 十 E) 时 间 的 算法 来 对 
最 大 流 进行 更 新 。 

b 如 果 将 单条 边 (u，v) EE 的 容量 减少 1 个 单位 ， 请 给 出 一 个 OC(V 十 E) 时 间 的 算法 来 对 
最 大 流 进行 更 新 。 

(使 用 伸缩 操作 来 计算 最 大 流 ) 设 G=(V，E) 为 一 个 源 结 点 为 s 汇 点 为 的 流 网 络 ， 对 于 

每 条 边 (u，v) EE， 其 容量 clu, VIERE. 设 C= maxc(u, v). 

a. WH: 图 G 的 一 个 最 小 切割 的 容量 最 多 为 CIE|。 

b. 对 于 给 定数 值 K， 说 明 如 何在 OCE) 时 间 内 找到 一 条 容量 至 少 为 K 的 增 广 路 径 ， 假 如 这 
样 的 路 径 存 在 。 

使 用 下 面 的 经 过 修改 的 FORD-FULKERSON-METHOD 来 计算 图 G 的 最 大 流 : 


MAX-FLOW-BY-SCALING(G, s,t) 
1 C=maxw,werc (u,v) 

2 initialize flow f to 0 

3 天 一 外 ed 

4 while 天 之 1 

5 while there exists an augmenting path p of capacity at least K 
6 augment flow f along p 

7 K=K/2 

8 


return f 


c. 证 明 : 算法 MAX-FLOW-BY-SCALIING 返回 的 是 一 个 最 大 流 。 
d. 证 明 : 每 次 在 算法 第 4 行 被 执行 时 ， 残存 网 络 G/ 的 一 个 最 小 切割 的 容量 最 多 为 2K|E|， 
e WEAR: 对 于 每 个 数值 K， 算 法 第 5 一 6 行 的 内 部 while 循环 执行 的 次 数 为 O(E) 次 。 
f. 证 明 : 算法 MAX-FLOW-BY-SCALING FW OCE jgC) 时 间 内 实现 。 
(Hopcroft-Karp 二 分 匹配 算法 ) 在 本 题 中 ， 为 了 找到 一 个 二 分 图 的 最 大 匹配 ， 我 们 将 描 
述 一 个 由 Hopcroft 和 Karp 提出 的 更 快速 算法 。 算 法 的 运行 时 间 为 OOVVE ) 。 给 定 一 个 无 
向 二 分 图 G 二 (V，E)， 其 中 V= 二 LUR 并 且 所 有 的 边 都 恰好 有 一 个 端点 在 集合 L P., wM 
ARG 的 一 个 匹配 。 对 于 图 G 中 的 一 条 简单 路 径 已 ， 如 果 该 路 径 的 起 点 是 工 中 一 个 未 匹 
配 的 结 点 ， 终 结 点 是 集合 R 中 一 个 未 匹配 的 结 点 ， 而 路 径 上 的 边 交 替 属 于 MAE-M, 
则 称 路 径 已 是 一 条 相对 于 M 的 增 广 路 径 ( 该 增 广 路 径 的 定义 与 流 网 络 中 的 增 广 路 径 相 关 ， 
但 并 不 相同 )。 在 本 题 中 ， 我们 将 一 条 路 径 看 做 是 一 系列 的 边 ， 而 不 是 一 系列 的 结 点 。 一 
条 关于 匹配 M 的 最 短 增 广 路 径 是 一 条 包含 最 少 边 数 的 增 广 路 径 。 
给 定 两 个 集合 A 和 B， 对 称 差 AB 定义 为 (A 一 B)U(B 一 A)， 即 仅 在 一 个 集合 中 出 
现 的 元 素 。 
a. WEAR: 如 果 M 是 图 G 的 一 个 匹配 ， 忆 是 一 条 关于 M 的 增 广 路 径 ， 则 对 称 差 MOP 也 是 
一 个 匹配 并 且 | MP | = | M| Tla 另外 ， TEAR : 如 果 P,, P2, meg P, 为 关于 M 的 结 
点 分 离 的 增 广 路 径 ， 则 对 称 差 MD(CPiU P;U…U Pi) 是 一 个 基数 为 |M| tk 的 匹配 。 
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下 面 是 Hopcroft-Karp 二 分 匹配 算法 的 一 般 结 构 ， 
HOPCROFT-KARP(G) 
1 M=Ø 
2 repeat 
3 let P= {P,P,…,P,}be a maximal set of vertex-disjoint 
shortest augmenting paths with respect to M 
4 M=M@Q(P, UP, U- UP,) 
5 until == 
6 return M 


该 问题 的 剩余 部 分 要 求 读者 分 析 上 述 算 法 的 迭代 次 数 ( 即 repeat 循环 的 迭代 次 数 ) 并 给 
出 算法 第 3 行 的 一 种 实现 。 
给 定 图 G 的 两 个 匹配 M AM", 证 明 : 图 G =V, MM ) 中 的 每 个 结 点 的 度数 最 多 
为 2。 同 时 证 明 图 G 是 由 一 些 不 相交 的 简单 路 径 或 环 路 组 成 。 另 外 ， 试 说 明 每 条 这 样 
的 简单 路 径 或 环 中 的 边 交 蔡 属 于 MAM". 证明 : 如 果 |M| 委 |M |; N MDM "至少 
BEIM | 一 | MI 条 关于 M 的 结 点 不 相交 的 增 广 路 径 。 

设 /为 关于 匹配 M 的 最 短 增 广 路 径 的 长 度 ， Py, Poy se, Py 为 关于 M 的 长 度 为 /7 
的 结 点 不 相交 增 广 路 径 的 最 大 集合 。 设 M =MHCP UP: U UP), HERE P Et 
对 于 M 的 一 条 最 短 增 广 路 径 。 
HERH: 如 果 路 径 P Hia Pi, Poy sr, Py 之 间 没 有 共同 结 点 ， WW BRE 忆 有 多 于 /条 边 。 
现在 假定 路 径 卫 与 路 径 P，P,，…，P; 之 间 存 在 共同 结 点 。 设 A 为 边 CMM OP 
的 集合 。 证明: A==(P1UPU…UP)@BP 并 且 |A| 宇 (十 1)1。 同 时 证 明 ， BR P 
合 的 边 多 于 i 条 .。 
证 明 : 如 果 关 于 M 的 一 条 最 短 增 广 路 径 有 /i 条 边 ， 则 最 大 匹配 的 规模 至 多 
为 |M| 十 |V|/(C 十 1)。 
. 证 明 : Hopcroft-Karp 二 分 匹配 算法 中 repeat 循环 的 迭代 次 数 至 多 为 2 VV。( 提 示 : 在 
第 VV 次 迭代 后 ，M 能 增长 多 少 ?) 


Ss 


a © 


© 


amr) 


g 给 出 一 个 OGE) 时 间 复 杂 性 的 算法 ， 可 以 找到 一 个 关于 给 定 匹配 M 的 结 点 不 相交 最 短 
r ía Pi’, P, ，…， 书 的 最 大 集合 。 证 明 : 算法 HOPCROFT-KARP 的 总 运行 时 间 
为 OWVE). 
本 章 注 记 


Ahuja, Magnanti 和 Orlin[7], Even[ 103], Lawler[ 224], Papadimitriou 和 Steiglitz| 271 ] 和 
TarjanL330 都 是 网 络 流 及 相关 算法 方面 的 很 好 的 参考 资料 。Goldberg、Tardos 和 Tarjan[ 139] 对 
网 络 流 问 题 的 各 种 算法 进行 了 概括 ，SchrijverL304] 则 是 一 篇 有 趣 的 关于 网 络 流 领域 的 历史 发 展 
的 评述 。 

Ford-Fulkerson 方法 是 由 Ford 和 Fulkerson| 109 | 提出 的 ， 他 们 首次 形式 化 地 研究 了 网 络 流 领 
域 中 的 诸多 问题 ， 包 括 最 大 流 问 题 和 二 分 匹配 问题 。Ford-Fulkerson 方法 的 许多 早期 实现 都 使 用 
了 广度 优先 搜索 来 寻找 增 广 路 径 。Edmonds 和 Karpl 102], Dinicl 89 ] 则 相互 独立 地 证 明了 这 种 策 
略 是 一 种 多 项 式 时 间 算 法 。 一 个 与 此 相关 的 使 用 块 流 (blocking flow) 的 思路 也 是 由 DinicL89j 首 先 
提出 的 。KarzanovL202] 则 首先 提出 了 预 流 的 概念 。 推 送 - 重 贴标签 方法 则 归功 于 Goldberg| 136], 
Goldberg 和 TarjanL140]。Goldberg 和 Tarjan 给 出 了 一 个 时 间 复 杂 度 为 OV ) 的 算法 ， 该 算法 使 
用 一 个 队列 来 维持 一 个 溢出 结 点 的 集合 ， 他 们 同时 还 给 出 了 一 个 使 用 动态 树 的 算法 ， 其 运行 时 
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EA OCVE lgCV2/E 十 2))。 其 他 一 些 研 究 人 员 则 发 明了 基于 推送 - 重 贴标签 操作 的 最 大 流 算法 。 
Ahuja 和 OrlinL9j 和 Ahuja, Orlin 和 Tarjan[L10j] 给 出 了 使 用 伸缩 操作 来 计算 最 大 流 的 算法 。 
Cheriyan 和 MaheshwariL62] 提 出 了 将 高 度 最 大 的 溢出 结 点 的 流量 推送 出 来 的 思想 。Cheriyan 和 
HagerupL61] 提 出 了 对 邻接 链表 进行 随机 排列 的 想法 ， 一 些 研究 者 L14，204，276] 则 基于 这 一 思 
想 开 发 了 更 为 聪明 的 去 随机 化 操作 ， 从 而 获得 一 系列 更 快 的 算法 。King、Rao 和 TarjanL204] 所 
描述 的 算法 是 这 种 算法 中 最 快 的 ， 其 运行 时 间 为 OVE sven V o 

到 目前 为 止 ， 在 渐 近 意义 上 表现 最 快 的 最 大 流 问 题 算 法 由 Goldberg 和 Rao[L138j] 所 提出 ， 其 
运行 时 间 为 OCmin(V*", EV?) Elg(V?/E+2)|gC), XE C= maxc(x，v)。 该 算法 不 使 用 推送 - 
重 贴标签 方法 ， 而 是 基于 对 块 流 的 寻找 。 以 前 所 有 的 最 大 流 算法 ， 包 括 本 章 所 讨论 的 算法 ， 都 使 

765) ”用 了 距离 的 概念 (推送 - 重 贴 标签 算法 使 用 了 一 个 类 似 概 念 ， 高 度 )， 在 这 些 算法 中 ， 每 条 边 的 隐 

含 长 度 都 为 1。 而 Goldberg 和 Rao[L138j 所 提出 的 新 算法 采取 了 一 种 不 同 的 思路 ， 将 高 容量 边 的 
长 度 赋予 0 值 ， 将 低 容量 边 的 长 度 赋予 1 值 。 非 形式 化 地 ， 根 据 这 些 长 度 ， 从 源 结 点 到 汇 点 的 最 
短路 径 更 可 能 拥有 高 容量 ， 这 意味 着 算法 需要 执行 的 迭代 次 数 将 较 少 。 

在 实际 情况 中 ， 在 基于 增 广 路 径 或 线性 规划 的 最 大 流 问 题 的 解 中 ， 推 送 - 重 贴标签 算法 占据 
了 主导 地 位 。Cherkassky 和 Goldberg[ 63j 给 出 的 研究 说 明了 在 实现 推送 - 重 贴标签 算法 时 使 用 启 
发 式 操作 的 重要 性 。 该 文章 提 到 了 两 种 启发 式 操作 : 第 一 个 启发 式 操作 是 在 残存 网 络 中 周期 性 
地 执行 广度 优先 搜索 来 获取 更 加 精确 的 高 度 值 ， 第 二 个 启发 式 操作 是 所 谓 的 跨越 式 启发 ， 该 启 
发 式 操 作 在 练习 26. 5-5 中 进行 了 描述 。Cherkassky 和 Goldberg 断定 ， 最 好 的 推送 - 重 贴标签 算法 
的 变 体 是 每 次 都 选择 释放 高 度 值 最 大 的 溢出 结 点 。 

到 目前 为 止 ， 最 好 的 解决 最 大 二 分 匹配 问题 的 算法 是 由 Hopcroft 和 Karp[L176j 所 发 现 ， 其 运 
行 时 间 为 OC(YVE)， 该 算法 在 思考 题 26-6 PAR. Lovász 和 PlummerL239] 则 是 匹配 问题 方面 

非常 好 的 参考 书 。 
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这 一 部 分 中 包含 了 一 些 选 编 的 算法 问题 ,扩展 和 补充 了 本 书 中 前 
面 介绍 的 内 容 。 一 些 章 市 介绍 新 的 计算 模型 ， 如 电路 或 者 并 行 计算 机 。 
其 他 的 一 些 章 征 讨论 一 些 特殊 的 领域 ， 如 计算 几何 学 或 者 数论 。 最 后 
两 章 讨论 设计 高 效 算法 的 一 些 已 知 的 局 限 ， 并 介绍 一 些 应 对 这 些 局 限 
的 方法 。 

第 27 章 给 出 一 种 基于 动态 多 线程 的 并 行 计算 模型 。 该 章 首 先 介 绍 
该 模型 的 基本 理论 ， 展 示 如 何 通过 工作 量 和 持续 时 间 来 量化 并 行 性 。 
然后 讨论 了 几 种 非 营 有 趣 的 多 线程 算法 ， 包 括 和 矩阵 相 乘 和 归并 排序 。 

第 28 章 研 究 矩 阵 上 操作 的 高 效 算法 。 该 章 中 展示 两 种 一 般 的 方 
法 一 一 LU 分解 和 LUP 分 解 一 一 通过 高 斯 消 元 法 在 O(n" ) 时 间 内 求解 线性 
方程 组 。 此 外 ， 还 证 明和 矩阵 求 逆 、 和 矩阵 乘法 可 以 在 同样 的 时 间 复杂 度 内 完 
成 。 该 章 最 后 说 明 当 一 个 线性 方程 组 没有 精确 解 时 ， 如 何 计算 最 小 二 乘 的 
近似 解 。 

第 29 章 研究 线性 规划 ， 其 中 在 给 定 有 限 资产 和 竞争 约束 的 前 提 下 ， 
我 们 希望 能 够 最 大 化 或 者 最 小 化 一 个 目标 。 线 性 规划 问题 产生 于 多 种 实际 
应 用 领域 。 这 一 章 中 涵盖 如 何 形式 化 和 解决 线性 规划 问题 的 内 容 。 介 绍 的 
方法 包括 最 上 古老 的 线性 规划 算法 一 一 单纯 形 算法 。 和 本 书 中 很 多 算法 不 同 
的 是 ， 单 纯 形 算法 在 最 坏 情形 下 并 不 能 在 多 项 式 时 间 内 完成 ， 但 是 在 实践 
中 它 相 当 有 效 并 且 得 到 了 广泛 的 应 用 。 

第 30 章 研究 多 项 式 上 的 操作 ， 并 展示 如 何 采用 众所周知 的 信号 处 理 
技术 一 一 快速 健 里 叶 变 换 (FFT) 一 一 在 O(nlgn) 时 间 内 完成 两 个 次 数 为 n 
的 多 项 式 的 乘法 。 该 章 中 还 讨论 了 FFT 的 高 效 实现 方法 ,包括 并 行 电路 。 

第 31 章 展示 整数 数论 算法 。 在 回顾 了 初等 数论 以 后 ， 本 章 介绍 了 计 
算 最 大 公约 数 的 欧 儿 里 得 算法 ， 接 着 给 出 了 求解 模 线 性 方程 和 计算 一 个 整 
数 的 贿 模 另外 一 个 整数 的 算法 。 本 章 还 介绍 了 数论 算法 的 一 个 重要 应 用 : 
RSA 公 钥 加 密 系统 。 这 个 加 密 系统 不 仅 能 够 用 来 加 密 消 息 ， 以 使 攻击 者 


452 © 第 七 部 分 算法 问题 选编 


不 能 阅读 消息 ， 和 而 且 还 能 够 提供 数字 签名 。 接 着 ， 本 章 展示 了 Miller-Rabin 随机 性 素数 测试 ， 应 
用 它 可 以 非常 高 效 地 找到 大 素数 。 最 后 ， 本 章 介 绍 了 Pollard 提出 的 分 解 整数 的 “rho” 启 发 式 算 
法 ， 并 讨论 了 整数 因子 分 解 研究 的 现状 。 

第 32 章 研究 了 一 个 在 文本 编辑 程序 中 经 出 现 的 问题 : 在 给 定 的 文本 字符 哇 中 ， 找 到 一 个 
给 定 模式 字符 串 的 所 有 出 现 位 置 。 在 讨论 朴素 方法 后 ， 本 章 展 示 了 Rabin 和 Karp 的 一 种 很 优美 
的 方法 。 然 后 ， 在 考察 了 一 个 基于 有 限 目 动机 的 高 效 解 决 方法 以 后 ,论述 Knuth-Morris-Pratt 算 
法 ， 它 通过 巧妙 的 预先 处 理 模式 ， 修 改 了 基于 目 动 机 的 算法 以 节省 空间 。 

第 33 章 讨 论 计 算 几 何 中 的 一 些 问题 。 在 讨论 了 计算 几何 的 基本 性 质 后 ， 本 章 展示 了 如 何 采 
用 一 种 "扫除 方法 来 高 效 判断 一 组 线段 是 否 有 交点 。 两 种 找到 一 些 点 集合 凸 包 的 非常 聪明 的 算 
法 (Graham 扫描 算法 和 Jarvis 步 进 算法 ) 也 都 说 明 了 扫除 方法 的 作用 。 本 章 最 后 ， 介 绍 了 从 平面 
中 一 些 给 定点 集合 中 找到 最 邻近 点 对 的 有 效 算 法 。 

第 34 章 讨 论 NP 完全 问题 。 很 多 有 趣 的 计算 问题 都 是 NP 完全 的 ,但 是 至 今 还 没有 解决 这 一 
问题 的 多 项 式 时 间 算 法 。 本 章 展示 了 判别 一 个 问题 是 NP 完全 的 问题 技术 。 许 多 经 典 的 问题 被 证 
明 是 NP 完全 的 : 判别 一 个 图 是 否 有 一 个 哈密 顿 环 ， 判 别 一 个 布尔 表达 式 是 否 是 可 满足 的 ， 以 及 
判别 一 个 给 定 的 整数 集合 是 否 存 在 一 个 子 集 ， 其 元 素 之 和 等 于 给 定 的 目标 值 。 本 章 还 证 明了 著 
名 的 旅行 商 问 题 是 NP 完全 的 。 

第 35 章 说 明 如 何 运用 近似 算法 有 效 地 找到 NP 完全 问题 的 近似 解 。 对 于 一 些 NP 完全 问题 ， 
接近 最 优 解 的 近似 解 很 容易 找到 ， 但 是 对 于 其 他 一 些 NP 完全 问题 ， 即 使 使 用 已 知 的 最 好 的 近似 

770) 算法， 其 性 能 也 随 着 问题 规模 的 增加 而 明显 降低 。 本 章 介绍 了 这 样 一 种 可 能 性 : 对 于 一 些 问 题 ， 
我 们 增加 计算 时 间 ， 就 可 能 获得 更 好 的 近似 解 。 本 章 通 过 讨论 顶点 覆盖 问题 (有 权重 和 没有 权重 
的 情形 )、3-CNF 可 满足 性 的 一 个 优化 版 本 、 旅 行商 问题 、 集 合 履 盖 问 题 ， 以 及 子 集 和 问题 ， 图 
[71] 述 了 这 种 可 能 性 。 
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本 书 中 绝 大 多 数 算 法 都 是 适合 单 处 理 器 计算 机 上 运行 的 串 行 算法 (serial algorithm), ， 即 在 任 
一 时 刻 仅 有 一 条 指令 被 执行 。 本 章 我 们 将 扩展 算法 模型 ， 讨 论 并 行 算法 (parallel algorithm) 。 并 
行 算法 能 够 在 多 处 理 器 计算 机 上 运行 ， 并且 允许 多 条 指令 同时 执行 。 特 别 地 ， 我 们 将 探讨 动态 多 
线程 算法 的 完美 模型 ， 它 适合 算法 的 设计 和 分 析 ， 并 且 能 在 实际 应 用 中 有 效 实现 。 

并 行 计算 机 ( 即 拥 有 多 个 处 理 单元 的 计算 机 ) 已 经 越 来 越 普 遍 ， 它 们 的 价格 和 性 能 差异 非常 
大 。 相 对 便宜 的 台式 机 和 笔记 本 电脑 中 的 片上 多 处 理 器 (chip multiprocessor) 都 包含 一 块 多 核 
(multicore) 的 集成 电路 芯片 ， 该 芒 片 上 装 有 多 个 处 理 “ 核 >?， 每 个 核 是 一 个 完整 的 处 理 器 并 能 访问 
共同 的 存储 器 。 性 价 比 适中 的 是 一 些 单 计 算 机 (常常 是 一 些 简 易 的 PC 类 机 器 ) 构 成 的 集群 ， 它 们 
使 用 特定 网 络 互 连 起 来 。 价 格 最 高 的 是 超级 计算 机 ， 它 们 大 多 使 用 定制 的 体系 结构 和 定制 的 网 
络 来 提供 高 性 能 (每 秒 运行 的 指令 条 数 )。 

多 处 理 器 计算 机 已 经 以 各 种 形式 出 现 了 数 十 年 。 在 计算 机 科学 发 展 的 早期 虽然 计算 界 为 
串 行 计算 建立 了 随机 存 取 的 机 器 模型 ， 然 而 对 于 并 行 计算 ， 却 没有 任何 单一 模型 被 广泛 认可 。 主 
要 原因 是 ， 各 个 供应 商 在 并 行 计算 机 的 体系 结构 模型 上 还 没有 一 致 的 意见 。 例 如 ， 一 些 并 行 计算 
机 具有 共享 存储 (shared memory) 的 特征 ， 其 中 每 个 处 理 器 都 可 以 直接 访问 存储 右 的 任何 位 置 。 
另 一 些 并 行 计算 机 则 采用 分 布 式 存储 (distributed memory) ， 此 时 每 个 处 理 器 的 存储 器 是 私有 的 ， 
为 了 使 一 个 处 理 器 能 访问 另 一 个 处 理 器 的 存储 器 ， 必 须 在 处 理 器 间 发 送 一 条 显 式 消息 。 但 随 着 
多 核 技 术 的 出 现 ， 现 在 每 台新 的 笔记 本 电脑 和 台式 机 器 都 是 一 个 共享 存储 的 并 行 计算 机 ， 看 起 
来 似乎 朝 共享 存储 的 多 处 理 器 方 回 发 展 。 尽 管 这 尚 需 一 些 时 间 来 验证 ， 但 在 本 章 中 ， 我 们 介绍 这 
种 技术 。 

片上 多 处 理 器 和 其 他 共享 存储 并 行 计 算 机 的 编程 都 有 一 个 共同 之 处 ， 就 是 使 用 静态 线程 
(static threading) 。 静 态 线程 提供 了 一 个 “虚拟 处 理 器 ”的 软件 抽象 ， 即 线程 (thread) ， 这 些 线程 
共享 一 个 相同 的 存储 器 。 每 个 线程 维护 一 个 关联 的 程序 计数 器 ， 并 能 与 其 他 线程 相互 独立 地 执 
行 代 码 。 操 作 系统 加 载 一 个 线程 到 处 理 器 上 执行 ， 并 且 在 其 他 的 线程 需要 运行 时 再 把 它 交换 出 
来 。 虽 然 操 作 系 统 允 许 程 序 员 去 创建 和 销毁 线程 ， 但 这 些 操作 相对 较 慢 。 因 此 ， 对 于 大 多 数 应 
用 ， 线 程 在 计算 期 间 都 维持 着 ， 这 是 称 之 为 "静态 的 ?原因 。 

遗憾 的 是 ， 共 享 存储 并 行 计算 机 上 直接 使 用 静态 线程 编程 比较 困难 并 且 容 易 出 错 。 其 中 一 
个 原因 是 ， 在 线程 间 动 态 地 划分 任务 使 得 每 个 线程 接受 大 致 相同 的 负载 ， 这 已 成 为 一 项 较为 复 
杂 的 工作 。 除 了 最 简单 的 应 用 之 外 ， 程 序 员 必 须 使 用 复杂 的 通信 协议 来 实现 一 个 任务 的 负载 平 
衡 调度 。 这 种 状况 促使 了 并 发 平台 (concurrency platform) 的 产生 ， 它 提供 一 个 软件 层 来 协调 、 调 
度 和 管理 这 些 并 行 计 算 资 源 。 一 些 并 发 平台 作为 运行 时 库 来 建立 ， 而 另 一 些 则 提供 带 有 编译 器 
和 运行 时 文 持 的 完整 的 并 行 语言 。 

动态 多 线程 编程 

动态 多 线程 (dynamic multithreading) 是 一 类 重要 的 并 发 平台 ， 也 是 本 章 将 采用 的 模型 。 在 动 
态 多 线程 中 ， 程 序 员 只 需 描 述 应 用 中 的 并 行 性 ， 不 必 关 心 通信 协议 、 负 载 平衡 和 静态 线程 编程 的 
其 他 各 种 问题 。 这 种 并 发 平台 包含 一 个 调度 器 ， 它 能 自动 地 进行 负载 平衡 计算 ， 大 大 减轻 了 程序 
员 的 负担 。 虽 然 动态 多 线程 领域 仍 在 发 展 ， 但 它们 几乎 都 支持 两 个 特征 : 般 套 并 行 和 并 行 循 
环 。 骨 套 并 行 允许 派生 一 个 子 过 程 ， 且 允许 派生 的 子 过 程 在 计算 自己 结果 的 同时 调用 者 继续 执 
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行 。 并 行 循 环 如 同 普 通 的 for 循环 一 样 ， 只 是 因 循 环 中 的 迭代 可 以 并 发 执行 而 有 所 不 同 。 

这 两 个 特征 形成 了 本 章 将 介绍 的 动态 多 线程 模型 的 基础 。 这 个 模型 的 一 个 关键 方面 是 ， 程 
序 员 只 需 指定 计算 中 的 逻辑 并 行 、 基 础 并 发 平台 上 的 线程 调度 和 线程 间 计算 的 负载 平衡 。 我 们 
将 探讨 该 模型 上 的 多 线程 算法 ， 以 及 基础 并 发 平台 如 何 有 效 地 调度 计算 。 

动态 多 线程 模型 具有 如 下 几 个 重要 的 优点 : 

它 是 串 行 编程 模型 的 一 个 简单 扩展 。 通 过 在 伪 代 码 中 加 入 三 个 “并 发 ”关键 词 (parallel、 
spawn 和 sync) 来 描述 一 个 多 线程 算法 。 此 外 ， 如 果 从 多 线程 伪 代 码 中 删除 这 些 并 发 关键 
词 ， 剩 下 的 文本 就 是 原 问 题 的 串 行 伪 代 码 ， 我 们 称 之 为 多 线程 算法 的 “ 串 行 化 ”。 

它 从 理论 上 提供 了 一 种 基于 “工作 量 ”" 和 “持续 时 间 ” 概 念 的 简洁 方式 来 量化 并 行 性 。 

许多 涉及 舱 套 并 行 的 多 线程 算法 都 比较 目 然 地 服从 分 治 模式 。 此 外 ， 正 如 串 行 分 治 算法 
通过 求解 递归 式 来 分 析 那 样 ， 这 类 多 线程 算法 的 分 析 也 是 如 此 。 

该 模型 符合 并 行 计 算 发 展 的 实际 情况 。 越 来 越 多 的 并 发 平台 支持 动态 多 线程 的 一 种 形式 
或 其 他 形式 ， 包 括 Cilkl51, 118], Cilk++[71], OpenMP[59], Task Parallel Library 
[230], LAR Threading Building Blocks[ 292]. 

27. 1 节 介 绍 动态 多 线程 模型 ， 并 提出 工作 量 、 持 续 时 间 和 并 行 度 的 度量 标准 ， 它 们 将 用 于 
分 析 多 线程 算法 。27. 2 节 探 讨 如 何 使 用 多 线程 进行 矩阵 相 乘 。27. 3 节 讨 论 稍 难 些 的 多 线程 归并 
排序 问题 。 


27.1 动态 多 线程 基础 


以 递归 计算 斐 波 那 契 数 为 例 ， 开 始 对 动态 多 线程 的 探讨 。 回 想 一 下 ， 斐 波 那 契 数 是 由 递归 式 
(3. 22) 来 定义 的 : 


F, 一 0 
F, =1 
F: =F tF,» i 之 2 
这 是 一 个 简单 的 、 递 归 的 串 行 算法 ， 用 于 计算 第 ”个 斐 波 那 契 数 : 
FIB(n) 
l ifn<l 
2 return 7 
3 else z=FIB(n—1) 
4 y=FIB(n— 2) 
5 return z+ y 


读者 应 该 并 不 想 使 用 这 种 方法 来 计算 较 大 的 斐 波 那 契 数 ， 因 为 这 种 方法 做 了 很 多 重复 的 工 
作 。 图 27-1 展示 了 计算 F 时 的 递归 过 程 实例 树 。 例 如 ， 对 FIB(6) 的 调用 会 递归 调用 FIB(5)， 
然后 再 调用 FIB(4) 。 但 是 ， 调 用 FIB(5) 又 导致 对 FIB(4) 的 调用 。 两 个 FIB(4) 实 例 都 返回 相同 的 
计算 结果 (F = 二 3)。 因 为 FIB 调用 过 程 并 不 做 保存 ， 第 二 次 FIB(4) 的 调用 重复 做 了 第 一 次 调用 的 
工作 。 

设 T(n) 表 示 FIB(n) 的 运行 时 间 。 因 为 FIB(z) 包 含 两 个 递归 调用 ， 再 加 一 项 常数 时 间 的 其 他 
工作 ， 于 是 得 到 递归 式 ，; 

T(n) = Tin—-1)+Tin—2)+ 001) 

用 替代 法 得 到 ， 递 归 式 的 解 T(n) 二 @(F,)。 对 于 归纳 假设 ，T(n) 二 aF, 一 6， 其 中 a 二 1, b>0 
且 都 是 常数 。 代 入 后 ， 得 到 ， 

T(n) <(aF,-, — b) + (aF n — 6) +0) = a(F, + F2) — 26+ 01) 
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=aF, —b—(b—@(1)) <aF,—b 
取 5 足 够 大 ， 大 于 98(1) 所 决定 的 常数 。 再 取 一 个 足够 大 的 a, 满足 初始 条 件 。 于 是 ， 由 公 
式 (3. 25) 得 到 分 析 界 

T(n) = @(¢") (27.1) 
这 里 $= (1 十 V5)/2 是 黄金 分 割 率 。 由 于 F, 以 nn 指数 增长 ， 这 个 过 程 用 来 计算 斐 波 那 契 数 是 个 相 
当 慢 的 方法 。( 更 快 的 方法 见 思考 题 31-3.) 





图 27-1 计算 FIB(6) 时 递归 计算 过 程 的 实例 树 。 每 个 有 相同 参数 的 FIB 实例 ， 都 做 一 样 的 工作 并 产 
生 一 样 的 结果 ， 这 是 一 个 低 效 但 有 趣 的 计算 斐 波 那 契 数 的 方法 


RE FIB 过 程 不 是 一 个 计算 斐 波 那 契 数 的 好 方法 ， 却 是 在 多 线程 算法 分 析 中 说 明 关 键 概念 的 
一 个 好 例子 。 注 意 到 FBR, R 3 行 和 第 4 行 分 别 调用 了 两 个 递归 函数 FIB(* 一 1) 和 FIB(" 一 2)， 
这 两 个 递归 函数 是 彼此 独立 的 : 它们 能 以 两 种 次 序 中 的 一 种 被 调用 ， 并 且 调 用 进行 的 计算 并 不 
会 影响 到 另 一 个 。 因 此 ， 这 两 个 递归 调用 可 以 并 行 执行 。 

通过 在 伪 代 码 中 加 入 并 发 关键 字 spawn 和 sync 来 表示 并 行 性 。 下 面 说 明 如 何 使 用 动态 多 线 
程 来 重 写 FIB UE: 

P-FIB(n) 

1 ifn<l 

2 return n 

3 else c=spawn P-FIB(n—1) 

4 y=P-FIB(n— 2) 

5 sync 
6 return r+ y 


注意 到 ， 如 果 从 P-FIB 中 去 掉 并 发 关键 字 spawn 和 sync， 得 到 的 伪 代 码 和 FIB 完全 相同 (除了 开 
头 的 函数 名 和 两 个 递归 调用 需 重 命名 外 ) 。 和 定义 一 个 多 线程 算法 的 串 行 化 (serialization) HARE 
多 线程 关键 字 spawn, sync 和 并 行 循 环 的 parallel 后 的 串 行 部 分 。 实 际 上 ， 多 线程 伪 代 码 具 有 很 
好 的 特性 ， 其 串 行 化 总 是 求解 原 问 题 的 普通 串 行 伪 代 码 。 

如 在 第 3 行 中 ， 当 关键 字 spawn 执行 一 个 过 程 调 用 时 ， 就 出 现 了 说 套 并 行 。spawn 的 语义 不 
同 于 传统 的 过 程 调用 ， 执 行 调用 spawn 的 过 程 ( 即 父 进程 ) 可 以 与 派生 子 过 程 ( 即 子 进 程 ) 并 行 执 
行 ， 而 不 是 像 串 行 执行 一 样 等 待 子 过 程 计 算 完 。 这 种 情况 下 ， 派 生子 进程 计算 P-FIB(n 一 1) 的 同 
时 ， 父 进程 以 并 行 方式 可 以 继续 计算 第 4 行 中 的 P-FIB(n 一 2)。 因 为 P-FIB 过 程 是 递归 的 ， 这 两 
个 子 过 程 调用 自己 又 产生 了 骸 套 并 行 ， 它 们 派生 的 子 过 程 也 是 如 此 ， 因 此 产生 了 一 个 潜在 的 、 非 
常 大 的 子 计算 树 ， 所 有 计算 都 能 并 行 执行 。 
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但 是 ， 关 键 字 spawn 并 不 意味 着 一 个 过 程 调用 必须 要 与 其 派生 子 过 程 同 时 执行 ， 这 里 只 是 允 
许 这 样 。 并 发 关键 字 表达 了 计算 的 逻辑 并 行 (logical parallelism), ， 说 明了 计算 中 哪些 部 分 可 以 并 
行 处 理 。 运 行 时 由 一 个 调度 器 (scheduler) 负 责 ， 随 着 计算 的 展开 决定 哪些 子 计算 实 际 并 发 执行 ， 
并 将 它们 分 配 到 可 用 的 处 理 器 上 。 接 下 来 ， 我 们 将 讨论 调度 器 背后 的 知识 。 

直到 执行 了 syne 同步 语句 ( 见 第 5 行 )， 一 个 过 程 才 能 安全 地 使 用 其 派生 子 过 程 的 返回 值 。 
关键 字 sync 表明 ， 过 程 在 执行 sye 后 面 的 语句 前 ， 必 须 等 到 它 的 所 有 派生 子 过 程 计 算 完 成 。 在 
P-FIB 过 程 中 ， 在 第 6 行 return 语句 前 需要 有 一 个 sync 语句 来 避免 不 正常 情况 的 出 现 ， 比 如 ， 在 
工 被 计算 出 来 前 就 开始 计算 z Sy 的 和 。 除 了 使 用 sync 语句 进行 显 式 同步 外 ， 每 个 过 程 在 返回 前 
都 隐 式 地 执行 一 个 sync 语句 ， 以 此 确保 其 所 有 的 子 过 程 均 结 束 运行 。 

多 线程 执行 的 模型 

将 多 线程 计算 (可 由 处 理 髓 执行 的 运行 时 指令 的 集合 ， 代 表 多 线程 程序 ) 看 成 一 个 有 向 无 环 
图 C=(V，E) ， 又 称 为 计算 有 向 无 环 图 (computation dag) ， 是 非常 有 帮助 的 。 例 如 ， 图 27-2 展 
示 了 对 应 于 PFIB(4) 的 计算 有 回 无 环 图 。 从 概念 上 讲 ，V 中 的 顶点 代表 指令 ，E 中 的 边 代表 指 
令 间 的 依赖 关系 ， 其 中 (uw，wv) EE 表示 指令 u 必须 在 之 前 执行 。 然 而 为 了 方便 起 见 ， 如 果 一 
段 指 令 中 不 包含 并 行 控制 ( 即 没有 spawn, syne 和 来 自 派生 进程 的 retam， 这 种 return 是 显 式 
return 语句 ， 或 是 程序 执行 完毕 后 隐 式 执行 的 return) ， 可 以 将 它们 串 成 一 个 链 (strand) ， 这 样 每 
个 链 可 以 代表 一 个 或 者 更 多 的 指令 。 涉 及 并 行 控制 的 指令 并 不 包含 在 链 中 ， 但 它们 会 在 有 向 无 
环 图 中 被 表示 出 来 。 例 如 ， 如 果 一 个 链 有 两 个 后 继 ， 则 其 中 一 个 肯定 是 派生 的 ; 如 果 一 个 链 有 
多 个 前 驱 ， 就 表明 由 于 有 sync 语句 而 将 这 些 前 驱 汇合 在 一 起 。 因 此 ， 在 一 般 情况 下 ， 集合 V 就 
是 链 的 集合 ， 有 回 边 集合 五 是 由 并 行 控 制 产生 的 链 之 间 的 关联 。 如 果 G 有 一 条 从 链 BH 的 
有 回路 径 ， 我 们 称 这 两 个 链 是 (逻辑 上 ) 串 联 的 (in series), Aull, Hu 和 链 wv 是 (逻辑 上 ) 并 联 的 
Cin parallel) 。 





图 27-2 一 个 表示 P-FIB(4) 计 算 的 有 向 无 环 图 。 每 个 圈 代 表 一 个 链 ， 黑 图 代表 基础 情形 S 或 
是 到 第 3 行 P-FIB(n 一 1) 派 生 语句 前 的 部 分 程序 (实例 ); 灰 圈 代表 第 4 行 调用 P-FIB 
(n 一 2) 到 第 5 行 sync 前 的 部 分 程序 ， 它 执行 完 后 一 直 要 等 待 派生 P-FIB(n 一 1) 的 返 
El; HARE sme 指令 之 后 的 程序 ， 也 就 是 zx 和 、y 求 和 直到 返回 结果 那 部 分 。 属 于 
同一 过 程 的 一 组 链 用 圆 角 矩形 圈 起 来 ， 浅 色 阴 影 代表 派生 的 过 程 ， 深 色 阴 影 代表 调 
用 的 过 程 。 派 生 边 和 调用 边 指 癌 下 ， 连 接 边 水 平 指 问 右 ， 返 回 边 指向 上 。 假 设 每 条 
链 的 执行 是 1 个 单位 时 间 ， 整 个 工作 需要 17 个 单位 时 间 ， 因 为 这 里 有 17 个 链 。 持 续 
时 间 是 8 个 单位 时 间 ， 因 为 关键 路 径 ( 使 用 阴影 标 出 的 边 ) 包 含 了 8 个 链 


O ”基础 情形 也 就 是 问题 实例 的 边界 情形 ， 如 问题 规模 为 0 或 1 时。 一 一 译 者 注 
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能 将 多 线程 计算 画 成 一 个 由 链 构 成 的 有 回 图 ， 并 藤 人 到 一 棵 过 程 实例 树 中 。 例 如 ， 图 27-1 
显示 了 P-FIB(6) 的 一 棵 过 程 实例 树 ， 其 图 中 并 没有 显示 链 的 详细 结构 。 图 27-2 对 树 中 的 结 点 部 
分 进行 了 放大 ， 显 示 了 链 中 各 个 过 程 的 组 成 。 所 有 连接 链 的 有 问 边 或 者 在 一 个 过 程 内 执行 ， 或 者 
沿 着 过 程 树 的 无 癌 边 执行 。 

我 们 能 对 一 个 计算 有 向 无 环 图 中 的 边 进 行 分 类 ， 来 表示 不 同 链 之 间 的 依赖 关系 类 型 。 图 27-2 
中 水 平 画 出 的 一 条 连接 边 (continuation edge) (u, u AE 连接 到 它 的 后 继 x 上， 它们 在 同一 个 
过 程 实例 内 。 当 链 派生 链 v 时 ， 有 向 无 环 图 包含 一 条 派生 边 (spawn edge) lu, v), EER PH 
HF. WA Call edge) 代 表 正 常 的 过 程 调用 ， 其 也 指 癌 下 。 链 派生 链 wv 与 链 WA AR, 
因为 派生 导出 一 条 从 到 链 KEER, RRE u 可 以 和 wv 同时 执行 ,然而 一 个 函数 调用 
却 没有 这 条 边 。 当 一 个 链 v 返回 到 它 的 调用 函数 时 ， 在 函数 调用 过 程 中 ， 链 是 紧 随 在 se 之 
后 的 链 ， 计 算 有 向 无 环 图 中 包含 返回 边 (return edge)(x，z) ， 它 的 方向 是 向 上 的 。 计 算 开 始 于 初 
始 链 (initial strand) (图 27-2 中 标 为 PFIB(4) 的 黑色 顶点 )， 且 终止 于 结束 链 (final strand) (图 27-2 
中 标 为 P-FIBC(4) 的 白色 顶点 )。 

我 们 将 会 在 一 个 理想 并 行 计 算 机 上 研究 多 线程 算法 的 执行 ， 它 包含 一 组 处 理 器 和 串 行 一 致 
(sequentially consistent) 的 共享 存储 器 。 串 行 一 致意 味 着 共享 存储 器 可 能 在 实际 中 同时 执行 多 条 
处 理 器 的 读 和 写 指令 ， 执 行 的 结果 与 每 一 步 中 只 有 一 个 处 理 器 的 一 条 指令 被 执行 的 结果 一 样 。 
也 就 是 说 ， 存 储 回 的 行为 就 好 像 每 条 指令 按照 某 种 全 局 的 线性 次 序 以 串 行 方式 被 执行 ， 这 种 全 
局 次 序 维 护 着 每 个 处 理 器 产生 的 自身 指令 的 次 序 。 对 于 动态 多 线程 计算 ， 它 是 由 并 发 平台 自动 
将 指令 调度 到 各 个 处 理 器 上 的 。 共 享 存储 器 的 行为 像 是 把 多 线程 计算 的 指令 交错 地 产生 一 个 线 
性 次 序 ， 来 实现 计算 有 问 无 环 图 的 一 个 偏 序 。 程 序 的 一 次 执行 次 序 可 以 不 同 于 另 一 次 的 执行 次 
序 ， 这 取决 于 调度 。 但 是 通过 假定 执行 的 茶 种 线 性 次 序 与 计算 有 向 无 环 图 一 致 ， 可 以 理解 任意 一 
次 执行 的 行为 。 

除了 引入 关于 语义 的 假设 ， 理 想 并 行 计算 机 模型 还 引入 了 一 些 性 能 假设 。 特 别 地 ， 要 假设 这 
种 并 行 机 中 的 每 个 处 理 器 拥有 同等 的 计算 能 力 ， 并 且 忽 略 调度 的 开销 。 尽 管 最 后 一 个 假设 听 起 
来 过 于 乐观 ， 实际 上 对 于 拥有 充分 的 并 行 度 “〈 随 后 给 出 这 个 不 语 的 精确 定义 ) 的 算法 ， 任务 调度 
的 开销 是 十 分 小 的 。 

性 能 度量 

可 以 使 用 两 种 衡量 标准 来 度量 多 线程 算法 的 理论 效率 ， 工作 量 (work) 和 持续 时 间 (span) 。 多 
线程 计算 的 工作 量 是 指 在 一 个 处 理 器 上 执行 整个 计算 的 总 时 间 。 换 句 话 说， 工作 量 就 是 每 个 链 
消耗 时 间 的 总 和 。 如 果 计 算 有 回 无 环 图 中 的 每 个 链 耗 费 单 位 时 间 ， 那 么 工作 量 正 是 图 中 的 顶点 
数 。 持 续 时 间 则 是 计算 有 疝 无 环 图 中 沿 着 任意 一 条 路 径 链 的 最 长 执行 时 间 。 同 样 ， 如 果 计 算 有 向 
无 环 图 中 每 个 链 耗 费 单 位 时 间 ， 持 续 时 间 就 是 图 中 最 长 的 路 径 或 关键 路 径 中 的 顶点 数 。( 回 想 在 
24. 2 节 中 ， 可 以 在 @(V 十 E) 时 间 内 在 图 G=(V，E) 中 找到 一 条 关键 路 径 。) 例 如 ， 图 27-2 计算 有 
向 无 环 图 中 ， 总 共有 17 个 顶点 且 关 键 路 径 上 有 8 个 顶点 ， 如 果 每 个 链 耗 费 单位 时 间 ， 则 工作 量 
是 17 个 单位 时 间 ， 持 续 时 间 是 8 个 单位 时 间 。 

一 个 多 线程 计算 的 实际 和 运行 时 间 不 仅 取决 于 其 工作 量 和 持续 时 间 ， 也 取决 于 有 多 少 可 用 的 
处 理 句 数 以 及 调度 器 如 何 对 链 进行 处 理 器 分 配 。 为 了 表示 多 线程 计算 在 书 个 处 理 器 上 的 运行 时 
E., RIKA PET. Ai, RIA Tp 表示 一 个 算法 在 P 个 处 理 器 上 的 运行 时 间 。 工 作 量 是 
BAS Abe as FAIS TAY TA], BP 石 。 如 果 每 个 链 都 拥有 目 己 的 处 理 器 ( 换 句 话说 ， 也 就 是 有 无 限 多 
的 处 理 器 ) ， 此 时 的 运行 时 间 就 是 持续 时 间 。 于 是 用 T- 来 表示 持续 时 间 。 
工作 量 和 持续 时 间 为 PP 个 处 理 器 上 的 一 个 多 线程 计算 提供 了 下 界 : 
。 对 于 一 个 计算 步 ， 一 台 有 PP 个 处 理 器 的 理想 并 行 计算 机 最 多 能 做 PP 个 单位 工作 量 ， 所 以 
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在 Tp 时 间 内 最 多 能 做 PTp 的 工作 量 。 因 为 要 做 的 总 工作 量 是 T, FRA PTT. W 
边 都 除 以 王后 ， 就 得 到 工作 量 定律 (work law): 
Tp >T,/P (27. 2) 

。 一 台 有 书 个 处 理 器 的 理想 并 行 计算 机 不 可 能 快 于 一 台 有 无 限 个 处 理 器 的 机 器 。 从 另 一 种 

方式 看 ， 一 台 有 无 限 个 处 理 器 的 机 器 可 以 只 使 用 其 中 的 书 个 处 理 器 来 模拟 一 台 有 己 个 处 
理 器 的 计算 机 。 因 此 ， 得 到 下 面 的 持续 时 间 定 律 (span law) ; 
Tp = To (27. 3) 

H T/T 来 定义 在 P PAH aE EPEAT IT BY DOLL (speedup), EBA ZE 已 个 处 理 器 上 进行 
计算 比 在 1 个 处 理 器 上 快 了 多 少 倍 。 根 据 工 作 量 定律 ， 有 Te>T/P, BT,/Tp<P. Alt, P 
个 处 理 器 上 的 加 速 比 至 多 为 P。 当 加 速 比 随 着 处 理 器 的 数目 线性 增长 ( 即 /Tp 二 B(P)) 时 ,， 计 
算 表现 为 线性 加 速 (linear speedup). %4 T,/Tp= PW, WE SE SB MT DN GH (perfect linear 
speedup) 。 

工作 量 与 持续 时 间 之 比 一 /T<- 给 出 了 多 线程 计算 的 并 行 度 (parallelism) 。 我 们 可 以 从 三 个 角 
度 来 诠释 并 行 度 。 作 为 一 个 比值 ， 并 行 度 表 示 沿 着 关键 路 径 每 一 步 可 被 并 行 执 行 的 平均 合计 工 
作 量 。 作 为 一 个 上 界 ， 并 行 度 给 出 了 最 大 的 可 能 加 速 比 ， 这 是 在 任何 数目 的 处 理 器 上 所 能 达到 
的 。 最 后 ， 也 许 是 最 重要 的 ， 并 行 度 给 出 了 获得 完美 线性 加 速 的 一 个 限制 。 具 体 地 讲 ， 一 旦 处 理 

780] ”器 数目 超过 了 并 行 度 ， 计 算 就 不 可 能 达到 完美 线性 加 速 。 为 了 明白 最 后 一 点 ， 假 设 P>T,/T.., 
此 时 由 持续 时 间 定 律 可 以 推 得 ， 加 速 比 满足 元 /Tp 志 二 /TT 二 P。 此 外 ， 如 果 理 想 计算 机 中 的 处 
理 器 数 P 远 远 超过 了 并 行 度 ， 即 P>T,/T.., BARA 了 /TpeP， 所 以 加 速 比 会 远 小 于 处 理 器 
的 数目 。 换 句 话 说， 我 们 使 用 超出 并 行 度 越 多 的 处 理 器 数目 ， 加 速 比 就 会 越 不 完美 。 

作为 一 个 例子 ， 考 虑 图 27-2 中 的 PEFIB(4) 计 算 ， 假 设 每 个 链 耗费 单位 时 间 。 工 作 量 为 T = 
17， 持 续 时 间 为 T= 二 8， 并 行 度 是 T,/To=17/8=2. 125。 所 以 ， 不 论 使 用 多 少 个 处 理 器 ， 要 达 
到 加 速 比 的 翻番 及 更 多 都 是 不 可 能 的 。 然 而 ， 对 于 更 大 的 输入 规模 ， 我 们 将 会 看 到 P-FIB(n) 展 示 
出 更 大 的 并 行 度 。 

对 于 一 台 有 了 个 处 理 器 的 理想 计算 机 上 执行 的 一 个 多 线程 计算 ， 定义 (并 行 ) 松 弛 度 
(slackness) 为 (T/T )/P= 二 元/(PT。)， 这 是 一 个 有 关 计 算 并 行 度 超出 机 响 中 处 理 器 数目 的 因 
子 。 因 此 ， 如 果 松 弛 度 小 于 1]， 就 得 不 到 完美 线性 加 速 ， 这 是 因为 二 /(PT.) 二 1， 且 由 持续 时 间 
定律 知 ，P 个 处 理 嚣 上 的 加 速 比 满足 T/Tp 二 二 /To 二 P。 实 际 上 ， 随 着 松弛 度 从 1 降 到 0， 加 
速 比 越 来 越 远离 完美 线性 加 速 。 然 而 ， 如 果 松 弛 度 大 于 1， 每 个 处 理 器 就 有 工作 量 方面 的 要 求 。 
后 面 我 们 将 看 到 ， 随 着 松弛 度 从 1 开始 继续 增加 ， 一 个 好 的 调度 器 可 以 使 算法 的 加 速 比 越 来 越 接 
近 完 美 线性 加 速 。 

调度 

好 的 性 能 并 不 仅仅 取决 于 减少 工作 量 和 持续 时 间 ， 还 有 其 他 更 多 因素 。 链 也 要 被 有 效 地 调 
度 到 并 行 机 的 各 个 处 理 器 上 。 多 线程 编程 模型 并 没有 指定 链 到 哪些 处 理 器 上 执行 。 然 而 ， 可 以 依 
人 靠 并 发 平台 的 调度 器 动态 地 将 展开 的 计算 映射 到 各 个 处 理 器 上 。 在 实际 操作 中 ， 调 度 器 将 这 些 
链 映 射 为 一 些 静 态 线程 ， 操 作 系统 再 调度 这 些 线程 到 各 个 处 理 器 上 执行 ， 但 对 于 调度 的 理解 可 
以 不 考虑 这 一 额外 的 间接 层面 。 我 们 可 以 认为 并 发 平台 的 调度 器 直接 将 这 些 链 映射 到 处 理 器 上 。 

多 线程 调度 器 必须 在 事先 不 知道 何 时 链 被 派生 和 结束 的 情况 下 来 进行 调度 计算 ， 它 必须 是 
在 线 (on-line) 的 。 此 外 ， 一 个 好 的 调度 器 能 以 分 布 式 方式 工作 ， 其 中 实现 调度 器 的 线程 协助 计算 

[78 中 的 负载 平衡 。 已 有 一 些 好 的 在 线 分 布 式 调度 器 ， 但 分 析 它 们 十 分 复杂 。 
然而 ， 为 了 使 分 析 简 单 些 ， 我 们 将 探讨 一 个 在 线 集中 式 (centralized) 调 度 器 ， 它 知道 任何 给 
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定时 刻 计算 的 全 局 状态 。 特 别 地 ， 我 们 要 分 析 贪 心 调 度 器 (greedy scheduler) ， 它 们 在 每 个 时 间 步 
内 尽 可 能 地 分 配 更 多 的 链 到 处 理 器 上 。 如 果 在 一 个 时 间 步 内 有 至 少 已 个 链 准 备 执 行 ， 我 们 称 该 
时 间 步 为 完全 步 (complete step) ， 贪 心 调 度 器 就 是 分 配 任何 准备 好 的 书 个 链 到 处 理 器 上 。 如 果 少 
于 P 个 链 准 备 执行 ， 此 时 称 该 时 间 步 是 一 个 非 完 全 步 (incomplete step) ， 并 且 调 度 器 将 每 个 准备 
好 的 链 分 配 到 其 所 在 的 处 理 器 上 。 

由 工作 量 定律 ， 在 PP 个 处 理 器 上 希望 的 最 优 运 行 时 间 是 Tp 二 TT/P。 再 由 持续 时 间 定 律 ， 希 
望 的 最 好 运行 时 间 是 Tp 二 TT.,。 下 面 的 定理 证 明了 贪心 调度 是 好 的 ， 其 得 到 的 运行 时 间 上 界 是 这 
两 个 下 界 的 和 。 

定理 27.1 在 有 PP 个 处 理 器 的 理想 计算 机 上 ， 贪心 调度 器 执行 一 个 工作 量 为 T, 和 持续 时 间 
为 T 的 多 线程 计算 的 运行 时 间 为 : 

Tp <T,/P+T. (27. 4) 

证 明 ”从 完全 步 开 始 考虑 。 在 每 个 完全 步 中 ，P 个 处 理 器 合计 要 执行 P 个 工作 量 。 现 在 用 
反 证 法 ， 假 设 完全 步 数 严格 大 于 | 工 /P]。 那 么 ， 这 些 完全 步 的 总 工作 量 至 少 为 : 

P-(LT,/PJ+1) =P|T,/P]+P 
=T, — (T, mod P) + P (根据 公式 (3. 8)) 
>T, (根据 不 等 式 (3. 9)) 
Ault, 个 处 理 器 的 工作 量 超 过 了 计算 需要 的 工作 量 ,， 产生 矛盾 。 于 是 得 到 完全 步 数 至 多 为 
L/P 的 结论 。 

现在 ， 考 虑 非 完 全 步 。 用 G 代表 整个 计算 的 有 向 无 环 图 ， 不 失 一 般 性 ， 假 设 每 个 链 耗 费 单 
位 时 间 。( 可 以 用 一 串 单 位 时 间 的 链 来 蔡 代 每 个 较 长 时 间 的 链 。) 用 G 代表 在 非 完 全 步 开 始 时 仍 要 
执行 的 G 的 子 图 ，G 代表 在 非 完 全 步 结 束 后 其 余 要 执行 的 子 图 。 一 条 有 向 无 环 图 中 的 最 长 路 径 
必须 是 从 一 个 人 度 为 0 的 顶点 开始 的 。 由 于 贪心 调度 器 中 的 非 完全 步 执 行 了 图 G 中 所 有 人 度 为 0 
的 链 ，G 中 的 最 长 路 径 长 度 一 定 比 G 中 的 最 长 路 径 长 度 小 1。 换 句 话 说， 一 个 非 完全 步 使 未 执行 
的 有 向 无 环 图 的 持续 时 间 减 小 了 1。 因此 非 完 全 步 的 数目 至 多 为 T.。 

因为 每 个 时 间 步 或 是 完全 的 或 是 非 完 全 的 ， 所 以 定理 成 立 。 E 

以 下 是 从 定理 27. 1 得 到 的 推论 ， 表 明 贪心 调度 器 的 性 能 总 是 很 好 。 

推论 27.2 ”对 于 一 台 有 书 个 处 理 器 的 理想 并 行 计 算 机 ， 使 用 贪心 调度 器 调度 的 任何 多 线程 
计算 的 运行 时 间 Tp 都 在 最 优 时 间 的 2 倍 以 内 。 

证 明 设 Tp 是 一 个 由 最 优 调度 器 在 己 个 处 理 器 的 计算 机 上 产生 的 最 短 时 间 ， 苑 和 T. 分 别 
是 工作 量 和 持续 时 间 。 根 据 工作 量 和 持续 时 间 定 律 ， 即 不 等 式 (27.2) 和 (27. 3)， 可 以 得 到 Te 之 
max(T,/P, T..), HEM 27. 1 推 得 ， 

Tp <T,/P+ To. <2 © max(T,/P,T..) <2T; Hi 

事实 上 ， 接 下 来 的 一 个 推论 表明 ， 随 着 松弛 度 的 增长 ， 对 于 任何 多 线程 计算 ， 贪 心 调 度 器 可 
以 达到 近 完 美 线性 加 速 。 

推论 27.3 设 Tz 是 一 个 贪心 调度 器 在 书 个 处 理 器 的 理想 并 行 计算 机 上 调度 多 线程 计算 所 产 
生 的 运行 时 间 ， 厂 和 T- 分 别 是 计算 的 工作 量 和 持续 时 间 。 如 果 PK(T,/T..), MA Tp~T,/P, 
或 等 价 地 ， 一 个 接近 书 的 加 速 比 。 

WA WRB PT /To, WAEA To KT,/P, KRIE 27.1 可 以 得 到 TeS 
T,/P+T..T,/P. MA CER EH (27. 2484 Tp 之 人 /PP， 因 此 ， 我 们 有 结论 Tp~T,/P, 或 
等 价 地 ， 加 速 比 是 T,/Tp~P. E 

符号 “<” 意 为 “ 远 小 于 ”， 但“ 远 小 于 ”是 小 多 少 呢 ?根据 经 验 ， 松 弛 度 10 以 上 ( 即 并 行 工 作 量 
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10 倍 于 处 理 器 数 及 以 上 ) 一 般 可 以 达到 好 的 加 速 比 。 此 外 ， 不 等 式 (27. 4) 的 贪心 界 中 持续 时 间 项 
小 于 每 个 处 理 器 工作 量 的 10% ， 这 适用 于 大 多 数 应 用 场合 。 例 如 ， 如 果 一 个 计算 只 运行 在 10 个 
或 者 100 个 处 理 器 上 ， 说 并 行 度 1 000 000 大 于 10 000 甚至 是 100 的 倍数 差异 ， 都 是 没有 什么 意 
义 的 。 正 如 思考 题 27-2 所 示 ， 有 时 候 通 过 降低 过 度 并 行 度 的 方法 ， 可 以 得 到 考虑 其 他 因素 的 更 
好 算法 ， 在 合理 数量 的 处 理 器 上 有 较 好 的 加 速 性 能 。 

多 线程 算法 的 分 析 

现在 有 了 多 线程 算法 分 析 需 要 的 所 有 工具 ， 并 有 了 不 同 处 理 器 数目 上 的 一 些 好 的 时 间 界 。 
工作 量 的 分 析 相 对 直观 ， 因 为 它 并 不 比分 析 一 个 普通 的 串 行 算法 (即将 多 线程 算法 串 行 化 ) 运 行 
时 间 多 做 些 什 么 ， 读 者 应 该 已 经 很 熟悉 了 ， 因 为 本 书 大 部 分 内 容 都 是 关于 这 些 内 容 的 ! 分 析 持 续 
时 间 更 有 趣 些 , 但 是 只 要 你 掌握 了 人， 一 般 就 不 太 难 。 下 面 用 P-FIB 程序 来 探讨 该 基本 思想 ， 

分 析 P-FIB(n) 的 工作 量 五 (2 没有 任何 困难 ， 因 为 前 面 已 经 做 过 这 个 工作 。P-FIB 的 源 程序 
本 质 上 就 是 FIB 的 串 行 化 版 本 ， 所 以 由 等 式 (27. 1) ， 得 到 T OSTMA). 

图 27-3 展示 了 如 何 分 析 持 续 时 间 。 如 果 两 个 子 计 算是 串 行 连 接 的 ， 它 们 的 持续 时 间 相 加 就 
形成 了 混合 计算 的 持续 时 间 ; 而 如 果 它 们 是 并 行 连接 的 ， 混 合计 算 的 持续 时 间 就 是 这 两 个 子 计 
算 中 持续 时 间 最 大 的 。 对 于 P-FIB(n),， 第 3 行 中 的 派生 调用 P-FIB(n 一 1) 与 第 4 行 中 的 调用 
P-FIB(n 一 2) 并 行 执 行 。 因 此 ， 可 以 将 P-FIB(n) 的 持续 时 间 表 示 为 

T(n) =max(T, (n— 1), T..(n— 2)) + @C1) 
=T..(n—1) + @(1) 
解 之 可 得 T.. (n) =@(n). 





工作 量 : T(AUB)=7,(4)+7(B) 工作 量 : T(AUB)=7,(4)+T,B) 
持续 时 间 : 7..(4 UB)=7..(A)+T..(B) 持续 时 间 : 7T-(4UB)=max(T-(4),7T-(D)) 


(a) (b) 


图 27-3 ”混合 子 计算 的 工作 量 和 持续 时 间 。(a) 当 两 个 子 计算 串 行 连接 时 ， 混 合 
计算 的 工作 量 就 是 它们 的 工作 量 之 和 ， 持 续 时 间 是 它们 的 持续 时 间 之 
和 。(b) 当 两 个 子 计算 并 行 连接 时 ， 混 合计 算 的 工作 量 虽 是 它们 的 工作 
量 之 和 ， 但 持续 时 间 只 是 它们 持续 时 间 的 最 大 值 


P-FIB(n) 的 并 行 度 是 Ti n/T (M =AF/n), ME n 变 大 ， 它 增加 得 非常 快 。 因 此 ， 即 使 
在 一 个 最 大 规模 的 并 行 计算 机 上 ， 一 个 适当 的 nn 对 于 P-FIB(n) 计 算 足 以 提供 接近 完美 的 线性 加 
速 ， 因 为 这 个 程序 有 着 可 观 的 并 行 松弛 度 。 

并 行 循环 

许多 算法 都 包含 循环 ， 循 环 中 的 所 有 和 迭代 能 被 并 行 执行 。 后 面 将 会 看 到 ， 使 用 spawn 和 sync 
关键 字 并 行 化 这 些 循环 ， 可 以 很 方便 地 直接 标注 使 得 这 些 循环 并 发 执行 的 迭代 。 利 用 parellel 并 
发 关键 字 ， 伪 代码 通过 在 for 循环 语句 的 for 关键 词 前 添加 parallel 来 实现 这 个 功能 。 

作为 一 个 例子 ， 考 虑 一 个 nXn BEA = (a, ) 乘 以 一 个 n 维 回 量 zx 二 (x))， 结 果 n 维 向 量 
了 一 (y; ) 可 用 下 式 得 到 ， 


2 S aapi = 1 2，……)71 
并 行 计算 y 的 所 有 项 来 实现 和 抢 阵 和 向 量 相 乘 ， 具 体 如 下 : 
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MAT-VEC(A, z) 

l n=A. rows 

2 let y be a new vector of length n 
3 parallel for :=1 ton 
4 y,=0 

5 parallel for :=1 ton 
6 for j=l ton 

7 Yı= y; Fait; 
8 


return y 


在 这 段 代码 中 ， 第 3 行 和 第 5 行 中 关键 字 parallel for 表示 各 自 循环 的 每 个 迭代 都 可 以 并 发 执行 。 
编译 器 可 以 像 分 治 子 程序 一 样 ， 使 用 嵌 套 并 行 来 实现 每 个 parallel for 循环 。 例 如 ， 第 5 一 7 行 中 


的 parallel for 循环 可 以 调用 MAT-VEC-MAIN-LOOP(A，zx，y，n，1，n) 来 实现 ， 其 中 编译 器 


产生 如 下 的 辅助 子 过 程 MAT-VEC-MAIN-LOOP. 
MAT-VEC -MAIN -LOOP(A, x, y, n, i, i’) 


1 ifi==i' 
2 for j=1 ton 
3 yi =y; tajr; 


4 else mid=|(i+i')/2| 


5 spawn MAT-VEC -MAIN -LOOP(A, x,» y, n, i, mid) 
6 MAT-VEC -MAIN -LOOP(A, z, Yo N, mid+l, i’) 
7 sync 


AARE VA UR E AT ABN, INSP IT ATT ae FER, RATT 


sync, AMA —-RAT— VM, SPIRES MAMAN, WE 27-4 所 示 。 





图 27-4 一 个 有 向 无 环 图 表示 MAT-VEC-MAIN-LOOP(A, z, y, 8, 1, DKHA. BH 
角 和 矩形 中 的 两 个 数字 是 过 程 调用 (派生 调用 或 普通 调用 ) 中 最 后 两 个 参数 的 值 ( 程 序 头 中 
的 i 和 i')。 黑 圈 代 表 链 ， 这 些 链 对 应 的 或 是 基础 情形 或 是 直到 第 5 行 中 派生 过 程 
MAT-VEC-MAIN-LOOP 的 程序 段 ; 灰 圈 代表 链 ， 这 些 链 对 应 的 是 从 第 6 行 中 的 调用 
MAT-VEC-MAIN-LOOP 直到 第 7 行 中 的 sync 关键 字 前 的 那 一 部 分 程序 ， 它 们 在 第 5 
行 中 派生 子 进 程 返回 前 都 处 于 悬挂 状态 ;日 圈 代 表 链 ， 这 些 链 对 应 的 是 关键 字 sync 后 
直到 程序 返回 前 的 那 一 部 分 程序 ， 这 部 分 很 少 ， 可 以 忽略 


为 了 计算 nXn 阶 矩 阵 上 MAT-VEC WIE T (2z) ， 只 需 简单 地 计算 它 的 串 行 化 的 运行 时 
间 ， 串 行 化 版 本 可 用 普通 for 循环 替代 parallel for 循环 得 到 。 因 此 ， 有 TMo), WAR 
5~7 行 的 双重 幅 套 循环 是 二 次 的 执行 时 间 。 然 而 ， 前 面 的 分 析 似 乎 忽略 了 实现 并 行 循 环 时 递归 派 


786 


462 。 第 七 部 分 算法 问题 选编 


生 的 开销 。 实 际 上 ， 与 原 串 行程 序 相 比 ， 递 归 派 生 的 开销 确实 增加 了 并 行 循环 的 工作 量 ,， 但 并 没 
有 改变 工作 量 的 渐 近 式 。 要 知道 什么 原因 ， 注 意 到 由 于 递归 过 程 实例 树 是 一 棵 满 的 二 叉 树 ， 内 部 
结 点 的 数目 比 叶 结 点 的 数目 少 1( 参 见 练习 B. 5-3) 。 每 个 内 部 结 点 划分 递归 范围 耗费 常数 工作 量 ， 
且 每 个 叶 结 点 对 应 于 循环 的 一 次 迭代 ， 这 种 情况 消耗 OG) ATI]. Ak, Ral LOR BIA IRA 
开销 摊 还 到 循环 的 每 一 个 迭代 上 ， 所 以 最 多 将 整个 工作 量 增加 一 个 种 数 因 子 。 

作为 一 个 实际 问题 ， 动 态 多 线程 并 发 平台 有 时 候 可 以 自动 或 者 采用 程序 员 控 制 的 方式 ， 用 
单个 叶 结 点 中 执行 多 次 而 不 是 一 次 迭代 的 方法 使 得 一 个 递归 叶子 变 粗 (coaren)， 从 而 减少 递归 派 
生 的 开销 。 这 种 减少 开销 的 方法 是 以 减少 并 行 度 为 代价 的 ， 但 是 如 果 计 算 有 充分 的 并 行 松弛 度 ， 
依然 可 以 达到 近 完 美 线性 加 速 。 

分 析 一 个 并 行 循环 结构 的 持续 时 间 ， 也 必须 要 考虑 递归 调用 的 开销 。 因 为 递归 调用 的 深度 
是 迭代 数 的 对 数 函 数 ， 对 于 一 个 有 次 迭代 且 第 i 次 迭代 的 持续 时 间 是 iter。 (让 的 并 行 循环 ， 整 
个 持续 时 间 是 : 

Too (nr) = @C Ign) 十 MAX iter. Ci) 

例如 ， 对 于 nXn MERER MAT-VEC, 第 3~4 行 中 的 初始 化 并 行 循 环 的 持续 时 间 为 @(lgn)， 
因为 该 递归 派生 中 每 次 迭代 为 常数 时 间 的 工作 量 。 第 5 一 ?7 行 中 的 双重 骨 套 循环 的 持续 时 间 是 
O(n), XE Ab parallel for 循环 的 每 次 迭代 包含 内 层 for 循环 的 nn 次 迭代 。 所 以 过 程 中 余下 
的 代码 的 持续 时 间 是 常数 ， 因 此 整个 过 程 的 持续 时 间 由 双重 散 套 循环 决定 ， 于 是 整个 持续 时 间 
是 9(z) 。 因 为 工作 量 是 86(” )， 所 以 并 行 度 为 68)/8B(n) =O(n),. (AY 27. 1-6 要 求 读者 给 出 
一 个 有 更 高 并 行 度 的 实现 。) 

竞争 条 件 

一 个 多 线程 算法 是 确定 的 (deterministic) ， 如 果 在 同样 的 输入 情况 下 总 是 做 相同 的 事 ， 且 无 
论 指令 在 多 核 计 算 机 上 如 何 被 调度 也 是 如 此 。 一 个 多 线程 算法 是 非 确定 的 (nondeterministic) ， 如 
果 每 次 执行 它 做 的 事情 有 所 不 同 。 一 个 多 线程 算法 意图 确定 地 做 一 些 事情 ， 但 常常 会 失败 ， 究 其 
原因 是 算法 中 包含 了 “确定 性 竞争 ”。 

竞争 条 件 是 并 发 的 祸根 。 比 较 闭 名 的 竞争 错误 有 ， 导 致 3 人 死亡 和 多 人 重伤 的 Therac-25 放 
射 治疗 仪 事件 ， 以 及 使 得 超过 5 000 万 人 失去 了 电力 供应 的 2003 年 北美 大 停电 事件 。 这 些 致命 
的 错误 非常 难以 察觉 。 你 可 能 一 直 在 实验 室 测试 了 数 天 都 没有 找到 一 个 错误 ， 却 发 现 你 的 软件 
在 现场 偶然 发 生前 省。 

当 两 个 逻辑 上 并 行 指令 访问 存储 器 同一 位 置 且 至 少 有 一 个 指令 执行 写 操 作 的 时 候 ， 便 会 发 
生 确 定性 竞争 (determinacy race) 。 以 下 程序 描述 了 一 个 竞争 条 件 : 

RACE-EXAMPLE() 

l z=0 

2 parallel for ¿= 1 to 2 

3 z=x+1 


4 print x 


在 第 1 行 中 将 z 初 始 化 为 0 后 ，RACE-EXAMPLE 产生 两 个 并 行 链 ， 它 们 都 执行 第 3 行 的 对 
Zz 加 1 的 操作 。 人 似乎 RACE-EXAMPLE 应 总 是 输出 2( 对 应 的 串 行 化 版 本 一 定 如 此 )， 然 而 并 行 执 
行 可 能 输出 1。 我 们 来 看 一 下 这 个 异常 是 如 何 发 生 的 。 

当 一 个 处 理 器 对 z 进行 加 1 操作 时 ， 该 操作 不 是 不 可 分 的 ， 而 是 由 一 系列 指令 组 成 : 

1. 从 存储 融 中 读 取 x AEB Ab Be ae BY er FP ae o 

2. 对 寄存 器 中 的 值 加 1。 

3. 将 寄存 器 中 的 值 写 回 到 存储 器 中 的 x。 
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图 27-5(a) 展 示 了 代表 RACE-EXAMPLE 执行 的 一 个 计算 有 辐 无 环 图 ， 其 中 链 已 细 分 为 各 个 
指令 。 注 意 到 ， 由 于 理想 并 行 计算 机 支持 顺序 执行 的 一 致 性 ， 因 此 我 们 能 视 一 个 多 线程 算法 的 某 
次 并 行 执 行为 一 组 交错 指令 ， 该 交错 指令 满足 计算 有 向 无 环 图 中 的 关联 。 图 27-5(b) 显 示 了 产生 
异常 结果 的 一 次 计算 执行 。z 的 值 存放 在 存储 器 中 ，r, 和 r 是 处 理 器 的 寄存 器 。 在 步骤 1 中， 
一 个 处 理 右 将 z 的 值 置 为 0。 在 步骤 2 和 3 中 ， 处理 器 1 从 存储 器 中 读 取 zx 存 人 它 的 寄存 器 六 
中 ， 并 且 对 它 加 1， 此 时 x, 的 值 为 1。 此 时 ， 处 理 器 2 也 正在 运行 指令 4 一 6。 处 理 器 2 从 存储 器 
中 读 取 zz 存 人 它 的 寄存 器 rs 中， 并且 对 它 加 1， 此 时 r 的 值 为 1， 然 后 将 这 个 值 存 人 工 中 ,，z 的 
值 为 1。 现在， 处 理 器 1 继续 步骤 7, Ren 中 的 1 存 人 xz， 这 并 未 使 得 z 的 值 改变 。 因 此 ， 步 又 8 
输出 值 1 而 不 是 2， 后 者 是 串 行 化 程序 所 期 望 的 输出 结果 。 





步骤 x rs 
1 0 一 一 
2 0 0 一 
3 0 1 一 
4 0 1 0 
5 0 l l 
6 l l l 
7 l l l 
(a) (b) 


图 27-5 RACE-EXAMPLE 中 确定 性 竞争 的 例子 。(a) 计 算 有 回 无 环 图 显示 了 各 个 指令 间 的 关 
KE. r Al rr, 为 处 理 器 中 的 寄存 器 。 一 些 与 竞争 无 关 的 指令 被 省 略 了 ， 比 如 循环 控制 
实现 的 指令 。(b) 一 个 引起 错误 的 执行 序列 ， 图 中 显示 了 执行 序列 每 一 步 存储 器 中 z 
的 值 ， 以 及 寄存 器 ri Fi r 的 值 


我 们 能 明白 上 面 发 生 的 情况 。 如 果 一 个 并 行 执行 要 求 处 理 器 1 在 处 理 器 2 之 前 执行 完 它 的 全 
部 指令 ， 则 应 该 输出 数值 2。 反 之 ， 如 果 一 个 并 行 执行 要 求 处 理 器 2 在 处 理 器 1 之 前 执行 完 它 的 
全 部 指令 ， 则 和 输出 依然 为 2。 然而 ， 两 个 处 理 器 同时 执行 各 自 的 指令 ， 有 可 能 如 图 中 的 例子 ， 对 
x 的 一 个 更 新 便 丢 失 了 。 

当然 ， 许 多 执行 并 不 导致 这 种 错误 。 例 如 ， 如 果 执 行 顺序 是 (1，2，3，7，4，5，6，8)? 或 者 
《1，4，5，6，2，3，7，8)， 则 均 能 得 到 正确 的 结果 。 这 是 一 个 确定 性 竞争 问题 。 一 般 来 说 ， 大 
多 数 次 序 都 产生 正确 的 结果 ， 比 如 任何 左边 的 指令 都 比 右边 的 指令 先 执行 ， 反 之 也 一 样 。 但 是 一 
些 指令 交错 的 次 序 会 产生 错误 结果 。 所 以 一 些 竞争 特别 难以 检 出 。 你 可 能 测试 了 数 天 都 没有 发 
现 错误 ， 而 在 最 后 关键 时 刻 现场 体验 了 灾难 性 的 系统 裔 汝 。 

虽然 处 理 竞争 有 各 种 不 同方 法 ， 包 括 使 用 互 斥 锁 和 其 他 的 同步 方法 ， 但 是 对 我 们 而 言 ， 简 单 
的 做 法 是 确保 并 行 运行 的 链 是 独立 的 : 使 它们 之 间 不 存在 确定 性 竞争 。 因 此 ， 在 一 个 parallel for 
结构 中 ， 所 有 迭代 应 该 是 独立 的 。 在 spawn 和 对 应 的 syne 之 间 ， 派 生子 过 程 的 代码 应 该 与 父 过 
程 (包括 其 他 派生 过 程 和 直接 调用 的 程序 ) 的 代码 相互 独立 。 要 注意 的 是 传 给 派生 子 过 程 的 参数 
应 该 在 实际 派生 发 生前 在 父 过 程 中 被 计算 出 来 ， 因 而 对 于 任何 要 访问 那些 派生 子 过程 涉 及 的 参 
数 ， 都 要 在 派生 子 过 程 执 行 完 后 再 顺序 地 被 访问 。 

下 面 的 例子 说 明代 码 中 十 分 容易 出 现 痪 争 。 这 是 一 个 多 线程 矩阵 和 向 量 相 乘 的 错误 实现 ， 
它 是 通过 对 内 层 for 循环 并 行 化 得 到 的 ， 持 续 时 间 是 Ogn). 


MAT-VEC -WRONG (A, zx) 
1 n=A. rows 


2 let y be a new vector of length n 
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3 parallel for :=1 to n 

4 y;=0 

5 parallel for :=1 ton 

6 parallel for ;=1 ton 
7 $= raga; 
8 


return y 


遗憾 的 是 ， 该 过 程 是 错误 的 ， 因 为 其 第 7 行 中 更 新 y; 导致 了 竞争 ， 这 里 对 j 的 所 有 7 个 值 都 并 发 
执行 。 练 习 27. 1-6 要 求 给 出 一 个 持续 时 间 为 6(gn) 的 正确 实现 。 

有 竞争 的 多 线程 算法 有 些 时 候 是 正确 的 。 例 如 ， 两 个 并 行 的 线程 要 存储 相同 的 值 到 一 个 共 
享 变 量 中 ， 谁 先 写 人 都 是 一 样 的 。 但 是 总 体 上 来 说 ， 存 在 竞争 的 代码 是 非法 的 。 

国际 象棋 

用 一 个 真实 的 故事 来 结束 本 节 ， 该 事件 出 现在 世界 级 多 线程 象棋 博弈 程序 的 发 展期 间 ( 雄 
Socrates[80])。 以 下 为 了 阐述 方便 ， 对 于 程序 的 计时 分 析 做 了 简化 。 这 个 程序 的 原型 是 运行 在 一 
台 32 个 处 理 器 的 计算 机 上 的 ， 但 最 终 运行 在 一 台 512 个 处 理 器 的 超级 计算 机 上 。 那 时 ， 开 发 者 
在 一 个 重要 的 测试 平台 上 对 程序 进行 了 优化 ， 使 它 在 32 个 处 理 器 的 计算 机 上 运行 时 间 从 Ta 一 65 
秒 减 少 到 了 T's 二 40 秒 。 然 而 ， 开 发 人 员 使 用 工作 量 和 持续 时 间 的 性 能 度量 来 给 优化 版 本 下 结 
论 。 在 32 个 处 理 器 的 计算 机 上 运行 时 间 要 快 些 ， 而 在 512 个 处 理 器 的 计算 机 上 实际 运行 比 原版 
本 要 慢 。 所 以 ， 他 们 放弃 了 这 个 “优化 ”。 

这 里 是 他 们 的 分 析 。 原 版 本 程序 的 工作 量 T, =2 048 秒 ， 持 续 时 间 To =1 秒 。 如 果 将 不 等 
式 (27. 4) 看 做 一 个 等 式 Tp 二 元/P 十 T.。， 并 用 它 作 为 P 个 处 理 器 上 运行 时 间 的 一 个 近似 ， 于 是 
得 到 Ty, =2 048/32 十 1 一 65。 对 于 优化 版 本 ， 工 作 量 为 Ti =1024 秒 ， 持 续 时 间 变 成 了 TT 二 8 
秒 。 再 次 使 用 近似 方法 ， 得 到 Ts, =1 024/32 十 8 一 40。 

但 是 ， 在 512 个 处 理 器 的 计算 机 上 测试 时 ， 两 个 版 本 的 速度 大 小 对 换 了 。 具 体 来 说 ， 我 们 有 
T; =2 048/512 +1=5 PO, Tig =1 024/512+8=10 秒 。 这 个 在 32 个 处 理 器 上 可 以 加 速 的 优化 
方法 ， 在 512 个 处 理 器 上 却 比 原 程序 慢 了 1 倍 。 优 化 版 本 的 持续 时 间 是 8， 不 是 32 个 处 理 器 上 运 
行 时 间 的 决定 项 ， 但 在 512 个 处 理 器 上 却 变 成 了 决定 项 ， 抵 消 了 使 用 更 多 人 处理 器 带 来 的 优势 。 

这 个 故事 说 明 ， 工 作 量 和 持续 时 间 可 以 作为 一 个 推断 性 能 的 好 工具 ， 比 实际 测量 运行 时 间 
要 好 。 


练习 


27.1-1 假设 P-FIB 中 第 4 行 派生 调用 P-FIB(n 一 2)， 而 不 是 像 原 程 序 中 使 用 普通 调用 的 方法 . 
则 渐 近 工作 量 、 持 续 时 间 和 并 行 度 各 是 多 少 ? 

27.1-2 请 画 出 运行 PFIB(5) 的 计算 有 向 无 环 图 。 假 设计 算 中 的 每 个 链 消耗 单位 时 间 ， 则 该 计算 
的 工作 量 、 持 续 时 间 和 并 行 度 各 是 多 少 ? 如 何在 3 个 处 理 器 上 调度 这 个 计算 有 癌 无 环 
图 ， 要 求 使 用 贪心 调度 并 用 执行 中 的 时 间 步 给 每 个 链 做 标记 。 

27.1-3 证 明 : 贪心 调度 可 以 达到 下 面 的 时 间 界 ， 该 时 间 界 稍微 强 于 和 定理 27. 1 给 出 的 界 : 


T <= 

27.14 构造 一 个 计算 有 向 无 环 图 ， 使 得 在 相同 数目 的 处 理 器 上 ， 一 个 贪心 调度 器 的 一 次 执行 时 
间 是 某 个 贪心 调度 器 的 另 一 次 执行 时 间 的 几乎 2 倍 。 描 述 这 两 种 执行 是 如 何 进行 的 。 

27.1-5 Karan 教授 在 处 理 器 数 为 4、10 和 64 的 理想 并 行 计算 机 上 ， 使 用 一 个 贪心 调度 器 分 别 测 
试 了 她 的 确定 多 线程 算法 ， 她 的 三 次 运行 结果 分 别 为 二 80 H, To =42 秒 和 Ta =10 


Fie (27.5) 
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秒 。 说 明 该 教授 是 在 说 谎 ， 还 是 实验 不 合适 。( 提 示 : 使 用 工作 量 定 律 (27. 2) 、 持 续 时 
间 定 律 (27. 3) ， 以 及 从 练习 27. 1-3 得 到 的 不 等 式 (27. 5) 。) 

27. 1-6 请 给 出 一 个 计算 nXn MEREM n 维 向 量 相 乘 的 多 线程 算法 ， 要 求 并 行 度 为 O /lgn)， 
IFEX B(2 ) 。 

27.1-7 考虑 下 面 原 地 完成 nXn 阶 和 矩阵 转 置 的 多 线程 伪 代 码 : 


P-TRANSPOSE(A) 

1 n=A. rows 

2 parallel for ;=2 ton 

3 parallel for i=1 to ;—1 
4 


exchange a; with ai 


试 分 析 这 个 算法 的 工作 量 、 持 续 时 间 和 并 行 度 。 

27.1-8 ”假设 将 PTRANSPOSE( 见 练习 27. 1-7) 中 第 3 行 的 parallel for 循环 替换 成 普通 的 for 循 
环 。 试 分 析 改 变 后 算法 的 工作 量 、 持 续 时 间 和 并 行 度 。 

27. 1-9 假定 Tp 二 元/P 十 T。， 在 多 少 个 处 理 器 的 并 行 机 上 才能 使 国际 象棋 程序 的 两 个 版 本 的 运 
行 速 度 一 样 快 ? 


27.2 多 线程 矩阵 乘法 

在 本 节 中 ， 我 们 讨论 如 何 进行 多 线程 矩阵 乘法 ， 该 问题 的 串 行 运行 时 间 在 4. 2 节 已 经 介绍 
T. 下面 的 多 线程 算法 是 基于 标准 的 三 重 柑 套 算法 及 分 治 算法 而 得 到 的 。 

和 矩阵 乘法 的 多 线程 算法 

我 们 讨论 的 第 一 个 算法 是 一 个 直接 得 到 的 算法 ， 它 是 基于 对 4. 2 节 的 SQUARE MATRIX- 
MULTIPLY 过 程 中 的 循环 进行 并 行 化 的 。 

P-SQUARE-MATRIX-MULTIPLY(A, B) 

1 n=A. rows 
2 let C bea new nXn matrix 
3 parallel for i=1 ton 
4 parallel for j= 1 ton 
5 cy =0 
6 for k=1 ton 
7 Cy =cy tag ° bij 

8 return C 

为 了 分 析 这 个 算法 ， 注 意 到 其 串 行 化 版 本 就 是 SQUARE-MATRIX-MULTIPLY, AIAG 
得 到 它 的 工作 量 T (xn) =O(n®), 5 SQUARE-MATRIX-MULTIPLY 的 运行 时 间 相 同 。 持 续 时 间 
是 To MSAN), AAEM MESS 3 行 开 始 的 paralle for 循环 构成 的 递归 树 中 的 一 条 向 下 路 
径 ， 然 后 第 4 行 开始 的 paralle for 循环 构成 的 递归 树 向 下 ， 再 执行 第 6 行 开 始 的 普通 for 循环 的 
所 有 nn 次 迭代 ， 结 果 整 个 持续 时 间 为 8(lgn) 十 8@(lgn) 十 8(n) = 二 B(n)。 所 以 并 行 度 为 O07?) /@(n) = 
O(n’). FJ 27. 2-3 要 求 读者 并 行 化 内 层 循环 并 得 到 并 行 度 为 O /lgn)， 这 里 不 能 直接 使 用 
parallel for， 因 为 这 样 会 导致 数据 竞争 。 

矩阵 乘法 的 分 治 多 线程 算法 

由 于 在 4. 2 节 中 已 学 习 过 ， 用 Strassen 的 分 治 策略 可 以 在 @lr*?) 一 OC) 时 间 内 完成 nXn 
阶 和 矩阵 乘法 ， 这 促使 我 们 将 目光 转向 多 线程 。 如 同 在 4. 2 节 中 做 的 那样 ， 以 对 一 个 简单 的 分 治 算 
法 进行 多 线程 处 理 来 开始 。 

回想 SQUARE-MATRIX-MULTIPLY-RECURSIVE 过 程 ， 它 将 两 个 2zXz2z 矩阵 A MB FAH 
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得 到 nXn 和 矩阵 C， 方 法 是 将 这 三 个 矩阵 都 划分 成 4 个 n/2Xn/2 的 子 矩 阵 : 


A = 的 Ai | , B = 区 By. l , C cae be og 
An A Bz Bzz Cr C22 


然后 ， 我 们 重 写 矩阵 乘积 为 : 
Ci Cr Ay Ay ]f Bui Bi 
P Caz l 7 F Az | bs By | 
bers An By, | Wh Ba A 
An By Aa Bi Azz Ba AzBz 
因此 ， 做 两 个 nXn 矩阵 相 乘 ， 要 执行 8 次 n/2Xn/2 ENR. PRN AREF 
现 了 这 个 分 治 策略 。 与 SQUARE-MATRIX-MULTIPLY-RECURSIVE 24 [A], P-MATRIX- 
MULTIPLY-RECUREIVE 过 程 将 输出 矩阵 作为 一 个 参数 以 避免 不 必要 的 矩阵 分 配 。 


P-MATRIX-MULTIPLY-RECURSIVE(C, A, B) 
l n=A. rows 
2 ifn == 1 


3 Cy =a) 


(27. 6) 


4 else let T be a new nXn matrix 
5 partition A, B, C, and T into n/2Xn/2 submatrices 
An» Ais Ans Az; Bus B, Bas Bz; Cuns Cri, Cars Cz 
and Tus Ti», Tas T223 respectively 
6 spawn P-MATRIX -MULTIPLY-RECURSIVE(C;,, An» Bu) 
7 spawn P-MATRIX -MULTIPLY-RECURSIVE(C;,, An» Biz) 
8 spawn P-MATRIX -MULTIPLY-RECURSIVE(C;,, Aa, Bu) 
9 spawn P-MATRIX -MULTIPLY-RECURSIVE(Cz,, Az» Biz) 


10 spawn P-MATRIX -MULTIPLY-RECURSIVE(T),, Ar, Ba) 
11 spawn P-MATRIX -MULTIPLY-RECURSIVE(T,2, A2, Boz) 
12 spawn P-MATRIX -MULTIPLY-RECURSIVE(T2 , Az, Ba) 
13 P-MATRIX -MULTIPLY-RECURSIVE(Tz2, Az» Bz) 

14 sync 

15 parallel for :=1 to n 

16 parallel for ;=1 ton 

17 Cy =ci tti 


第 3 行 是 基础 情形 ， 进 行 的 是 1X1 和 矩阵 相 乘 。 第 4 一 17 行 处 理 的 是 递归 情况 。 在 第 4 行 中 
分 配 了 一 个 临时 矩阵 T， 并 且 第 5 行将 矩阵 A、B、C 和 工 划 分 成 z/2X7zV2 的 子 和 矩阵 (与 4.2 节 
中 的 SQUARE-MATRIX-MULTIPLY-RECURSIVE 过 程 一 样 ， 忽 略 使 用 下 标 来 表示 和 矩阵 中 的 子 
和 矩阵 而 产生 的 小 问题 )。 第 6 行 中 的 递归 调用 置 Cu 为 子 矩阵 乘积 Al Bi, PR Ca FFA. 6) 
中 和 的 两 项 中 的 第 一 项 。 类 似 地 ， 第 7 一 9 FT Co. Gi 和 Cz 等 于 式 (27. 6) 中 和 的 两 项 中 的 第 一 
项 。 第 10 行 置 子 矩 阵 厂 :为 子 和 矩阵 乘积 As Ba ， 使 得 也 :等 于 形成 G 和 的 两 项 中 的 第 二 项 。 第 
11 一 13 行 分 别 置 Ta 、T2a 和 Tex ABR Ce. a 与 Cz 和 的 两 项 中 的 第 二 项 。 前 面 的 7 个 递归 都 是 派 
生 的 ， 最 后 一 个 在 主 链 中 执行 。 第 14 行 中 的 sync 语句 保证 了 第 6 一 13 行 中 的 所 有 子 和 矩阵 乘积 都 被 
计算 ， 之 后 在 第 15 一 17 行 中 使 用 双重 典 套 parallel for 循环 将 工 的 乘积 加 入 到 C 中 。 

我 们 首先 分 析 P-MATRIX-MULTIPLY-RECURSIVE 过 程 的 工作 量 Mi (n)， 与 它 的 原版 本 
SQUARE-MATRIX-MULTIPLY-RECURSIVE 的 串 行 运行 时 间 分 析 相 同 。 在 递归 情况 下 ， 划 分 
时 间 为 8(1) ， 执 行 8 个 递归 的 n/2Xn/2 抢 阵 相 乘 ， 最 后 执行 工作 量 为 OG) WRT nX n EREK 
相 加 。 因 此 ， 根 据 主 定理 的 情况 1， 工 作 量 M MERE: 
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M, (n) = 8M, (n/2) + A) = Aln?) 

换 句 话说 ， 多 线程 算法 的 工作 量 渐 近 地 与 4.2 市 中 的 SQUARE-MATRIX-MULTIPLY 过 程 的 运 
行 时 间 一 样 ， 它 们 都 使 用 了 三 重 嵌 套 循环 。 

为 了 得 到 PMATRIX-MULTIPLY-RECURSIVE 过 程 的 持续 时 间 Mu. (n)， 首 先 注意 到 划分 
时 间 是 8(1)， 这 是 由 第 15 一 17 FF HH MERE parallel for 循环 的 B(lgn) 持 续 时 间 决 定 的 。 由 
于 8 个 并 行 递归 调用 都 是 在 相同 规模 的 矩阵 上 运行 ， 因 此 递归 调用 的 最 大 持续 时 间 只 是 其 中 任 
何 一 个 的 持续 时 间 。 于 是 PPMATRIX-MULTIPLY-RECURSIVE 的 持续 时 间 Mo (n) 的 递归 
AE: 

M..(n) = M» (n/2) + @Clgn) (27.7) 

对 于 这 个 递归 式 的 求解 ， 前 面 主 定 理 的 任何 情况 都 不 适用 ， 但 它 满足 练习 4. 6-2 的 条 件 。 因 此 由 
练习 4. 6-2， 递 归 式 (27.7) 的 解 是 ML (zz) 王 BClg27) 。 

现在 已 经 得 到 P-MATRIX-MULTIPLY-RECUREIVE 的 工作 量 和 持续 时 间 ， 我 们 可 以 计算 
出 它 的 并 行 度 Mi (mn)/M (nn) 二 Bw /lg n)， 这 个 值 非常 大 。 

多 线程 Strassen 算法 

实现 多 线程 Strassen 算法 的 思路 同 4. 2 节 中 的 Strassen RE KSC, MARE: 

1. 与 等 式 (27. 6) 中 的 一 样 ， 将 输入 矩阵 A AB 以 及 输出 矩阵 C 划分 成 %/2Xn/2 子 矩阵 。 这 
一 步 使 用 下 标 计 算 ， KET 6(1) 的 工作 量 和 持续 时 间 。 

2. 产生 10 个 和 矩阵 Si ’ S, ee Sio ’ 它们 都 是 n/2Xn/2 TEK, 并 且 是 第 l 步 中 两 个 矩阵 
的 和 或 差 。 通 过 使 用 双重 舱 套 parallel for jm, H Om THEM 8B(lgn) 持 续 时 间 可 以 产生 所 有 
的 10 个 矩阵 。 

3. 使 用 第 1 步 中 产生 的 子 和 矩阵 和 第 2 步 中 产生 的 10 个 和 矩阵， 递归 地 派生 计算 7 个 n/2Xn/2 
和 矩阵 Pis P,, AaS P, 的 乘积 。 

4. FRR AA Bie parallel for 循环 ， 对 P; 矩阵 进行 加 和 减 的 各 种 组 合 ， 计 算 结果 和 矩阵 C 
中 需要 的 子 矩 阵 Cu、Ci: 、Ca 、Czz。 可 以 在 工作 量 为 OC’ ) 和 持续 时 间 为 @(lgn) 内 ， 计 算得 到 
全 部 的 4 个 子 和 矩阵 。 

为 了 分 析 这 个 算法 ， 首 先 注意 到 捉 行 化 后 的 程序 就 是 原 串 行程 序 ， 工 作 量 就 是 串 行 化 程序 
的 运行 时 间 ， 即 OC), Xt F PMATRIX-MULTIPLY-RECURSIVE， 可 以 得 到 持续 时 间 的 一 
个 递归 式 。 在 这 种 情况 下 ，7 个 递归 调用 是 并 行 执行 的 ， 然 而 由 于 它们 都 是 在 同样 大 小 的 矩阵 上 
进行 的 运算 ， 因 此 如 同 PMATRIX-MULTIPLY-RECURSIVE 所 做 的 那样 ， 得 到 一 样 的 递归 式 
(27.7)， 其 解 为 OUg’n). 。 所 以 ， 多 线程 Strassen 方法 的 并 行 度 是 O(n" /lgn)， 这 个 数字 仍然 很 
大 ， 但 比 PMATRIXMULTIPLY-RECURSIVE 的 并 行 度 要 小 一 些 。 


练习 

27. 2-1 请 画 出 在 2X2 矩阵 上 计算 PSQUARE-MATRIX-MULTIPLY 的 计算 有 向 无 环 图 ， 并 在 
图 中 标 出 与 算法 执行 中 的 链 相 对 应 的 所 有 顶点 。 使 用 习惯 表示 法 : 派生 调用 和 普通 调用 
的 边 指向 下 ， 连 接 边 水 平 指向 右 ， 返 回 边 指 加 上。 假设 每 个 链 消 耗 单 位 时 间 ， 试 分 析 该 
计算 的 工作 量 、 持 续 时 间 和 并 行 度 。 

27. 2-2 ”对 PMATRIXMULTIPLY-RECURSIVE 过 程 ， 重 做 一 遍 练习 27. 2-1, 

27. 2-3 ”请 给 出 工作 量 为 (ww)， 而 持续 时 间 仅 为 @(lg2) 的 两 个 2X? 和 矩阵 相 乘 的 多 线程 算法 伪 
代码 ， 并 分 析 该 算法 。 

27.2-4 请 给 出 pXg 和 矩阵 和 gq Xr 和 矩阵 相 乘 的 一 个 有 效 多 线程 算法 的 伪 人 代码。 即使 任何 p qa Rr 
为 1， 你 的 算法 也 要 有 好 的 并 行 性 能 。 分 析 该 算法 。 
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27.2-5 请 给 出 原 地 转 置 2X7 矩 阵 的 一 个 有 效 的 多 线程 算法 伪 代 码 ， 使 用 分 治 法 原 地 将 nXn 算 
阵 递 归 地 划分 为 4 个 n/2Xn/2 子 和 矩阵。 分 析 该 算法 。 

27. 2-6 ”请 给 出 Floyd-Warshall 算法 ( 见 25.2 节 ) 的 一 个 有 效 多 线程 实现 的 伪 人 代码， 该 算法 在 带 
权 图 上 计算 所 有 点 对 间 的 最 短路 径 。 分 析 该 算法 。 


27.3 多 线程 归并 排序 


首先 ， 在 2. 3. 1 节 中 ， 我 们 已 学 过 串 行 的 归并 排序 ， 并 在 2.3.2 节 中 分 析 过 它 的 运行 时 间 为 
@(Gzlg7z) 。 由 于 归并 排序 应 用 了 分 治 模式 ， 于 是 使 用 明 套 并 行 似 乎 不 是 多 线程 化 的 一 个 好 的 候选 
方法 。 可 以 简单 地 修改 原 伪 代码 ， 改 第 一 个 递归 调用 为 派生 的 : 


MERGE-SORT (A, p, r) 


l ifp<r 

2 . g=|(p+7)/2| 

3 spawn MERGE-SORT (A, p, q) 
4 MERGE-SORT (A, q+1, r) 

5 Sync 

6 MERGE(A, p, q; r) 


与 它 对 应 的 串 行 算法 一 样 ，MERGE-SORT 对 子 数组 ALD. . rj 进行 排序 。 完 成 第 3 行 和 第 4 行 的 
两 个 递归 子 程序 ， 这 是 使 用 第 5 行 的 syne 语句 来 保证 的 ， 然 后 MERGE-SORT 与 本 书 中 2. 3 节 
中 的 一 样 调用 MERGE 过 程 。 

现在 来 分 析 MERGE-SORT 。 为 此 ， 先 要 分 析 MERGE。 前 面 介绍 过 它 合并 =” 个 元 素 的 串 行 
运行 时 间 是 8(n) 。 因 为 MERGE 是 串 行 的 ， 它 的 工作 量 和 持续 时 间 都 是 Om). Fie, PMA 
归 式 刻画 了 MERGE-SORT 在 ”个 元 素 上 的 工作 量 MS n): 

MS! (m) = 2MS | (n/2) + Oln) = O(nlgn) 
它 与 归并 排序 的 串 行 运行 时 间 相 同 。 由 于 MERGE-SORT 中 的 两 个 递归 调用 可 以 并 行 执行 ， 持 
续 时 间 MS 可 由 如 下 递归 式 给 出 : 
MS %(n) = MS ..(n/2) + O(n) = O(n) 
FÆ, MERGE-SORT’ 的 并 行 度 就 是 MS} (n)/MS2.(n) =O(lgn), KPHAERERE. BM. 
要 排 1000 万 个 元 素 ， 在 数量 不 多 的 处 理 器 上 可 以 达到 线性 加 速 ， 但 是 在 几 百 个 处 理 和 项 上 加 速 不 
能 得 到 有 效 的 保持 。 

读者 可 能 已 经 发 现 上 面 的 多 线程 归并 排序 的 并 行 性 瓶颈 在 于 : PÍT MERGE WH. BARB 
并 初 看 起 来 像 是 天 生 串 行 的 ， 但 实际 上 可 以 用 内 套 并 行 来 形成 一 个 它 的 多 线程 版 本 。 

用 于 多 线程 合并 的 分 治 策略 是 运用 于 数组 T 的 子 数 组 上 的 ， 如 图 27-6 所 示 。 假 设 长 度 为 
m=n— pit] 的 有 序 子 数组 TLpi. .rj 和 长 度 为 m=r— p t1 的 有 序 子 数组 TL pi. .rj 合并 为 
另 一 个 长 度 为 ns 二 7 一 pp 十 1 二 ni 十 nz 的 子 数组 ALps. .rj]。 不 失 一 般 性 ， 可 以 简单 假设 mn, 。 

首先 ， 找 出 子 数组 TLp. r JS Pla oR z= TLgj， 其 中 dl =p 十 ni )/2]。 由 于 子 数组 是 
有 序 的 ，z 是 TLp. .rj 的 中 位 数 : 数组 TLp. .9g 一 1j 中 的 每 个 元 素 都 不 大 于 zx， 并 且 数 组 
T[gq 十 1. .xi] 中 的 每 个 元 素 都 不 小 于 x。 然后， 使 用 二 分 查找 方法 找 子 数组 Th. PRP 
gq:， 使 得 如 果 将 xz 插 入 到 T[gs 一 1jJ 和 TLg;j] 之 间 ， 子 数组 仍然 有 序 。 

下 一 步 ， 将 子 数组 Tp... JA Ip. .rsj 合并 成 数组 ALps..7;]， 具 体 如 下 : 

1. 取 qs =p: + (gq — £1) + (gz p). 

2. KE x AWAL]. 

3. 递归 地 将 Tp. ‘qi 1]5 Tle.. 一 1 合并 ， 并 将 合并 结果 存放 到 子 数组 Al bs. > ds al 

4. 递归 地 将 TLgqi 十 1. .nj 与 TLg;. paren 并 将 合并 结果 存放 到 子 数组 AL Qs +1. . 75]. 
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27-6 将 两 个 有 序 子 数组 TE pi. .rij] 和 T[ ps. .rj 并 成 子 数组 A[L ps. .rj] 的 多 线程 合并 思 
想 。 假设 z= 二 TLgl 是 TL. nA. o 为 TLpz. .rsj 中 的 一 个 位 置 ， 使 得 z 落 
在 TLgz 一 1j 和 Tle 之 间 ， 子 数组 TLpi. .qi 一 1] 和 TLps.. 9gz 一 1]( 浅 阴影 部 分 ) 中 
的 每 个 元 素 都 小 于 或 等 于 z， 并 且 子 数组 TLgi 十 1. .nij] 和 T[gz 十 1.. r: CORRER 
分 ) 中 的 每 个 元 素 都 大 于 或 等 于 zx。 为 了 合并 ,计算 下 标 qs， 使 得 z 属于 
Alps..r3], 将 z 复 制 到 ALgsj]， 然 后 递归 地 将 T[p1.. gq 一 1 和 TELps.. qs 一 1j 合 并 
到 ALps.. qs 一 1j, ¥ Tha +1..n JM Tle... GHB AL +1. . r] 


当 计 算 o 时 , Æa p 是 子 数组 TLpi..q 一 1 中 的 元 素数 目 ， 差 % 一 包 是 子 数组 
TLp,.. qs 一 1j 中 的 元 素数 目 。 因 此 ， 它 们 的 和 是 子 数组 ALps.. 7] 中 zz 加 入 前 的 元 素数 目 。 

当 m=m=0 时 为 基础 情况 ， 此 时 合并 两 个 空子 数组 无 需 做 什么 。 由 于 已 经 假设 子 数组 
TLp. .1 的 长 度 不 短 于 TL p,.. rz ， 即 n>m, Ak RERA nm =0, 就 能 判别 是 否 是 基础 情 
况 。 同 样 ， 当 两 个 子 数组 中 仅 一 个 为 空 时 ， 必 须 确保 递归 仍 能 正确 处 理 。 根 据 假 设 nn 宇 n, ， 这 个 
空 数组 肯定 是 TLp;. .rj]。 

现在 ， 将 这 些 想法 用 伪 代 码 实现 。 以 二 分 查找 开始 ， 用 串 行 算法 表示 。 过 程 BINARY- 
SEARCH(z, T, p, NHRX—-TKREF x 和 一 个 子 数组 TLp. . 门 ， 并 返回 下 面 的 一 个 结果 : 

。 WR TLp..rjJAB(r<p), REF ix p. 

。 如 果 zTLp]， 因 此 小 于 或 等 于 TLA. .rj 中 的 任何 元 素 ， 则 返回 下 标 p. 

© 如 果 zx 二 TLp]， 则 返回 在 p<q<r 十 1 中 满足 TLg 一 1]<z 的 最 大 下 标 z。 

伪 代 码 如 下 : 


BINARY-SEARCH(z, T, p, r) 
l low=p 

2 high=max(p, r+1) 

3 while low < high 

4 mid=|(lowt+high)/2 | 
5 if z<T| mid | 

6 high=mid 

7 else low=mid+1 

8 return high 


调用 BINARY-SEARCH(x，T，p，7) 最 坏 情况 下 需要 86(lgz) 的 串 行 执行 时 间 ， 这 里 n=r—pt 
1 是 执行 时 子 数 组 的 大 小 。( 见 练习 2. 3-5。.) 由 于 BINARY-SEARCH 是 一 个 串 行 过 程 ， 因 此 最 坏 
情况 下 其 工作 量 和 持续 时 间 都 是 @(lgn)。 

现在 ， 准 备 写 多 线程 归并 过 程 的 伪 代 码 。 与 2. 3 节 中 的 MERGE 过 程 一 样 ，P-MERGE 过 程 
也 要 求 将 两 个 子 数组 合并 到 同一 个 数组 内 。 然 而 不 像 MERGE，P-MERGE 并 不 要 求 两 个 要 合并 
子 数组 在 合并 后 的 数组 中 是 相 邻 的 。( 即 P-MERGE 并 不 需要 b, =r +1.) MERGE 和 P-MERGE 
间 的 男 一 个 差别 是 ，P-MERGE 把 一 个 输入 参数 作为 输出 子 数组 A 中 存储 合并 结果 的 位 置 值 。 调 
FA P-MERGECT, pis i，p.7;，A，p;) 将 有 序 的 子 数 组 TLpi. .ni] 和 T[ ps. .rj 合并 到 子 数组 


470 。 第 七 部 分 算法 问题 选编 


Alps... nl, EP r=p+(n-—ptDt(n-p+)D—-1=p3+ (ny — p+ p) +1 并 不 作 
为 一 个 输入 参数 提供 。 


P-MERGEC(T, Dis Tis Pos T2, A, ps) 


1 m=r— p +1 

2 m=rz—prtl 

3 ifn<n // ensure that n n: 

4 exchange p, with p: 

5 exchange r, with r, 

6 exchange n, with nz 

7 ifn==0 // both empty? 

8 return 

9 else a=(CGitnr)/2] 
10 q: =BINARY-SEARCH(TLq ], T, b2» r2) 
11 Q3= ps + (qi — p) tla — 2) 
12 Alg J=TLa J 
13 spawn P-MERGE(T, pi, qi: —1, Po» qs—1, A> ps) 
14 P-MERGE(T, git], ris G2 res A, qg +1) 
15 sync 


P-MERGE 工作 过 程 如 下 。 第 1 一 2 行 分 别 计 算 子 数组 TLp. .nj 和 TLps..rzj 的 长 度 。 第 
3 一 6 行使 得 假设 m >n 成 立 。 第 7 行 检测 问题 的 基础 情形 ， 使 得 子 数 组 T[ pi. .rj 为 空 时 ， 
TL: .rj 也 为 空 ， 于 是 就 可 以 简单 返回 。 第 9~15 行 实现 分 治 策略 。 第 9 行 计 算 TLA.. r JE 
间 下 标 ; 第 10 行 找到 Tle... 7] 中 的 点 a» E1 TLA.. gq; 一 1j 中 的 所 有 元 素 都 小 于 TLa ]( 这 是 
相应 的 xz HFA Tle. pj 中 的 所 有 元 素 都 至 少 大 于 Tlal 第 11 行 计算 将 输出 子 数组 
Al ps. .Ts 划分 为 AL ps. - q3 一 1 和 ALa +1. .xsj 的 元 素 的 下 标 ds， 然后 在 第 12 行 直接 将 TL I 
fl BAL gs |. 

接 下 来 ， 使 用 嵌 套 并 行进 行 递归 。 第 13 行 派生 第 一 个 子 问题 ， 并 在 第 14 行 并 行 调用 第 二 个 
子 问题 。 第 15 TP sync 语句 确保 在 主 过 程 返回 之 前 所 有 子 问 题 都 完成 。( 由 于 每 个 过 程 在 返 
回 前 都 隐 含 地 执行 一 个 sync， 因 此 可 以 省 略 第 15 行 中 的 syne 语句 ， 但 是 为 了 养 成 一 个 好 的 编程 
习惯 ， 应 该 加 上 它 。) 这 里 有 一 些 使 代码 在 子 数组 Th.. 7; 为 空 时 仍 能 正确 运行 的 诀窍 。 每 次 递 
归 调 用 时 的 工作 方式 是 ， 将 TLpi. .rj 的 中 位 数 置 入 输出 子 数组 中 ， 直 到 TLpi. .rj 自身 变 为 空 ， 
即 触及 问题 的 基础 情形 。 

多 线程 归并 的 分 析 

首先 ， 推 导 P-MERGE 的 持续 时 间 PM. (nn) 的 递归 式 ， 这 里 两 个 子 数组 包含 全 部 n=n tn 
个 元 素 。 由 于 第 13 行 中 的 派生 调用 和 第 14 行 中 的 普通 调用 逻辑 上 是 并 行 的 ， 因 此 只 需 检查 两 个 
调用 中 代价 较 大 的 一 个 。 关 键 是 要 了 解 最 坏 情 况 下 ， 任 何 一 个 递归 调用 中 涉及 的 元 素 最 大 数目 至 
多 为 3n/4， 这 可 以 从 看 后 面 的 推导 中 看 出 。 因 为 第 3 一 6 行 保 证 了 nw 三 nm， 可 以 得 到 m =2n,/2< 
(mn 十 mw)/2 二 mn/2。 在 最 坏 情 况 下 ， 两 个 递归 调用 中 的 一 个 将 TLp..nj] 的 [Lm/2j 个 元 素 与 
TL: .rzj 的 所 有 nz 个 元 素 进行 合并 ， 因 此 调用 中 涉及 的 元 素数 目 是 : 

La /2)+m <n, /2+,/2+m/2 = (m +m)/2+n,/2 
<n/2+n/4 = 3n/4 
将 其 与 第 10 47 BINARY-SEARCH 的 调用 成 本 .9(lgz) 相 加 ， 得 到 下 面 最 坏 情 况 下 持续 时 间 的 递 
AHA: 
PM..(n) = PM» (3n/4) + QO(lgn) (27. 8) 

(对 于 问题 的 基础 情形 ， 持 续 时 间 是 OC), AA 1~8 行 执行 的 时 间 是 常数 ) 这 个 递归 并 不 符合 
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主 定理 中 任何 一 个 情况 ， 但 它 满足 练习 4. 6-2 的 条 件 。 所 以 ， 递 归 式 (27.8) 的 解 为 PM. (n) = 
@(lg 7) 。 
现在 分 析 nn 个 元 素 上 PMERGE 的 工作 量 PM (n)， 可 以 推 得 是 @(n)。 因 为 nn 个 元 素 的 每 一 
个 必须 要 从 数组 全 复制 到 数组 A， 于 是 有 PM (M=). Ai, AF REWE PM, (n) = 
O(n). 
先 推 导出 最 坏 情 况 下 的 工作 量 递归 式 。 第 10 行 中 的 二 分 查找 在 最 坏 情 况 下 需要 Olen) R 
本 ， 它 由 递归 调用 之 外 的 其 他 工作 决定 。 对 于 递归 调用 ， 注 意 到 虽然 第 13 行 和 第 14 行 中 的 递归 
调用 可 以 归并 不 同 数目 的 元 素 ， 但 这 两 个 递归 调用 合 起 来 最 多 归并 on 个 元 素 ( 实 际 上 是 ”一 1 个 元 
K. AAT a ] 不 参与 两 个 递归 调用 )。 此 外 ， 如 前 面 分 析 持 续 时 间 所 介绍 的 ， 一 个 递归 调用 最 
多 操作 3n/4 个 元 素 ， 所 以 可 以 得 到 递归 式 : 
PM, (n) = PM, (an) + PM, ((1 — a)n) + OUgn) (27.9) 
其 中 a 的 范围 是 1/4 委 x 委 3/4， 而 且 对 于 每 层 的 递归 调用 o 可 能 取 不 同 的 值 。 
使 用 替换 法 ， 可 以 求 得 递归 式 (27.9) 的 解 为 PMi(n) 二 O(n)。 假设 对 于 某 正 常数 c 和 cs 有 
PM, (nm)<cn— c Ign. 通过 替换 ， 可 以 得 到 : 
PM, (n) Slacan — c lg(an)) + (ce, (1 — a) n— c: Ig((1 — a) n)) + OC gn) 
=c (a+ (1—a))n— c: (lg(an) + lgC(1 — a) n)) + @Clgn) 
=cn— c: lgatlgn+lg(1 — a) + lgn) + OUgn) 
=cjn— c lgn— (ce, lgn+ lg(aC1 — a))) — @Ugn)) 
<cin— c lgn 
由 于 可 以 取 c 的 值 足够 大 ， 使 得 co (lgn 十 lgCa(1 一 a))) 大 于 Bl(lgn) 项 。 进一步 ， 可 以 取 c 足够 
大 ， 使 之 满足 递归 式 的 基础 情形 。 因 为 P-MERGE 的 工作 量 PM, (n) 既 满足 QCn) 又 满足 O(n), 
所 以 有 PM (n) 二 BQ(n)。 
最 后 ，P-MERGE 的 并 行 度 是 PM, (n)/PM.. (n) =O(n/lg’n) . 
多 线程 归并 排序 
既然 已 经 有 一 个 很 好 的 并 行 多 线程 归并 算法 ， 我 们 可 以 将 它 合并 到 多 线程 归并 排序 中 。 这 
个 归并 排序 版 本 与 先前 提 到 的 MERGE-SORT 过 程 类 似 , 但 略 有 不 同 ， 它 使 用 一 个 输入 参数 为 
输出 子 数组 B， 数 组 B 将 存放 已 排 好 序 的 元 素 。 特 别 地 ， 调 用 P-MERGE-SORT(A, p, r, B, s) 
排序 ALp. .rj 中 的 元 素 ， 并 将 排序 结果 存 到 BLs.. str p]. 
P-MERGE-SORT(A, p, r, B, s) 
l n=r—p+1 
2 ifn==1 
3 B[Ls]=ALp] 
4 else let T[1..n|be a new array 


5 q=|(ptr)/2] 

6 q’=q—ptl 

7 spawn P-MERGE-SORT(A, p, g, T, 1) 
8 P-MERGE-SORT(A, q+1, r, T, q' +1) 
9 sync 

10 P-MERGE(T, 1, g', 9 +1, n, B, s) 


第 1 行 计 算 了 输入 子 数组 ALp. .rj 的 元 素数 目 nx， 当 数组 仅 有 一 个 元 素 时 ,第 2 一 3 行 处 理 此 时 
的 基础 情形 。 第 4 一 6 行为 第 7 行 派生 递归 和 第 8 行 普 通 调 用 做 准备 ， 这 两 个 调用 可 以 并 行 处 
理 。 特 别 地 ， 第 4 行 申 请 了 一 个 元 素 的 临时 数组 本 来 存放 递归 归并 排序 的 结果 。 第 5 行 计 算 
ALp. .站 的 下 标 9， 用 于 将 元 素 划 分 成 两 个 子 数组 ALp. .qj 和 Alati.. r], 它们 将 被 递归 排序 ， 
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然后 第 6 行 继续 计算 出 第 一 个 子 数组 ALp. .qj 中 的 元 素数 目 g ,第 8 行使 用 它 来 确定 存放 
A[g 十 1. .rj 排序 结果 的 工 的 开始 下 标 。 此 时 ， 派 生 和 递归 调用 都 已 执行 ， 后 面 紧 接 着 的 是 第 9 
行 的 sync EA, sye 语句 迫使 主 过 程 一 直 等 到 派生 过 程 执行 完 为 止 。 最 后 ， 第 10 行 调 用 P 
MERGE 来 归并 存放 在 TL1..g] 和 Tig’ +1. .nj 中 的 有 序 子 数组 ， 并 将 结果 存放 到 输出 的 子 数组 
BLs..s+tr—p]P. 

多 线程 归并 排序 分 析 

从 分 析 P-MERGE-SORT 的 工作 量 PMS, (n) 开始， 这 比分 析 P-MERGE 的 工作 量 简单 了 许 
多 。 实 际 上 ， 工 作 量 可 由 下 面 的 递归 式 得 到 : 

PMS, n) = 2PMS, (n/2) + PM, (n) = 2PMS, (n/2) + @(n) 
这 个 递归 式 与 2. 3. 1 节 中 的 普通 MERGE-SORT 递归 式 (4.4) 相 同 ， 根据 主 定理 中 的 情况 2， 解 
为 PMS, (n)=@(nlgn). 

现在 来 分 析 和 推导 最 坏 情 况 下 持续 时 间 PMS- (zx) 的 递归 式 。 因 为 第 7 一 8 行 中 的 两 个 递归 调 
用 P-MERGE-SORT 是 逻辑 上 并 行 的 ， 可 以 忽略 其 中 一 个 ， 得 到 递归 式 : 

PMS» (n) = PMS。 (n/2) + PM... (n) = PMS» (n/2) + @Cig’n) (27. 10) 
同 递归 式 (27. 8)， 主 定理 也 不 适用 于 递归 式 (27.10), 但 练习 4. 6-2 可 以 。 解 得 PMS- (n) = 
Ode n), FLI P-MERGE-SORT 的 持续 时 间 是 ode n). 

并 行 归 并 方法 使 得 P-MERGE-SORT 的 并 行 度 比 MERGE-SORT 显著 好 。 回 想 MERGE- 
SORT WFE, CHAPIT MERGE 过 程 ， 其 并 行 度 只 有 8B(lgn)。 但 对 于 P-MERGE-SORT, 
其 并 行 度 有 : 

PMS, (n)/PMS..(n) = Onlgn)/AUg n) = On/lgn) 
这 在 理论 上 和 实践 中 都 好 了 很 多 。 实 际 中 一 个 好 的 实现 是 通过 加 大 基础 情形 规模 以 减少 渐 近 符 
号 中 隐藏 的 常数 因子 ， 尽 管 会 牺牲 一 些 并 行 度 。 当 数组 规模 充分 小 时 ， 这 种 加 大 基础 情形 规模 的 
方式 也 可 以 直接 用 到 普通 的 串 行 排序 上 ， 也 许 是 快速 排序 。 


练习 

27.3-1 试 解释 如 何 加 大 P-MERGE 基础 情形 的 规模 。 

27.3-2 与 PMERGE 在 较 大 数组 中 找 一 个 中 位 数 的 方法 不 同 ， 使 用 练习 9. 3-8 的 结果 ， 请 给 出 
一 个 找 出 两 个 有 序 子 数 组 中 的 所 有 元 素 的 中 位 数 的 替代 方法 。 再 给 出 使 用 这 个 中 位 数 查 
找 方法 的 一 个 有 效 的 多 线程 归并 算法 的 伪 代 码 。 分 析 该 算法 。 

27.3-3 如 7.1 节 中 的 PARTITION 过 程 ， 请 给 出 一 个 有 效 的 多 线程 算法 ， 用 划分 元 划分 一 个 数 
组 。 你 不 必 原 地 划分 数组 ; 使 你 的 算法 尽 可 能 多 地 并 行 。 分 析 该 算法 。 (提示 : 可 能 需 
要 一 个 辅助 数组 ， 并 可 能 需要 对 输入 元 素 做 多 于 一 趟 的 处 理 。) 

27.3-4 请 给 出 30. 2 节 中 的 RECURSIVE-FFT 的 一 个 多 线程 版 本 ， 使 实现 尽 可 能 多 地 并 行 。 并 


*27.3-5 请 给 出 9. 2 节 中 的 RANDOMIZED-SELECT 的 一 个 多 线程 版 本 ， 使 实现 尽 可 能 多 地 并 


行 。 分 析 该 算法 。( 提 示 : 使 用 练习 27. 3-3 中 的 划分 算法 。) 


*27.3-6 ”如 何 实现 9. 3 节 的 多 线程 SELECT 算法 ， 使 实现 尽 可 能 多 地 并 行 。 分 析 该 算法 。 


27-1 (使 用 谋 套 并 行 实现 并 行 循环 ) ”考虑 下 面 对 两 个 个 元 素 的 数组 ALl. .由 和 BL1. .nj 进行 
相 加 ， 并 将 结果 存放 在 CL. .nj 中 的 多 线程 算法 。 


27-2 


27-3 


27-4 
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SUM-ARRAYS(A, B, C) 
l parallel for :=1 to A. length 
2 Cli J=Ali]+ Bi] 


a. 按照 MAT-VEC-MAIN-LOOP 的 样式 , (8 Fl fk 22 Ff íT (spawn 和 sync) 改写 SUM- 
ARRAYS 中 的 并 行 循 环 。 分 析 你 的 实现 的 并 行 度 。 
考虑 下 面 并 行 循环 的 两 种 实现 ， 哪 种 实现 包含 了 一 个 指定 的 grain-size 值 : 

SUM-ARRAYS (A, B, C) 

l n=A. length 

2 grain-size=? // to be determined 

3 r=l n/ grain-size | 

4 for k=0 tor—1 

5 spawn ADD -SUBARRAY(A, B, C, k À grain-size+1, 

min((k-+1) © grain-size,n)) 
6 sync 


ADD-SUBARRAY(A, B, C, i, 7) 
1 for k=: to}; 
2 CLkJ=ALR J+ BL] 805 


b. 假定 置 grazx-size 王 1。 以 上 实现 的 并 行 度 是 多 少 ? 

ce 请 给 出 一 个 用 ”和 grain-size 表示 的 SUM-ARRAYS 持续 时 间 公 式 ， 并 求 出 对 应 最 大 并 
行 度 的 最 佳 grain-size 值 。 

(节省 给 阵 乘 法 中 的 临时 空间 ) = P-MATRIX-MULTIPLY-RECURSIVE 过 程 的 缺点 是 它 需 

要 分 配 一 个 nXn NET, 不 利于 8 记号 中 的 常数 因子 。 然 而 PPMATRIX- 

MULTIPLY-RECURSIVE 过 程 有 很 高 的 并 行 度 。 例 如 ， 如 果 忽 略 符号 9 中 的 常数 因子 ， 

对 于 1000X1 000 的 矩阵 相 乘 ， 其 并 行 度 接近 1000/1% =10, AA lg1 000=10。 绝 大 多 

数 并 行 计算 机 的 处 理 器 数目 都 远 小 于 1 000 万 。 

a 描述 一 个 多 线程 算法 ， 该 算法 不 需要 临时 和 矩阵 工 且 持续 时 间 以 BCn) 增 长 。( 提 示 : 模仿 
P-MATRIX-MULTIPLY-RECURSIVE 中 的 一 般 策略 ， 计 算 C=C+AB, 但 可 以 并 行 初 
始 化 C 并 且 要 谨慎 地 在 一 个 合适 地 方 插入 sync 语句 。) 

b. 给 出 并 求解 该 算法 的 工作 量 和 持续 时 间 的 递归 式 。 

c 分 析 该 算法 的 并 行 度 。 忽 略 符号 日 中 的 常数 因子 ， 佑 算 1 000X1 000 矩阵 上 的 并 行 度 。 
并 与 P-MATRIX-MULTIPLY-RECURSIVE 的 并 行 度 比较 。 

(多 线程 矩阵 算法 ) 

a. 并 行 化 28. 1 市 中 的 LU-DECOMPOSITION 过 程 ， 给 出 该 算法 的 一 个 多 线程 版 本 的 伪 代 
码 。 使 该 算法 尽 可 能 多 地 并 行 ， 并 分 析 它 的 工作 量 、 持 续 时 间 和 并 行 度 。 

b. 同样 做 28. 1 节 中 的 LUP-DECOMPOSITION 过 程 。 

c， 同 样 做 28. 1 节 中 的 LUP-SOLVE 过 程 。 

d. 同样 做 基于 等 式 (28. 13) 的 对 称 正 定 矩 阵 求 逆 的 一 个 多 线程 算法 。 806 

(多 线程 归 约 和 前 组 计算 ) 一 个 数组 rll.. nR -reduction WE y= 二 zxL1 zx[2j 

QQ…Q9zLnj] 的 值 ， 其 中 已 是 一 个 结合 操作 符 。 

下 面 的 程序 串 行 计算 了 子 数组 x[i. .jj 的 的 归 约 : 

REDUCE(z, i, j) 

1 y=z[i] 

2 for k=i+1 toj 
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3 y=y@zLk J 
4 return y 
a. 应 用 嵌 套 并 行 实现 一 个 多 线程 算法 PREDUCE， 以 工作 量 为 On), AREA @(lgn) 
的 代价 实现 上 面 同样 的 功能 。 并 分 析 该 算法 。 
为 一 个 相关 问题 是 ， 在 数组 zL1. .zx] 上 求解 一 个 前 缀 计算 (CO-prefix computation) , 
有 时 候 也 称 为 扫描 (6-scan)， 其 中 他 也 是 一 个 结合 操作 符 。 外 扫描 产生 了 如 下 数 
“A yll.. n]: 
yli] = z[1] 
yL2] = L1] ® 2[2] 
yL3] = L1] & zL2] © 213] 
yla] = zl1] Q 2[2] Q L3] © + @ zLn] 
也 就 是 说 ， 使 用 @9 操 作 符 的 数组 z 的 所 有 前 级“ 和 ”。 下 面 的 串 行 SCAN 过 程 计 算 了 一 个 @ 
BUR : 
SCAN(z) 
n=. length 
let yL1..7] be a new array 
yL1]=zL1] 
for :一 2 ton 
yliJ=yli—1]&zLi] 
return y 
遗憾 的 是 ， 多 线程 SCAN 不 是 直接 可 以 得 到 的 。 例 如 ， 改 for 循环 为 parallel for 循环 
会 产生 竞争 ， 因 为 循环 体 的 每 一 步 迭 代 都 依赖 前 一 个 迭代 。 下 面 的 PSCAN-1 过 程 实现 了 
前 缀 计算 的 并 行 ， 尽 管 十 分 低 效 : 
P-SCAN-1(z) 
1 n=z. length 


Q n Fe WH N me 


2 let y[1l..n]be a new array 
3 P-SCAN-1-AUX(z, y, l, n) 
4 


return y 


P-SCAN-1-AUX(z, y» ty j) 
1 parallel for /=: to j 


b. 分 析 P-SCAN-1 过 程 的 工作 量 、 持 续 时 间 和 并 行 度 。 
使 用 嵌 套 并 行 能 得 到 一 个 更 有 效 的 前 缀 计算 ， 其 过 程 如 下 : 


P-SCAN-2(z) 

l n=z. length 

2 let y[1..n] be a new array 

3  P-SCAN-2-AUX(z, y, l, n) 
4 


return y 


P-SCAN-2-AUX(z, Ys ty j) 
1 ifi==j 


2 [Lij=z[i] 
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3 else k=|(i+j)/2| 

4 spawn P-SCAN-2-AUX(z, y, i, k) 
5 P-SCAN-2-AUX(z, y, k+1, j) 

6 sync 

7 parallel for /=k-+1 to j 

8 yl] =yLRI@o LZ] 


c 论证 PSCAN-2 是 正确 的 ， 并 分 析 它 的 工作 量 、 持 续 时 间 和 并 行 度 。 
我 们 可 以 通过 在 数据 上 执行 两 趟 不 同 的 多 前缀 计算 来 改进 P-SCAN-1 和 PSCAN-2。 
第 一 趟 ， 收 集 不 同 的 连续 子 数组 x 的 “和 ?项 ， 存 人 到 一 个 临时 数组 上 中 ; 第 二 趟 ,使 用 : 
中 的 “和 ”项 来 计算 出 最 终 的 结果 y。 下 面 的 伪 代 码 实 现 了 这 种 策略 ， 但 其 中 省 去 了 一 些 
表示 : 808 
P-SCAN-3(z) 
l n=zx. length 
2 let y[1..n] and ¢[1..n] be new arrays 
3 y[L1]=z[1] 
4 ifn>] 
5 P-SCAN-UP(z, t, 2, n) 
6 P-SCAN-DOWN(z[1], xz, t, y, 2, n) 
7 


return y 


P-SCAN-UP(z, t, i, j) 

1 证 ;一 一 / 

2 return x[i] 

3 else 

4 k=|(itj)/2| 

5 tLk |=spawn P-SCAN-UP(z, t, i, k) 

6 right=P-SCAN-UP(z, t, k+1, j) 

7 sync 

8 return // fill in the blank 


P-SCAN-DOWN(y, z, t, y, i, j) 
1 ifi==j 


2 yli]=QzLi] 


3 else 

4 k=|Gi+j)/2] 

5 spawn P-SCAN-DOWN( ,Zz,i,y, i, k) // fill in the blank 
6 P-SCAN-DOWN(__, x, t, y, R41, j) // fill in the blank 

7 sync 


d. 对 P-SCAN-UP % 8 #7, P-SCAN-DOWN 第 5 行 和 第 6 行 中 的 三 个 缺 省 表示 进行 填空 。 
填 完 空 后 ， 论 证 PSCAN-3 是 正确 的 。( 提 示 : 证 明 值 y 传 给 P-SCAN-DWON(, x, t, 
Ys ts j), 满足 v=zL1|&zL2J&:-WzLi—1].) 
e. 分 析 P-SCAN-3 的 工作 量 、 持 续 时 间 和 并 行 度 。 
27-5 〈 多 线程 一 个 简单 的 模板 计算 ) ”计算 科学 中 存在 很 多 这 样 一 类 的 算法 ， 这 类 算法 对 一 个 数 
组 中 的 一 些 单元 进行 填 值 ， 所 填 值 取决 于 已 经 计算 出 的 邻近 单元 值 ， 并 且 计 算 过 程 中 这 些 
信息 一 直 不 变 。 这 种 在 计算 期 间 邻 近 单 元 不 发 生 改 变 的 模式 称 为 模板 (stencil) 计 算 。 例 如 ， 
15.4 节 提供 了 一 个 计算 最 长 公共 子 序列 的 模板 算法 ， 其 中 cLi， 站 的 值 只 取决 于 cli-1, jf], L809 
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cLi，j 一 1 和 cL[i 一 1，j 一 1j 以 及 两 个 给 定 输入 串 中 的 元 素 zx; 和 。 输 入 的 序列 是 固定 不 
变 的 ， 但 算法 在 二 维 数 组 c 中 填写 ,使 得 在 三 个 单元 jl. cli, 7 一 1] 和 
c[i 一 1，j 一 1j 完 成 后 才 计 算 单 元 cli, 7]. 

本 题 中 ， 我 们 探讨 如 何在 一 个 nxXn 的 数组 A 上 使 用 舱 套 并 行 来 实现 一 个 简单 的 模板 
计算 ， 其 中 存 人 单元 A[i， 站 的 值 仅 取决 于 ALi, j], Ei Si, j SEMRA iA 
i 或 者 j ' 关 j) 。 换 句 话 说 ， 一 个 单元 的 值 只 取决 于 它 的 上 边 值 和 左边 单元 的 值 ， 以 及 一 些 
数组 之 外 的 静态 信息 。 此 外 ， 整 个 过 程 中 假设 ,一 旦 计算 ALi，jj 时 所 需要 的 单元 都 已 填 
写 完 ， 就 可 以 在 8(1) 的 时 间 内 填 入 ALi, 7j。( 与 15. 4 节 中 的 LCS-LENGTH 过 程 一 样 。) 

划分 nXn 的 数组 A 为 4 个 n/2Xn/2 的 子 数组 

A= ~ (27.11) 
An Az 

现在 看 到 ， 可 以 递归 地 填 人 子 数组 A 中 的 单元 ， 因 为 它 并 不 依赖 其 他 三 个 子 数组 中 的 单 

元 。 一 且 Ai 完成 ， 可 以 递归 地 并 1 FHA A 和 An 中 的 单元 ， 这 是 因为 它们 都 依赖 于 A 

但 彼此 之 间 不 人 依赖。 最后， 递归 地 填 入 Az, 中 的 单元 。 

a. 基于 分 解 式 (27. 11) 和 上 面 的 讨论 ， 给 出 用 分 治 算法 SIMPLE-STENCIL 来 执行 这 个 简 
单 模板 计算 的 多 线程 伪 代 码 。( 不 用 担心 基础 情形 的 处 理 ， 这 取决 于 特定 的 模板 。) 给 出 
并 求解 对 应 规模 n 的 工作 量 和 持续 时 间 的 递归 式 。 并 行 度 又 是 多 少 ? 

b. 修改 上 面 题 (a) 的 解答 ， 将 nXn 的 数组 划分 为 9 个 n/3Xn/3 的 子 数 组 ， 递 归 下 去 使 得 
尽 可 能 得 到 更 多 的 并 行 性 。 分 析 该 算法 。 该 算法 与 题 (a) 中 的 算法 相 比 ， 并 行 度 如 何 ? 
c 对 照 题 (a) 和 (b)， 按 如 下 推广 。 选 择 一 个 整数 5 二 2。 将 一 个 nXn 数组 划分 为 六 个 子 数 
组 ， 每 个 大 小 都 为 n/6Xn/5， 递 归 下 去 使 得 尽 可 能 得 到 更 多 的 并 行 性 。 关 于 n 和 45， 该 
算法 的 工作 量 、 持 续 时 间 和 并 行 度 各 是 多 少 ? 使 用 这 种 方法 ， 证明， 对 任何 选择 的 之 2， 
其 并 行 度 一 定 是 oC(n)。( 提 示 : 最 后 一 个 问题 ， 证 明 对 于 任何 选择 的 2 之 2， 并 行 度 是 ?> 

的 指数 ， 其 指数 严格 小 于 1。) 

d. 给 出 一 个 求解 这 个 简单 模板 问题 的 多 线程 算法 的 伪 代 码 ， 使 得 并 行 度 达 到 O(n/Ign). 
使 用 工作 量 和 持续 时 间 概 念 ， 论 证 该 问题 事实 上 有 8B(n) 的 固有 并 行 度 。 然 而 ， 我 们 使 
用 分 治 法 的 多 线程 伪 代 码 ， 实 际 上 达 不 到 这 个 最 大 的 并 行 度 。 

(随机 多 线程 算法 ) 正如 使 用 普通 的 串 行 算法 一 样 ， 有 时 想 要 实现 随机 多 线程 算法 。 本 题 

探讨 如 何 修改 各 种 性 能 度量 来 处 理 这 些 算法 的 期 望 行为 。 另 外 ， 要 求 设计 并 分 析 一 个 随机 

快速 排序 的 多 线程 算法 。 

a. 用 期 望 的 表示 方法 ， 如 何 修改 工作 量 定 律 (27. 2) 、 持 续 时 间 征 律 (27. 3) 和 贪心 调度 界 
(27. 4) ， 来 处 理 Tp. Ti 和 T- 都 是 随机 变量 的 情形 。 

b. 考虑 一 个 随机 多 线程 算法 ， 它 在 1% 的 时 间 里 有 T, =10* 和 Tio 00 =1; 但 在 99% 的 时 间 
里 有 全 三 Tiooo 王 10' 。 说 明 一 个 随机 多 线程 算法 的 加 速 比 应 该 被 定义 为 ELT J/ELT? J, 
而 不 是 ELT /Tpj]。 

e 说 明 一 个 随机 多 线程 算法 的 并 行 度 应 该 被 定义 为 ELT J/ELT.. ]. 

d. 使 用 骨 套 并 行 ， 多 线程 化 7. 3 节 中 的 RANDOMIZED-QUICKSORT 算法 。( 注 意 不 是 并 
行 化 RANDOMIZED-PARTITION。) 给 出 PRANDOMIZED-QUICKSORT 的 伪 代 码 。 

e 分 析 给 出 的 随机 快速 排序 的 多 线程 算法 。( 提 示 : 回顾 9.2 WRT RANDOMIZED- 
SELECT 的 分 析 。) 


本 章 注 记 


并 行 计 算 机 、 用 于 并 行 计 算 机 的 模型 ， 以 及 用 于 并 行 编程 的 算法 模型 已 经 以 各 种 形式 出 现 
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好 多 年 了 。 本 书 的 前 一 版 已 包含 了 排序 网 络 和 PRAM( 并 行 随 机 访问 计算 机 7) 模型。 数据 并 行 模 
型 [48，168j 是 田 一 个 流行 的 算法 编程 模型 ， 它 以 向 量 和 和 矩阵 上 的 特别 操作 作为 基本 特征 。 

Graham| 149 ] 和 Brent[ 55 | 指出 了 已 达到 定理 27.1 中 界 的 调度 器 。Eager、Zahorjan 和 
Lazowskal_98 表明 任何 贪心 调度 器 都 可 以 达到 这 个 界 ， 并 提出 了 使 用 工作 量 和 持续 时 间 ( 尽 管 名 
称 与 这 里 不 同 ) 来 分 析 并 行 算法 的 一 般 方 法 学 。 针 对 数据 并 行 编程 ，Belloch[L 47j] 发 展 了 一 种 基于 
工作 量 和 持续 时 间 ( 他 称 为 计算 “深度 ”) 的 算法 编程 模型 。Blumofe 和 Leiserson| 52 为 动态 多 线程 
给 出 了 一 个 分 布 式 调度 算法 ， 这 个 方法 是 基于 随机 “工作 欠 取 ”(work stealing) 的 ， 并 证 明了 能 达 
AR E[ Tp |I<T,/P+OcT..). Arora, Bulmofe, Plaxton[19 ] 和 Blelloch、Gibbons、Matias[ 49 | 
对 动态 多 线程 计算 的 调度 ， 也 提出 了 一 个 被 证 明 性 能 是 好 的 算法 。 

多 线程 伪 代 码 和 编程 模型 深 受 MIT 的 Cilk51, 118 项 目 及 Cilk Arts 公司 贡献 的 Cilk 十 十 
[71j 后 扩展 至 C 十 十 的 影响 。 本 章 中 的 许多 多 线程 算法 来 自 于 C E. Leiserson 和 HH. Prokop RA 
开 的 讲义 ， 它 们 已 用 Cilk 或 Cilk 十 十 实现 过 了 。 多 线程 归并 排序 算法 的 灵感 来 自 于 AklL124] 的 一 
个 算法 。 

串 行 一 致 性 的 概念 来 自 于 Lamportl 223]. 
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因为 矩阵 运算 在 科学 计算 中 极为 重要 ， 所 以 处 理 矩 阵 的 高 效 算法 有 很 多 实际 应 用 。 本 章 重 
点 关注 矩阵 的 乘法 ， 以 及 求解 联 立 线性 方程 组 问题 。 附 录 D 回顾 了 和 矩阵 的 基本 原理 。 

28. 1 节 介绍 利用 LUP 分 解 方法 求解 一 组 线性 方程 组 。28. 2 TRR ERA AAE KER H 
切 关 系 。28. 3 节 讨论 一 类 重要 的 矩阵 ， 即 对 称 正定 和 矩阵， 并 说 明 我 们 如 何 用 它们 求 超 定 线性 方 
程 组 的 最 小 二 乘 解 。 

在 实践 中 产生 的 一 个 重要 问题 是 数值 的 稳定 性 (numerical stability)。 由 于 在 实际 的 计算 机 中 
浮 点 数 表示 的 精度 有 限 ， 因 此 ， 在 数值 计算 过 程 中 舍 人 误差 可 能 会 被 放大 ， 从 而 导致 不 正确 的 结 
R, 我们 称 这 样 的 计算 是 数值 不 稳定 的 。 在 本 章 中 ， 尽 管 我 们 会 偶尔 提 及 数值 稳定 性 ， 但 不 会 着 
重 讨论 这 个 问题 。 我 们 建议 读者 参考 Golub 和 Van Loan[144]( 一 本 很 好 的 论著 )， 以 全 面 了 解数 
值 稳定 性 方面 的 知识 。 


28. 1 求解 线性 方程 组 


很 多 应 用 都 需要 求解 一 组 线性 方程 组 。 我 们 可 以 把 一 个 线性 系统 表示 成 一 个 矩阵 方程 ， 其 
中 每 个 和 矩阵 或 向 量 元 素 属于 一 个 域 ， 通常 是 实数 域 R。 本 节 将 讨论 如 何 运 用 LUP 分 解 方法 来 求 
解 线性 方程 组 。 
我 们 先 看 一 组 具有 个 未 知 变量 xz，x: ，…，zx 的 线性 方程 : 
Ay X, Fagat Te Far, = b 
An Ly Fazzt: °° F Ary Ly = b (28. 1) 





An XL, Fant +e FH amt = bn 
同时 满足 式 (28. 1) 中 所 有 方程 的 一 个 关于 zxi1，zs，…，z 的 值 的 集合 称 为 方程 组 的 一 个 解 。 在 
本 节 中 ， 我 们 只 讨论 2 个 未 知 变量 ”个 方程 的 情形 。 
为 方便 起 见 ， 我 们 重 写 式 (28. 1) 中 的 方程 为 如 下 和 抢 阵 向 量 等 式 ， 


An Au ”da | | 1 b, 
C21 A22 Azn | | T2 = b: 
Anm Am "° am 
或 等 价 地 ， 设 A= (la;), c=(2) A b=(6,), WA 
Ar = b (28. 2) 
如 果 A 是 非 奇 异 矩 了 泗 ， 那 么 它 具 有 逆 A“， 于 是 
xz=A'b (28. 3) 


就 是 解 向 量 。 我 们 可 以 证 明 ，z 是 等 式 (28. 2) 的 唯一 解 。 证 明 如 下 : 如 果 存 在 两 个 解 z 和 x ， 那 
AA Ax=Az'=b, 令 工 表示 一 个 单位 矩阵 ， 则 有 
x = Ix = (A7 A)x = A` (Ar) = A''(Ar')= (ATA) 2’ = 2' 
在 本 节 中 ， 我 们 主要 考虑 A 为 非 奇 异 矩 阵 的 情况 ， 或 者 等 价 地 (根据 定理 D. 1)，A 的 秩 等 于 
未 知 变量 的 个 数 n。 然 而 对 于 其 他 可 能 的 情形 ， 也 值得 作 简 要 讨论 。 如 果 方 程 的 数目 少 于 未 知 变 
BAA n( 或 者 更 一 般 地 ，A 的 秩 小 于 n)， 那 么 此 线性 方程 组 为 欠 定 的 (underdetermined)。 一 个 
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欠 定 方程 组 通常 有 无 穷 多 解 ， 但 若 方程 组 不 一 致 ， 则 可 能 无 解 。 如 果 方 程 的 数目 超过 未 知 变量 数 
目 2”， 则 该 方程 组 为 超 定 的 (overdetermined) ， 且 方程 组 可 能 没有 任何 解 。28. 3 节 讨 论 找 出 超 定 
线性 方程 组 好 的 近似 解 的 重要 问题 。 

现在 我 们 回 到 求解 关于 ”个 等 式 ” 个 未 知 变量 的 线性 方程 组 4Az 王 上 上来。 我 们 可 以 计算 出 
A-:， 然 后 利用 等 式 (28. 3)， 用 A ! 乘 以 6， 推 出 x 二 A 020。 这 个 方法 在 实践 中 会 有 数值 不 稳定 的 
问题 。 所 幸 的 是 另 一 种 方法 (LUP 分 解 ) 具 有 数值 稳定 性 ， 且 在 实践 中 运行 速度 要 更 快 一 些 。 

LUP 分 解 综述 

LUP 分 解 背 后 的 思想 就 是 找 出 三 个 nxn EL. UMP, WE 

| PA = LU (28. 4) 

其 中 , 工 是 一 个 单位 下 三 角 和 矩阵 ，U 是 一 个 上 三 角 矩 阵 ， 忆 是 一 个 置换 矩阵 。 我 们 称 满 足 式 
(28.4) 的 矩阵 LL、U AP 为 矩阵 A 的 LUP 分 解 。 我 们 将 说 明 每 一 个 非 奇异 矩阵 A 都 会 有 这样 一 
种 分 解 。 

计算 矩阵 A 的 一 个 LUP 分 解 的 优点 是 ， 当 相应 矩阵 (如 矩阵 上 L 和) 为 三 角 和 矩阵 时 ， 我 们 会 
更 容易 求解 线性 系统 。 一 旦 我 们 计算 出 A 的 一 个 LUP 分解 ， 仅 通过 求解 三 角形 线性 系统 ， 即 可 
求解 等 式 (28. 2)Ar=b, Ar=b 两 边 同时 乘 以 P， 得 到 等 价 的 方程 PAc=Pb, REA D. 1-4， 
这 意味 着 对 等 式 (28. 1) 进 行 置换 。 运 用 式 (28. 4) 中 的 分 解 ， 我 们 得 到 

LUx = Pb 

现在 通过 求解 两 个 三 角形 线性 系统 就 可 得 到 该 等 式 的 解 。 定 义 > 一 Uz ， 其 中 二 就 是 要 求 的 向 量 
解 。 首 先 ， 通 过 一 种 称 为 “ 正 向 替换 ”的 方法 求解 下 三 角 系 统 


Ly = Pb (28. 5) 
得 到 未 知 向 量 y>。 然 后 ， 通 过 一 种 称 为 “ 反 向 替换 ”的 方法 求解 上 三 角 系 统 
Ur = y (28. 6) 


得 到 未 知 变量 x。 由 于 置换 矩阵 PP 是 可 道 的 (练习 D. 2-3), SX (28. 4) 的 两 边 同 时 乘 以 P :推出 
P"PA=P"'LU, FÆ 


A= PLU (28. 7) 
因此 ， 向 量 x RE Az =) 的 解 : 
| Ac = P'LUx (根据 等 式 (28. 7)) 
= P’ Ly (根据 等 式 (28. 6)) 
= P` Ph (根据 等 式 (28. 5)) 


=% 

我 们 下 一 步 将 说 明正 向 替换 与 反 向 替换 如 何 进行 ， 然 后 解决 如 何 计算 LUP 分 解 的 问题 。 

正 向 替换 与 反 向 替换 

已 知 工 、 一 和 0， 正 向 替换 可 在 B(x ) 的 时 间 内 求解 下 三 角 系 统 (28. 5) 。 为 方便 起 见 ， 我 们 
用 一 个 数组 ml. 。 zj] 简洁 地 表示 置换 a 对 i=l, 2, sn, 元 素 XL 表示 Pita =y 并 且 对 
j 关 x[ 让 有 Py =0。 因 此 ，PA 第 ; 行 第 7 列 的 元 素 为 acn,;，Pb 的 第 ; 个 元 素 为 ba 。 因 为 工 是 单 
位 下 三 角 抢 阵 ， 我 们 可 以 重 写 等 式 (28. 5) 为 : 


yı = bay 
layt » = baz 


bay + lz 2 T y3 = b3] 


| lay F laye + luys tt y, = ban] 
第 一 个 等 式 告诉 我 们 n =b. RE y 值 后 ， 我 们 把 它 代 和 第 二 个 等 式 ， 推 出 
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yy = baz — lan 
现在 ， 我们 把 v 和 y 的 值 代入 第 三 个 等 式 ， 得 到 
y = baa — ayi F lzy) 
816] 一 般 地 ， 我 们 把 ys y o> y TERRA i 个 等 式 中 ， 就 可 求解 y: 


yi = Oa — > biy; 

已 经 求解 了 y， 我 们 利用 反 向 替换 求解 等 式 (28. 6) 中 的 zx， 与 正 向 替换 类 似 。 这 里 ， 我 们 先 
求解 第 ”个 等 式 ， 然 后 再 反 向 一 直 求 解 到 第 一 个 等 式 。 与 正 向 替换 一 样 ， 这 个 过 程 运行 时 间 为 
@(2 ) 。 因 为 可 是 上 三 角 和 矩阵 ， 我 们 可 以 重 写 系 统 (28. OA 

wnt F tzt: HeH Wye eZee UL E UnEr = V 


Uz £ 十 … 十 U2, n-2 Tr- F U2, n- 之 一 1 十 zz = Yz 


Un, n2 Tr 十 Uno, n1 Lr F Une, nEn = Yre 
ba ea tees = VA 
Un nEn 一 Yn 
AIEE Aan TRER Tns Leio tts ai 的 解 : 
Ln = Yal Ua 
Di Ger /Wi 


Lr 一 (Yn an (U2 1 Tr- T Uno nEn) ) /Us 2,n 2 


或 者 ， 更 一 般 地 ， 
XE 二 (y: — Pus) /ui 
已 知 P、L、U 和 5， 过 程 LUP-SOLVE 通过 结合 使 用 正 向 替换 与 反 向 替换 ， 求 出 z 的 解 。 
伪 代 码 中 假定 维 数 n 出 现在 属性 L. rows, BRER P 用 数组 x FEM. 


LUP-SOLVE(L, U, Ts b) 
l n=L. rows 
2 let z and y be a new vector of length n 


3 for z=1 ton 


i 
4 y= px 一 Sia; 
j=l 


5 for ¿=n downto 1 


6 z=( yi - Yaz) /us 
817 7 return x 


过 程 LUP-SOLVE 在 第 3~4 行 中 通过 正 向 替换 求 出 > 的 解 ， 然 后 在 第 O~6 行 中 通过 反 向 蔡 换 
求 出 z 的 解 。 因 为 在 每 个 for 循环 的 求 和 内 包括 了 一 个 隐 含 的 循环 ， 所 以 算法 运行 时 间 为 OC’). 
作为 这 些 方 法 的 应 用 实例 ， 考 虑 下 面 的 线性 方程 组 : 











1 2 0 3 
3 4 4jr= {7 
5 6 3 8 


其 中 
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并 且 我 们 希望 求解 未 知 量 se LUP 分 解 如 下 : 
1 0 0 5 6 3 
L= |0.2 1 | U 一 f 0.8 —0.6 























0 0 1 
ae Pe 0 
0.6 0.5 1 0 0 2.5 0 1 0 
(你 可 能 想 验 证 PASLU RAE SR, RMR Ly= Pd 求解 y: 
1 0 Oliy 8 
0.6 0.5 1) Ly, 7 
通过 先 计 算 六 ,然后 计算 y KAWA ys ER 
8 
y= i l 
1.5 
MAREEK, RIII Uz 二 yy 求解 xz: 818 
D 6 3 Xl 8 
0 0 2.5} Las 1.5 
通过 首先 计算 X39 然后 X23 最 后 X19 得 到 所 需 解 
一 1.4 
g= 2s | 
; 0.6 
计算 一 个 LU 分 解 
现在 我 们 已 经 证 明 对 于 一 个 非 奇 异 和 矩阵 A， 如 果 能 创建 出 其 LUP 分 解 ， 那 么 运用 正 回 蔡 换 
与 反 向 替换 ， 可 求 出 线性 方程 组 Ar=0 的 解 。 下 面 介 绍 如 何 高 效 地 计算 出 矩阵 A 的 一 个 LUP 分 
解 。 我 们 先 考虑 A 是 nXn 非 奇异 矩阵 ， 且 P 不 予 考虑 (或 等 价 地 ，P= 二 1,)。 在 这 种 情况 下 ， 分 
解 4 二 LU。 我 们 称 这 两 个 矩阵 工 和 LU 为 A 的 一 个 LU 分 解 。 
我 们 采用 高 斯 消 元 法 (Gaussian elimination) 来 创建 一 个 LU 分 解 。 首 先 从 其 他 方程 中 减 去 第 
一 个 方程 的 倍数 ， 以 把 那些 方程 中 的 第 一 个 变量 消去 。 然 后 ， 从 第 三 个 及 以 后 的 方程 中 减 去 第 二 
个 方程 的 倍数 ， 以 把 这 些 方 程 的 第 一 个 和 第 二 个 变量 都 消去 。 继 续 上 述 过 程 ， 直 到 系统 变 为 一 个 
上 三 角 和 矩阵 形式 ， 实 际 上 此 矩阵 就 是 U。 抑 阵 工 是 由 消去 变量 所 用 的 行 的 乘 数组 成 。 
采用 递归 算法 实现 这 个 策略 。 我 们 希望 构造 出 一 个 nXn 的 非 奇异 矩阵 A 的 一 个 LU 分 解 。 
如 果 n 二 1， 则 完成 构造 ， 因 为 我 们 可 以 选择 L== 卫 ，U 二 A。 对 于 nl, RNA 拆 成 4 部 分 : 





ay | az a 
sae 
其 中 vv 是 一 个 nn 一 1 BAB, w 是 ”个 ，。 1 维 行 向 量 ， A ' 是 一 个 (n 一 1) X (n 一 1) 和 矩阵 。 然 后 ， 
利用 矩阵 代数 (通过 简单 地 从 头 到 尾 使 用 乘法 来 验证 方程 式 )， 我 们 可 以 把 A 分 解 为 : 819 
4 p i J- pa ala acuta! as 


等 式 (28. 8) 的 第 一 个 矩阵 与 第 二 个 矩阵 中 的 0 分 别 表示 ”一 1 维 行 向 量 与 4 一 1 维 列 向 量 。 项 
ww?/an 是 一 个 (n 一 1)X (n 一 矩阵 ， 它 是 向 量 v 与 包 外 积 矩阵 的 每 一 个 元 素 除 以 an 所 得 的 抵 
阵 ， 它 与 矩阵 A' 大 小 一 致 。 所 得 (n 一 1) X a 1) 
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A 一 roT/aii (28. 9) 

称 为 矩阵 A XF anh gR Schur complement) 。 
我 们 断言 ， 如 果 A 是 非 奇 异 的， 那么 舒 尔 补 也 是 非 奇 异 的 。 为 什么 ? 假设 (一 1) X (nm 一 1) 的 舒 尔 
补 是 奇异 的 ， 则 根据 定理 D. 1， 它 的 行 秩 严 格 小 于 n 一 1。 因 为 在 矩阵 的 第 一 列 的 底部 n 一 1 个 元 素 


| 0 | 
全 是 0， 此 和 矩阵 的 底部 一 1 行 的 行 秩 必 须 严 格 小 于 一 1。 因 此 整个 矩阵 的 行 秩 严 格 小 于 2”。 应 用 
练习 D. 2-8 到 式 (28. 8) ，A 的 行 秩 严格 小 于 ”， 且 根据 定理 D. 1， 我 们 导出 A 是 奇异 的 ， TA. 
因为 舒 尔 补 是 非 奇异 的 ， 现 在 我 们 可 以 递归 地 找 出 它 的 一 个 LU 分 解 。 我 们 说 
A —vw"/a, = L'U' 
其 中 工 是 单位 下 三 角 矩 阵 ，U 是 上 三 角 和 矩阵 。 然 后 ， 运 用 矩阵 代数 可 得 : 


| 1 0 i vw! 上 | 1 0 | w! l 
v/a 了 0 A’ — vw /an v/ay | p 0 L'U’ 


-Lh Je gjo 
~ v/a L'JLo u'l 


因而 找 出 了 我 们 所 需 的 LU 分 解 。( 注 意 到 ， 因 为 L 是 单位 下 三 角 矩 阵 ， 所 以 工 也 是 单位 下 三 角 
矩阵 ; MAA UE FEA, MUU he LEA.) 

当然 ， 如 果 aa 二 0， 这 个 方法 就 不 适用 了 ， 因 为 会 有 除 ON. MRK A’ —ve'/an 
的 左上 和 角 元 素 为 0， 这 种 方法 也 不 可 行 ， 因 为 在 下 一 次 递归 中 我 们 就 要 除 以 该 元 素 。 在 LUP 分 
解 中 我 们 所 除 的 元 素 称 为 主 元 (pivot)， 它 们 处 于 矩阵 上 的 对 角 线 上 。 在 LUP 分 解 中 我 们 包含 一 
个 置换 矩阵 了 的 原因 是 为 了 避免 把 0 当做 除数 。 采 用 置换 来 避免 除数 为 0( 或 一 个 很 小 的 数 ， 可 
能 会 引起 数值 不 稳定 性 ) 的 操作 称 为 选 主 元 (pivoting)。 

保证 LU 分 解 总 能 进行 的 一 类 重要 和 矩阵 就 是 对 称 正定 矩阵 。 这 一 类 和 矩阵 无 需 选 主 元 ， 因 此 ， 我 们 
可 放心 应 用 上 述 递归 策略 ， 无 需 担心 除数 为 0。 我 们 将 在 28. 3 节 中 证 明 这 一 结论 及 其 他 一 些 结论 。 

我 们 对 一 个 矩阵 A 进行 LU 分 解 的 代码 根据 上 述 递 归 策 略 设计 ， 只 不 过 用 一 个 迭代 循环 取 
代 了 递归 过 程 。( 这 一 转化 是 对 “ 尾 递 归 ” 过 程 ( 即 最 后 的 操作 为 自身 递归 调用 的 过 程 ) 进 行 标 准 的 
优化 处 理 ， 参 见 思考 题 7-4.) 代 码 假 定 属性 A. rows 表示 A 的 维度 。 我 们 初始 化 矩阵 UU， 使 得 对 
角 线 以 下 元 素 均 为 0; 以 及 矩阵 工 ， 使 得 对 角 线 元 素 都 是 1， 对 角 线 以 上 元 素 都 是 0。 每 次 迭代 都 
作用 于 一 个 子 方 阵 ， 以 其 左上 角 元 素 为 主 元 来 计算 wv 和 ww 向量 以 及 舒 尔 补 ， 这 样 又 生成 一 个 子 
方 阵 ， 下 次 迭代 将 作用 于 这 个 子 方 阵 。 


LU-DECOMPOSITION(A) 
1 n=A. rows 

2 let L andU be new nXn matrices 

3 initialize U with Os below the diagonal 

4 initialize L with 1s on the diagonal and Os above the diagonal 
5 for k=1 ton 
6 

7 

8 

9 


Urk “Akk 
for i=k+1 ton 
lis = aig /Ur // aw holds v; 
Uki “Aki // ay holds w; 
10 for i=k+1 ton 
11 for j=k+1 ton 
12 Ay Fay — lau; 


13 return L and U 
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从 第 5 行 开始 的 外 层 for 循环 对 每 个 递归 步骤 迭代 一 次 。 在 该 循环 内 ， 第 6 行 确 定 出 主 元 为 
Use 二 am。 第 7~9 FH for FEA (244 k=n bt, BHMARD RA vw’ 向 量 对 志和 TU 进行 更 
新 。 第 8 行 确定 出 向 量 vv 的 各 元 素 ， 并 把 vw 存放 在 i 中 ， 第 9 行 计 算出 向 量 wr 的 各 元 素 ， 并 把 
w 存放 在 uw 中。 最 后 ， 第 10~12 行 计算 舒 尔 补 中 的 元 素 ， 并 把 它们 存放 在 矩阵 A 中 。 (我 们 不 
必 在 第 12 行 除 以 a ， 因 为 我 们 在 第 8 行 中 计算 名 时 已 经 做 过 了 。) 因 为 第 12 行 语句 在 三 层 般 套 
之 中 ， 所 以 LU-DECOMPOSITION 运行 时 间 为 O(n’). 

图 28-1 显示 了 LU-DECOMPOSITION 的 操作 过 程 。 它 展示 了 一 个 标准 的 优化 过 程 ， 其 中 我 
们 把 工 和 的 重要 元 素 都 存储 在 矩阵 A 的 合适 位 置 上 。 也 就 是 说 ， 我 们 可 以 在 每 个 元 素 ar Fl, 
(如 果 i> pM u (如 果 和 和 站 之 间 建 立 某 种 对 应 关系 ， 更 新 矩阵 A， 使 得 此 过 程 结束 时 ， 和 矩阵 A 
包含 L 和 U。 要 从 上 面 伪 代 码 中 获得 此 优化 的 伪 代 码 ， 只 需 把 上 述 代 码 中 每 处 i 或 uw 用 a 取代 即 
可 。 你 很 容易 验证 这 一 转换 方法 保持 正确 性 。 

0 13 5 19 


2 19 10 23 
4 10 11 31 


(a) (b) 
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图 28-1 LU-DECOMPOSITION 的 运行 过 程 。(a) 矩 阵 A。(b) 黑 色 圆 圈 内 的 元 素 aa 一 2 是 主 
元 ， 阴 影 列 是 waia ， 阴 影 行 是 wi'。 至 此 已 计算 好 的 U 中 元 素 在 水 平 线 之 上 , mL 
的 元 素 在 竖 直 线 的 左边 。 舒 尔 补 和 矩阵 A' 一 ww /a 占据 了 右 下方 。(c) 现 在 我 们 在 (b) 
部 分 产生 的 舒 尔 补 和 矩阵 上 操作 。 黑 色 圈 内 的 元 素 az 二 4 是 主 元 ， 阴 影 列 和 阴影 行 分 
别 是 waz 和 w (在 舒 尔 补 的 划分 中 ) 。 线 条 将 这 个 矩阵 分 成 目前 已 计算 的 U 的 元 素 
(上 )， 目 前 已 计算 的 工 的 元 素 ( 左 )， 以 及 新 的 舒 尔 补 ( 右 下 )。(d) 下 一 个 步骤 中 ， 和 矩 
阵 A 被 分 解 ( 当 递归 结束 时 ， 新 的 舒 尔 补 中 元 素 3 成 为 U 的 一 部 分 ,) (e) 此 分 解 A 
=LU 
计算 一 个 LUP 分 解 
一 般 而 言 ， 为 了 求解 线性 方程 组 Az 王 2， 我 们 必须 在 A 的 非 对 角 线 元 素 中 选 主 元 以 避免 除 
数 为 0。 除数 为 0 当然 是 灾难 性 的 。 但 是 我 们 也 希望 避免 除数 很 小 (即使 A 是 非 奇 异 的 )， 否 则 会 
产生 数值 不 稳定 。 因 此 ， 我 们 尽 可 能 选 一 个 较 大 的 主 元 。 
LUP 分 解 的 数学 原理 与 LU 分 解 很 类 似 。 回 顾 前 面 的 内 容 ， 已 知 一 个 nXn 非 奇异 矩阵 A， 
我 们 希望 找 出 一 个 置换 矩阵 P、 一 个 单位 下 三 角 和 矩阵 L 和 一 个 上 三 角 和 矩阵 上 ,满足 条 件 PA= 
LU. EAn LU 分解 中 所 做 的 ， 在 对 和 矩阵 A 进行 划分 之 前 ， 我 们 先 把 一 个 非 零 元 素 ( 比 如 an), M 
第 1 列 中 某 个 位 置 移 到 该 矩阵 (1，1) 的 位 置 上 。 为 了 保证 数值 稳定 性 ， 我 们 选择 第 1 列 中 具有 最 
大 绝对 值 的 元 素 为 ua 。( 第 1 列 不 可 能 仅 包 含 0 元 素 ， 否 则 A 是 奇异 的 ， 因 为 根据 定理 D.4 和 
D. 5， 其 行列 式 值 为 0。) 为 了 使 方程 组 仍然 成 立 ， 我 们 把 第 1 行 与 第 行 互 换 ， 这 等 价 于 用 一 个 
置换 矩阵 QRUA 的 左边 (练习 D. 1-4)。 因 此 ， 可 以 把 QA 写成 
an w 
! QA = | 了 | 
其 中 v= (ans aas ts Aad ， 除 了 am 取代 ma w= (lan, ams s am); A' 是 一 个 (n 一 1)X 
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(一 1 和 矩阵。 因为 由 天 0， 现 在 可 以 执行 与 LU 分 解 基本 相同 的 线性 代数 运算 ， 但 现在 能 保证 我 


们 不 会 除 以 0: 
= Ap} | 23 | 1 0 | F w! | 
Bi | v A’ v/an In- 0 A'— vw” /ay 


正如 我 们 在 LU 分 解 中 所 看 到 的 ， 如 果 A 是 非 奇 异 的 ， 那 么 舒 尔 补 A — vu /an hE R 
的 。 因 此 ， 我 们 可 以 递归 地 找 出 它 的 一 个 LUP 分解， 包括 单位 下 三 角 和 矩阵 LL  、 上 三 角 和 矩阵 U' 和 
置换 矩阵 P', WE 
P'(A'—vw'/ay) = L'U' 


p-[} Jo 
= Lo P' 


它 是 一 个 置换 矩阵 ， 因 为 它 是 两 个 置换 矩阵 的 乘积 (练习 D. 1-4) 。 现 在 我 们 有 
P-L pol pillua raw 
-Po PLO Amrani LP'en tale Pear 


-| 1 0 iie vw! =| 1 i ”|= LU 
~ LP'v/an LadLo LU LP'v/a, L'JLo u'l- 


这 样 推出 了 LUP 分解。 因为 工 是 单位 下 三 角 矩 阵 ， 所 以 工 也 是 单位 下 三 角 矩 阵 ; 又 因为 UV 是 上 
三 角 和 矩阵 ， 于 是 U HELIA. 

注意 在 上 述 推 导 中 ， 与 LU 分 解 不 同 的 是 ， 我 们 必须 把 列 向 量 v/an METAR Fb A'— vw" /an BR 
乘 以 置换 矩阵 P 。 下 面 是 LUP 分 解 的 伪 代 码 : 


LUP-DECOMPOSITION(A) 


1 n=A. rows 


定义 


2 letx[l..n| be a new array 

3 fori=1 ton 

4 xli]=i 

5 for k=1 ton 

6 p=0 

7 for 1=k ton 

8 if | a, | >p 

9 p= | ai | 
10 & 一 ; 
11 if 力 一 一 0 
12 error “singular matrix” 
13 exchange xLk] with x[k ] 
14 for i=1 ton 
15 exchange a,; with a,’; 
16 for i=k+1 ton 
17 Qik =a / Ark 
18 for j=k+1 ton 


19 Qij Saij And pj 


与 LU-DECOMPOSITION 一 样 ， 我 们 的 LUP-DECOMPOSITION 过 程 也 采用 一 个 循环 迭代 
来 蔡 代 递归 。 作 为 直接 实现 递归 的 一 种 改进 ， 我 们 动态 维护 置换 矩阵 已 作为 一 个 数组 rx， 其 中 
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nLil=j 意味 着 P 的 第 ; 行 第 7 列 元 素 为 1。 我 们 也 实现 了 在 和 矩阵 A 中 “合适 位 置 ?计算 工 和 LU 的 
代码 。 因 此 ， 当 该 过 程 停止 时 ， 
A wWwRi>j 


Uj; wRicj 

图 28-2 显示 了 LUP-DECOMPOSITION 如 何 对 一 个 矩阵 进行 分 解 。 第 3 一 4 行 初始 化 数组 x 
来 表示 恒 等 变换 。 第 5 行 开始 的 外 层 for 循环 实现 了 该 递归 过 程 。 每 执行 一 次 外 层 循 环 ， 第 6 一 
10 行 确定 要 找 出 绝对 值 最 大 的 元 素 aw， 它 在 当前 (n 一 & 十 1) X (n 一 十 1) 和 矩阵 的 第 一 列 ( 列 k) 
中 ， 我 们 正在 寻找 这 个 矩阵 的 LUP 分 解 。 如 果 当 前 第 一 列 中 的 所 有 元 素 都 是 0， 第 11 一 12 行 
报告 该 矩阵 为 奇异 矩阵 。 为 了 选 主 元 ， 我 们 在 第 13 行 用 xLkj] 交 换 x[L& ]， 在 第 14 一 15 行 中 把 
矩阵 A 的 第 行 和 第 &' 行 交换 ， 由 此 选 出 了 主 元 ws 。( 要 对 整 行进 行 交 换 ， 因 为 在 上 述 方法 的 
推导 中 ， 不 仅 A' 一 mor/m 与 忆 ' 相 乘 ， 而 且 v/an 也 如 此 。) 最 后 ,第 16~19 行 计 算 舒 尔 补 所 用 
的 方法 与 LU-DECOMPOSITION 中 第 7 一 12 行 的 计算 方法 基本 相同 ， 不 过 这 里 操作 记录 在 A 
中 合适 位 置 。 





a 2 | 
A 
00 1 0 2 0 2 0.6 l 0 0 5 5 4 2 
100 0 3 3 4 -2 Z 0.4 l 0 0 0—2 04 一 0.2 
0001 5 5 4 2 ~ -02 05 1 0 0 0 4 —0.5 
0 1 0 0 一 | —2 3.4 -1 0.6 0 0.4 1 0 0 0 一 3 
:P A L U 


G) 


图 28-2 LUP-DECOMPOSITION 的 操作 过 程 。(a) 输 入 矩阵 A 在 左边 采用 了 行 的 恒 
等 变换 。 算 法 的 第 一 步 确定 在 第 3 行 黑色 圆圈 中 元 素 5 是 第 一 列 的 主 元 。(b) 
第 ] 行 与 第 3 行 互 换 ， 并 且 置 换 被 更 新 ， 阴 影 列 和 阴影 行 分 别 表示 v Aw. 
(0) 向 量 v 被 v/5 所 取代 ， 且 和 矩阵 的 右 下 方 使 用 舒 尔 补 来 更 新 。 线 条 将 矩阵 分 
割 成 3 TER: U 的 元 素 ( 上 )、 工 的 元 素 ( 左 )， 以 及 舒 尔 补 的 元 素 ( 右 下 )。 
Cd) 一 ( 乡 第 二 步 。(g) 一 (D 第 三 步 。 没 有 变化 发 生 在 第 四 (最 后 ) 步 。(j) 此 
LUP 分解 为 PA 二 LU 


因为 LUPJDECOMPOSITION 的 三 重 循环 结构 ， 所 以 它 的 运行 时 间 为 @(w)， 与 LU- 
DECOMPOSITION 运行 时 间 完 全 一 样 。 因 此 ， 选 主 元 至 多 花费 我 们 一 个 常数 因子 时 间 。 





i 
| 
| 
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练习 
28.1-1 采用 正 辐 蔡 换 法 求解 下 面 方程 组 ， 


1 0 0 Xl 3 


28.1-2 找到 下 面 矩 阵 的 一 个 LU 分解 : 
4325 . 6 


IZ =r IZ 
28.1-3 利用 一 个 LUP 分 解 来 求解 下 面 方程 组 : 
Tı 
z 


5 4 
5 8 2 
28. 1-4 请 描述 一 个 对 角 和 矩阵 的 LUP 分 解 。 
28.1-5 请 描述 一 个 置换 矩阵 A 的 LUP 分 解 ， 并 证 明 它 是 唯一 的 。 
28.1-6 WH: 对 所 有 nn 宇 1， 存 在 一 个 nXn 奇异 和 矩阵， 它 具 有 一 个 LU 分 解 。 
28.1-7 在 LU-DECOMPOSITION 中 ， 当 =n 时， 是否 有 必要 执行 最 外 层 的 for 循环 迭代 ? 
LUP-DECOMPOSITION 中 情况 又 如 何 ? 


28.2 FER 


虽然 在 实际 应 用 中 ， 我 们 一 般 不 使 用 逆 矩 阵 来 求解 线性 方程 组 ， 而 更 倾向 于 运用 一 些 数 值 
稳定 性 更 好 的 技术 ， 如 LUP 分 解 ， 但 是 ， 有 了 时候 我 们 需要 计算 一 个 矩阵 的 逆 和 矩阵 。 在 本 节 中 ， 
我 们 论述 如 何 利用 LUP 分 解 来 计算 一 个 矩阵 的 道 。 我 们 还 将 证 明和 矩阵 乘法 和 计算 闭 矩 阵 问题 具 
有 相同 难度 ， 因 为 (在 技术 条 件 限 制 下 ) 可 以 使 用 一 个 问题 的 算法 在 相同 渐 近 时 间 内 解决 另外 一 
个 问题 。 因 此 ， 可 以 使 用 用 于 矩阵 乘法 的 Strassen 算法 (参见 4. 2 节 ) 来 求 一 个 矩阵 的 道 和 矩阵 。 事 
E, Strassen 原始 论文 的 动机 是 表明 有 比 普通 方法 更 快 的 求解 线性 方程 组 方法 。 

通过 LUP 分 解 计算 逆 和 矩阵 

假设 有 一 个 矩阵 A 的 LUP 分 解 ， 包括 三 个 矩阵 LL、U 和 了， 满足 PA 二 LU。 运 用 LUP- 
SOLVE, A UE 6(2) 时 间 内 求解 一 个 具有 Ax 二 5b 形式 的 方程 。 因 为 LUP 分 解 取 决 于 A 而 
不 是 0， 我 们 能 在 第 二 个 方程 Az= 二 6 上 运行 LUP-SOLVE， 人 额外 时 间 复 杂 度 为 8(rw )。 一 般 
Mae, 一旦 得 到 A 的 LUP 分 解 ， 就 可 以 在 (kn) 时 间 内 求解 方程 Az==b, k WHR b 的 不 同 
而 改变 。 

我 们 可 以 考虑 方程 








12 














9 


AX = I, (28. 10) 
它 以 一 个 售 n PPE COBRA Axc—)) N77 BA ETE X, MA WBE. BE. 
S X; 表示 XX 的 第 i 列 ， 回 顾 单位 问 量 e 是 1 的 第 ; 列 。 于 是 可 以 利用 A 的 LUP 分 解 求解 方程 
(28.10) PHY X， 需 分 别 求解 每 一 个 方程 

AX; = e; 
中 的 X;。 一 旦 得 到 LUP 分解， 就 可 以 在 O ) 时 间 内 计算 nA X: 列 中 的 每 一 个 ， 因 此 可 以 在 
OC ) 时 间 内 从 A 的 LUP 分 解 计 算 X. WA E OC ) 时 间 内 确定 A 的 LUP 分 解 ， 我们 就 可 


第 28 章 和 矩阵 运算 。 487 


以 在 BC ) 时 间 内 求 出 矩阵 A AEA, 

EERME 

MERMKA, ERER Hie LAE, ERRA A REAR SL, 
我 们 可 以 证 明 更 强 的 结论 : 从 下 面 描 述 的 角度 来 看 ， 和 矩阵 求 逆 运算 等 价 于 和 矩阵 乘法 运算 。 如 果 
M(n) 表 示 求 两 个 nXn 和 矩阵 乘积 所 需 时 间 ， 那 么 可 以 在 OCUM(n)) 时 间 内 对 一 个 nXn 非 奇异 矩阵 
Kt. Wah, WR I(n) 表 示 对 一 个 非 奇 异 的 nXn 算 阵 求 道 所 需 的 时 间 ， 那 么 可 以 在 OCI(n)) 时 
间 内 对 两 个 nxXin 和 矩阵 求 乘积 。 下 面 分 别 用 两 个 定理 来 证 明 这 些 结 论 。 

定理 28. 1( 和 矩阵 乘法 不 比 矩 阵 求 疼 困 难 ) ”如果 能 在 TG0z) 时 间 内 求 出 一 个 ?2X7 EE, A 
P IMEA IM HREM ABH I(3n) 二 OC(I(n))， 那 么 可 以 在 OC(I(n)) 时 间 内 求 出 两 个 
nX nE E64 FE AR 

证 明 设 A 和 B 为 两 个 zXz 和 矩阵 ， 我 们 希望 计算 出 其 乘积 C。 定 义 3nX3n RED H: 


I, A 0 
D= 0 I, B 
0 0 I 


I, —A AB 
D`’ = f p o= 
| 0 0 L 

因而 可 以 利用 DOA LAR 2”Xz 子 矩阵 计算 出 乘积 AB。 

我 们 能 在 OC ) 时 间 内 构造 出 矩阵 D， 时 间 复 杂 度 也 是 OC(I(n))， 因 为 假设 IC) = 
O(n’), HR TCn) 的 正则 性 条 件 ， 可 以 在 OC(I(3n)) 二 OCI(n)) 时 间 内 转换 D。 因 此 有 Mn) = 
OCT(Cz) ) 。 = 

注意 到 ， 对 任意 常数 >00 和 d>S0, RE In) =O" Ign), IMA E EER. 

证 明和 矩阵 求 逆 运算 不 比 矩 阵 乘法 运算 更 难 这 一 命题 依赖 于 对 称 正 定 矩 阵 的 一 些 性 质 ， 这 些 
性 质 我 们 将 在 28. 3 节 中 证 明 。 

定理 28. 2( 和 矩阵 求 逆 运算 不 比 矩 阵 乘 法 运算 更 难 ) ”如 果 能 在 Mln) 时 间 内 计算 出 两 个 nXn 
实数 矩阵 的 乘积 ， 其 中 M(a) 一 Q(z2) 且 M(n) 满 足 两 个 正则 性 条 件 ， 对 任意 的 上 (0 三 k 声 n)， 
M(n+k)=O(M(n)) 5 对 某 个 常数 c<1/2，M(Cn/2) 过 cM(n)。 那 么 可 以 在 OCM(n)) 时 间 内 计算 
出 任何 一 个 nXn 非 奇 异 实数 和 矩阵 的 逆 。 

WEAR 我们 这 里 对 实数 矩阵 的 情形 证 明定 理 成 立 。 练 习 28. 2-6 要 求 把 证 明 推 广 到 元 素 是 复 
数 的 和 矩阵。 

可 以 假设 ?恰好 是 2 的 宪 ， 因 为 对 任意 >, RITA 

eer o] 
| 0 |, 0 L 

因此 ， 通 过 挑选 k， 使 得 n 十 & 为 2 的 害 ， 扩 大 矩阵 的 规模 到 2 的 下 一 个 整数 次 方 ， 并 从 这 个 规模 
扩大 的 答案 中 得 到 我 们 需要 的 A-: 。M(z) 的 第 一 个 规则 性 条 件 保证 这 一 扩展 对 运行 时 间 的 增长 
不 会 超过 一 个 常数 因子 。 

目前 ,假设 nXn 的 矩阵 A 是 对 称 正定 的 。 我 们 把 每 一 个 A 及 其 逆 A-! 划 分 为 4 个 n/2Xn/2 的 
FHER: | 


d R 
A-[a e wale T aain 


D 的 逆 矩 阵 为 : 








那么 ， 如 果 令 
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S=D—CB'C" (28. 12) 
Æ A RTF B 的 舒 尔 补 (我 们 将 在 28. 3 节 看 到 更 多 关于 这 种 形式 的 舒 尔 补 )， 我 们 有 


__fR T] Ts 十 BaCTISTCB- -—B'cs 
i =l5 viel — S” CB7 S` | renee 
因为 AA 二 I,， 可 以 用 和 矩阵 乘法 来 验证 。 因 为 A 是 对 称 正定 矩阵 ， 根 据 28. 3 节 中 的 引 理 28. 4 


和 引 理 28.5，B 和 S 都 是 对 称 正定 的 。 因 此 ， 根 据 28. 3 节 的 引 理 28. 3， 道 矩阵 BIA SIRE, 
并 且 由 练习 D. 2-6, BUA S 都 是 对 称 的 ， 于 是 (B71)'= 二 B71 和 (ST1)7 二 S11。 所 以 ,我 们 可 以 
计算 子 和 矩阵 A 的 R、T、U 和 V 如 下 ， 其 中 涉及 的 矩阵 都 是 n/2Xn/2 的 : 

1. 构造 A TEEB, C CA D. 

2. 递归 计算 B AREE BT, 

3. 计算 矩阵 乘积 人 三 CB ， 然 后 计算 其 转 置 矩 阵 W 7， 它 等 于 BC ORAY D. 1-2 以 及 
(B-1)7T 一 B-1)。 

4. 计算 矩阵 乘积 X=WC, ESF CB “1'C" ， 然 后 计算 矩阵 S=D—X=D—CB'C', 

5. 递归 计算 SWRI S, HS VAS. 

6. 计算 矩阵 乘积 Y 一 S : 凤 ， 它 等 于 S 1CB- ， 然 后 计算 其 转 置 YI ， 它 等 于 B YCS (根据 
练习 D. 1-2, (B)™=BIWR(S?)7=S"'), HT W-Y', U 为 一 Y。 

7. 计算 矩阵 乘积 Z 二 WTY， 它 等 于 B'CS'CB", #HRWB'+Z, 

因此 ， 我 们 可 以 通过 在 步骤 2 和 5 中 对 两 个 n/2Xn/2 的 矩阵 求 逆 来 对 一 个 nXn 的 对 称 正定 
和 矩阵 求 逆 ; 在 步骤 3、4、6 和 7 中 ,执行 4 个 n/2Xn/2 EERE; 外 加 OC) 的 额外 时 间 从 矩阵 
A 中 提取 子 矩 阵 ， 插 和 信子 矩阵 到 AT, URE n/2Xn/2 矩阵 上 执行 常数 数目 的 加 法 、 减 法 和 转 
置 操作 。 我 们 得 到 递归 式 

IM 21(n/2) + 4M(n/2) + O(n’) = 21(n/2) + @CM(n)) = OCM(n)) 

第 一 个 等 号 成 立 是 因为 由 定理 中 的 第 二 个 正则 性 条 件 推出 4M(n/2)<2M(n), URRE Mm = 
QCz)。 第 二 个 等 号 成 立 是 因为 定理 的 第 二 个 正则 性 条 件 允许 我 们 应 用 主 定理 (定理 4.1) 的 情况 3。 

现在 还 需 证 明 ， 当 A 可 道人 但 不 是 对 称 正定 和 矩阵 时 ， 我 们 对 和 矩阵 的 乘法 运算 也 可 以 达到 和 和 矩 
阵 求 逆 运 算 一 样 的 渐 近 运行 时 间 。 基 本 思想 是 对 任意 的 非 奇 异 矩 阵 A， 和 矩阵 AIA 是 对 称 的 (根据 
练习 D. 1-2) 和 正定 的 (根据 定理 D. 6)。 然 后 ， 主 要 技巧 在 于 把 求 A 的 北 甜 阵 问 题 转化 成 求 A A 
的 逆 和 矩阵 问题 。 

这 一 转化 是 基于 下 面 的 观察 : 当 A 为 一 个 nXn 非 奇异 矩阵 时 ， 我们 有 

~ = (ATA) AT 

HAKATA 7 A)A=(ATA) CATA) =I, FE-PE MEE. e, RAIT A 
这 样 计算 A’: FA’ 与 A 相 乘 获 得 AIA， 然 后 运用 上 面 的 分 治 算法 求 出 对 称 正 定 和 矩阵 ATA 
的 逆 和 矩阵 ， 最 后 再 把 结果 乘 以 AI 。 这 三 步 中 每 一 步 运 行 时 间 为 OOQM(z) ) ， 因 此 可 以 在 OCM(n)) 
时 间 内 求 出 任意 非 奇 异 实数 矩阵 的 闭 矩 阵 。 E 

定理 28. 2 的 证 明 过 程 说 明 ， 只 要 A 是 非 奇 异 矩 阵 ， 就 可 以 通过 LU 分 解 求解 等 式 Ar=b, 
而 无 需 选 主 元 。 我 们 把 等 式 两 边 同时 乘 以 AI ， 推 出 (AIA)z=AI0。 因 为 AI BMH, PU 
一 变换 不 会 影响 解 z-， 于 是 可 以 通过 计算 LU 的 一 个 分 解 来 分 解 对 称 正定 矩阵 AIA。 然 后 就 可 以 
对 方程 右 端 的 A' 应 用 正 向 替换 和 反 向 替换 来 求解 z。 尽 管 这 个 方法 在 理论 上 是 正确 的 ， 但 实际 
上 过 程 LUP-DECOMPOSITION 执行 得 更 快 。LUP 分 解 需要 的 算术 运算 次 数 要 少 常 数 倍 ， 并 且 
从 某 种 程度 来 说 ，LUP 分 解 有 更 好 的 数值 性 质 。 


练习 
28.2-1 设 MG2) 是 两 个 六? 矩阵 相 乘 所 需 时 间 ，S(Cz) 表 示 求 nXn 和 矩阵 平方 所 需 时 间 。 证 明 ， 
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求 矩 阵 乘积 与 求 矩 阵 平方 实质 上 难度 相同 ， 即 一 个 M(Cz) 时 间 的 矩阵 相 乘 算法 意味 着 一 
OMM ) 时 间 的 矩阵 平方 算法 ， 一 个 S(m) 时 间 的 矩阵 平方 算法 意味 着 一 个 OCS(n)) 
时 间 的 矩阵 相 乘 算法 。 

28.2-2 it MGz) 是 两 个 2X? 和 矩阵 相 乘 所 需 时 间 ， 工 (z) 为 计算 一 个 nX n EER LUP 分 解 所 需 时 
fa]. GEAR: 求 矩 阵 乘积 运算 与 计算 矩阵 LUP 分 解 实 质 上 难度 相同 ， 即 一 个 MGz) 时 间 的 
和 矩阵 相 乘 算法 意味 着 一 个 OCM(n)) 时 间 的 矩阵 LUP 分 解 算法 ， 一 个 L(n) 时 间 的 矩阵 
LUP 分 解 算法 意味 着 一 个 OCL(n)) ) 时 间 的 矩阵 相 乘 算法 。 

28.2-3 it Min) EIA nXn EARS A], Din) RAK nX n 和 矩阵 行列 式 值 所 需 时 间 。 证 
明 : 求 矩 阵 乘 积 运 算 与 求 行列 式 值 实质 上 难度 相同 ， 即 一 个 MCz) 时 间 的 矩阵 相 乘 算法 
意味 着 一 个 OCM(n)) 时 间 的 行列 式 算法 ,一 个 D(n) 时 间 的 行列 式 算法 意味 着 一 个 
OCD(n)) 时 间 的 矩阵 相 乘 算法 。 

28. 2-4” 设 Mln) 是 两 个 nXn 布尔 矩阵 相 乘 所 需 时 间 ，T(z) 为 找 出 nXn 布尔 矩阵 的 传递 闭 包 所 需 
时 间 ( 见 25. 2 节 )。 证 明 : 一 个 Mo) 时 间 的 布尔 矩阵 相 乘 算法 意味 着 一 个 OCM(n) Ign) Bt 
间 的 传递 闭 包 算 法 ， 一 个 TC(n) 时 间 的 传递 闭 包 算法 意味 着 一 个 OCT(n)) 时 间 的 布尔 矩阵 
相 乘 算 法 。 

28.2-5 ” 当 和 矩阵 元 素 属于 整数 模 2 所 构成 的 域 时 ， 基 于 定理 28. 2 的 矩阵 求 逆 算 法 是 否 仍然 有 效 ? 
请 解释 。 

*28.2-6 ”推广 定理 28. 2 的 矩阵 求 逆 算法 ， 使 之 能 处 理 复数 矩阵 的 情形 ， 并 证 明 你 所 给 出 的 推广 

是 正确 的 。( 提 示 : 用 A KRME (conjugate transpose) A" 来 替代 A 的 转 置 矩阵 ， 

把 A 中 的 每 个 元 素 用 其 共 思 e 复 数 来 替代 就 得 到 A* 。 考 虑 用 埃 尔 米 特 (Hermitian) 和 矩阵 来 

替代 对 称 和 矩阵 ， 埃 尔 米 特 矩 阵 就 是 满足 A=A-* 的 矩阵 A。) 


28.3 ”对 称 正定 矩阵 和 最 小 二 乘 逼近 


对 称 正定 矩阵 有 许多 有 趣 和 理想 的 性 质 。 例 如 ， 它 们 都 是 非 奇 异 矩 阵 ， 而 且 可 以 对 其 进行 
LU 分 解 ， 而 无 需 担 心 出 现 除数 为 0 的 情形 。 在 本 节 中 ， 我 们 将 证 明 其 他 几 条 关于 对 称 正 定 矩 阵 
的 重要 性 质 ， 并 且 给 出 一 个 用 最 小 二 乘 进 行 曲线 拟 合 的 有 趣 应 用 实例 。 

我 们 要 证 明 的 第 一 条 性 质 可 能 是 最 基本 的 。 

引 理 28.3 任何 对 称 正 定 矩 阵 都 是 非 奇 异 矩 阵 。 

证 明 ”假设 矩阵 A 是 奇异 的 ， 那 么 由 推论 D. 3， 存 在 一 个 非 零 向 量 z, 满足 Az= 王 0。 因 此 ， 
ZIAz=0， 于 是 A 不 可 能 是 正定 矩阵 。 = 

要 证 明 我 们 可 以 对 一 个 对 称 正定 矩阵 A 进行 LU 分 解 而 不 会 出 现 除数 为 0 的 情形 ， 还 需要 涉 
及 其 他 一 些 知识 。 我 们 先 证 明 关 于 A 的 某 些 子 和 矩阵 的 性 质 。 定 义 A 的 第 & 个 主子 矩阵 (leading 
submatrix) A, AA 的 前 & 行 和 前 & 列 交 叉 元 素 组 成 的 矩阵 。 

引 理 28.4 如 果 A 是 一 个 对 称 正 定 和 矩阵 ， 那 么 A 的 每 一 个 主子 矩阵 都 是 对 称 正 定 的 。 

证 明 ”每 个 主子 矩阵 A, 明显 都 是 对 称 的 。 为 了 证 明 A 是 正定 的 ， 我 们 假设 命题 不 真 ， 然 
后 导出 矛盾 。 如 果 Ai 不 是 正定 的 ， 那 么 存在 一 个 & 维 向 量 z, 了 关 0， 使 得 xiAszs 二 0。 设 A 是 nXn 


和 矩阵， 于 是 
A= a (28. 14) 
| B C 
其 中 子 矩 阵 B 的 大 小 是 (x 一 k) Xk，C 的 大 小 是 (n 一 &) X (nk), HU 2 KAR e=C! 0)", 
其 中 2, 之 后 有 n 一 & 个 0。 然后 有 


| A, B')/zx A,x 
Tant ofS I) of) sane 
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这 与 A 是 正定 矩阵 矛盾 。 图 


现在 我 们 考虑 舒 尔 补 的 几 条 基本 性 质 。 设 A 是 一 个 对 称 正定 和 矩阵，A, BAW RXR ETHE 
阵 。 根 据 等 式 (28. 14) 再 次 把 A 划分 。 我 们 推广 式 (28. 9) ENER A KFA, 的 舒 尔 补 为 
S = C— BA;'B* (28. 15) 
(根据 引 理 28.4, A, 是 对 称 正定 的 ; 所 以 根据 引 理 28. 3 a, A,’ 存在 ， 且 S 定义 完备 。) 注 意 ， 
设 & 王 1， 我 们 前 面 对 舒 尔 补 的 定义 (28. 9) 与 等 式 (28. 15) 是 一 致 的 。 
下 面 的 一 个 引 理 说 明 ， 对 称 正定 矩阵 的 舒 尔 补 自身 也 是 对 称 正定 的 。 我 们 在 定理 28. 2 中 用 
到 了 该 结论 ， 并 要 用 其 推论 来 证 明 对 称 正定 矩阵 的 LU 分 解 的 正确 性 。 
引 理 28. 5( 舒 尔 补 引 理 ) ”如 果 A 是 一 个 对 称 正定 矩阵 ，A; 是 A 的 &XR 主 子 矩 阵 ， 那 么 A 
关于 A 的 舒 尔 补 是 对 称 正 定 的 。 
证 明 因为 A 是 对 称 的 ， 所 以 子 矩 阵 C 也 是 对 称 的 。 根 据 练 习 D. 2-6, 乘积 BAB 是 对 称 
的 ， 再 根据 练习 D. 1-1，S 是 对 称 的 。 
现在 还 要 说 明 S 是 正定 的 。 考 虑 等 式 (28. 14) 中 对 A 的 划分 。 对 任何 非 零 向 量 zx, 根据 A 是 
正定 的 假设 ， 有 x Ax 二 0。 我 们 把 z 拆 成 两 个 子 向 量 y 和 z， 分 别 与 人 A 和 C 相 容 。 因 为 Ai 存 
在 ， 所 以 运用 和 矩阵 运算 的 技巧 ， 我 们 有 
zx'Ar= (y' 27) 区 : Ias (yT 27) igs Le | y Ay + y" Bizet 2™By + 2'Cz 
= (y+A,'B'z)'A,(y+A;,'Btz) +2'(C— BA;'B")z (28. 16) 
(用 乘法 从 头 至 尾 验证 。) 最 后 一 个 等 式 发 展 成 二 次 型 的 “完全 平方 ”。( 参 见 练习 28. 3-2.) 
因为 A> 对 任意 非 零 问 量 x 成立， 我 们 可 任意 挑选 一 个 非 零 向 量 z, REF y= 
一 Ar1B'z， 这 样 就 把 等 式 (28. 16) 中 第 一 项 消去 ， 剩 下 
z'(C— BA;'B})z=2'& 
作为 表达 式 的 值 。 因 此 对 任意 e340, RTA e*Se=2'Axr>0, FE S ÆEÆM. E 
推论 28.6 — Matik EZE LU 分 解 永 远 不 会 出 现 除 数 为 0 的 情形 。 
证 明 设 A 是 一 个 对 称 正定 矩阵 。 我 们 将 证 明 一 个 比 推论 更 强 的 结论 ， 每 个 主 元 都 严格 为 
iE. 第 一 个 主 元 为 Ailo 设 el 是 第 一 个 单位 向 量 ， 由 此 得 到 an =e Ae >0. 因为 LU 分 解 的 第 一 
步 产生 A 关 于 Ai:=(aa) 的 舒 尔 补 ， 根 据 归 纳 法 ， 由 引 理 28. 5 推出 所 有 的 主 元 都 是 正 值 。 图 
wh RBE 
对 给 定 一 组 数据 的 点 进行 曲线 拟 合 是 对 称 正定 矩阵 的 一 个 重要 应 用 。 假 设 已 知 m 个 数据 点 
C21 s Y1) 9 CT sy2) °° (Tn Yn) 
其 中 已 知 y 受到 测量 误差 的 影响 。 我 们 希望 确定 一 个 函数 F(z)， 对 i 二 1，2，…，m， 使 得 近似 
误差 
y = Fla) — yi (28. 17) 
很 小 。 函 数 下 的 形式 依赖 于 我 们 碰 到 的 问题 。 这 里 假设 它 的 形式 为 一 个 线性 加 权 和 : 


n 


F(x) = >) ¢f;(x) 


其 中 和 项 的 个 数 n A EAS BG BW (basis function) f; 取决 于 我 们 对 问题 的 先 验 知识 。 一 种 通常 的 
选择 是 f;(x) 二 z+“ ， 这 说 明 
Fix) = a tert or + -e + cee" 
E—S r Anl RAEN. AE, Bem SAGA C1 ys Cers yds ts Cons Ym) BAT 
希望 计算 出 ”个 系数 cl Coy ts Cos WERE Mr ter ts Tm 最 小 。 | 
通过 选择 n= 二 m， 在 等 式 (28. 17) 中 ， 我们 可 以 精确 计算 每 个 y;。 这 样 的 一 个 高 次 函数 下 吻合 
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数据 ， 但 也 “吻合 噪声 ”， 且 当 用 来 从 前 面 未 知 的 z 值 预测 > 时 ， 通 常会 给 出 很 差 的 结果 。 通 常 较 
好 的 做 法 是 选择 比 m 小 很 多 的 n， 寄 希望 通过 选择 系数 c ， 我 们 可 以 获得 一 个 函数 下 ， 能 够 发 现 
数据 点 中 的 重要 模式 ， 而 不 过 多 地 受 噪声 影响 。 对 于 选择 ”存在 一 些 理论 上 的 原则 ， 但 这 超出 了 
本 书 的 范围 。 在 任何 情况 下 ， 一旦 选 定 了 比 m 小 的 n 值 ， 就 得 到 了 我 们 希望 近似 求解 的 一 个 超 
证 方程 组 。 现 在 我 们 来 说 明 如 何 进 行 
设 
Fike Ja). SE fry 
ee fie) Ye 7 Jakaa) 
a ) Fla, ) e Ge: ) 
SRI AEA A LOIRE, 即 a; 二 f(x;)。 设 c 二 (ci) 表 示 所 求 系数 组 成 的 nn 维 向 量 。 于 是 


fila) fola) oo fC) fa FC) 
filaz) falx) "e fi, Cara) | |c F(x2) 
Ac= ° ° “5 ° 8 ~ : 
(Xm) zh) …w fi Ct) Cr F(x) 
是 由 y 的 “ 预 测 值 "组 成 的 m 维 向 量 。 因 此 ， 
7= 人 一 y 


是 近似 误差 (approximation error) H m 维 向 量 。 
为 了 使 近似 误差 最 小 ， 我 们 选择 使 误差 向 量 » ee 这 样 得 出 一 个 最 小 二 乘 解 ， 因 为 


| n= (D4) 
MAA 


| i= le-s = È (Sa - y 
我 们 可 以 通过 对 | nll? 求 关于 ce 的 微分 并 让 结果 为 0， 来 求 出 | 的 最 小 值 : 


alalt = 22 Save 一 yi)an 一 0 (28. 18) 
bess. 4: «4 so ae alt lei 
(Ac—y'A=0 
或 等 价 于 (利用 练习 D. 1-2) 
A'(Ac— y) =0 
这 意味 着 
AIAc = ATy (28. 19) 


在 统计 学 中 ， 该 式 称 为 正规 方程 (normal equation), HAY D. 1-2 可 知 ，ATA 是 对 称 矩 阵 ， 并 且 
AA 是 列 满 秩 ， 则 根据 定理 D. 6 可 知 ，AIA IEEE. Ak, (ATA) "1 存在， 方程 (28. 19) 
的 解 为 | 
c= ((ATA) TA) y= At y (28. 20) 
其 中 和 矩阵 At= =((ATA) 4 ) 称 为 矩阵 A 的 伪 逆 矩阵 (pseudoinverse) 。 伪 逆 矩 阵 是 逆 矩 阵 概 念 在 A 不 是 
方 阵 时 的 自然 推广 。 (请 比较 等 式 (28. 20) 作 为 Ac=y RERE, Ab 作为 Ar=b 的 精确 解 。) 
WO i 假设 有 5 个 数据 点 
(x y1) = (— 1,2) 
(2252) = (1,1) 
(23593) = (2,1) 
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(24994) = (3,0) 
(25995) = (5,3) 
在 图 28-3 中 用 黑 点 表示 。 我 们 希望 用 一 个 二 次 多 项 式 Fd =atarteaa’ 对 这 些 点 进行 拟 合 。 
我 们 首先 给 出 基 函 数值 的 矩阵 


A E 1-1 1 
lm =m! |1 1 1 
A=|1l x x/=|]1 2 4 
lax l 5 25 
Y 
3.0 
2.5 
2.0 F(x) = 1.2 —0.757x + 0.2147 
1.5 





-2 一 


图 28-3 对 5 个 数据 点 的 集合 {( 一 1，2)，(1，1)，(2，1)，(3，0)，(5，3)) 
用 一 个 二 次 多 项 式 进行 最 小 二 乘 拟 合 。 黑 色 点 是 数据 点 ,日 点 是 由 多 
项 式 F(z) 王 1.2 一 0.757z 十 0. 214z2 预测 的 估计 值 ， 此 二 次 多 项 式 使 
得 平方 误差 之 和 最 小 。 每 条 阴影 线 表 示 一 个 数据 点 的 误差 


其 伪 逆 矩阵 为 


At= | 一 0.388 0.093 0.190 0.193 一 0.088 
0.060 一 0.036 一 0.048 一 0.036 0.060 
> 乘 以 A ， 我 们 得 到 系数 向 量 
1. 200 
c= -a 加 
0. 214 


F(x) 一 1.200 一 0.757z 十 0.214z2 
在 最 小 二 乘 意义 上 ， 该 式 是 对 给 定数 据 的 最 接近 的 二 次 拟 合 。 
在 实际 应 用 中 ， 我 们 按 如 下 方式 求 正规 方程 (28. 19) 的 解 : 用 y 乘 以 AI， 然 后 找 出 AIA 的 
— LU 分解 。 如 果 A WR, ATA 可 保证 为 非 奇异 的 ， 因 为 它 是 对 称 正 定 的 。( 人 参见 练习 D. 1-2 
和 定理 D. 6.) 





0. 900 0. 300 0. 200 0.100 —O0O. 


838) ” 它 对 应 于 二 次 多 项 式 
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练习 
28.3-1 WER: 一 个 对 称 正定 矩阵 对 角 线 上 的 每 一 个 元 素 部 是 正 的 。 
28.3-2 BAR|" ”| 是 一 个 2X2 的 对 称 正定 矩阵 。 运 用 类 似 引 理 28. 5 证 明 过 程 中 用 过 的 “ 完 
全 平方 ”来 证 明 该 行列 式 的 值 xc 一 外 是 正 的 。 
28.3-3 证明: :一 个 对 称 正定 矩阵 中 值 最 大 的 元 素 在 对 角 线 上 。 
28.3-4 TE: 一 个 对 称 正定 矩阵 的 每 一 个 主子 矩阵 的 行列 式 值 都 是 正 的 。 
28.3-5 iA, 表示 对 称 正定 矩阵 A 的 第 个 主子 矩阵 。 证明 : 在 LU 分 解 过程 中 ，detCAl)/det(As1) 
是 第 & 个 主 元 ， 其 中 为 方便 起 见 ，det(4o) 一 1。 
28.36 找 出 具有 形式 FCz) 一 十 czlgz 十 caer 的 函数 ， 使 其 为 下 面 数据 点 的 最 优 最 小 二 乘 拟 
S: (Q, 1), (2, 1), (3, 3), (4, 8). 
28. 3-7 TUBA yw A+ 满足 下 面 4 个 等 式 ， 
AATA=A 
A*t AA*t = At 
(AA*)* = AA+ 
(At A)T = At A 
思考 题 
28-1 (E 线性 方程 组 ) 考察 三 对 角 和 矩阵 : 
1 =] 0 0 0 
=] 2 =d 0 0 
A= Oo -=l A | 0 
0 0 = M | 
0 0 0 =] 2 
a. 求 出 矩阵 A 的 一 个 LU 分 解 。 
b 通过 正 向 替换 与 反 向 替换 求解 方程 Az=(1 1 1 1 1)7。 
c RA ABE. 
d 请 说 明 对 任意 的 nXn 对 称 正定 三 对 角 矩 阵 A AUER n 维 向 量 5，， 如 何 通 过 运用 一 个 LU 
分 解 可 在 O(n) 时 间 内 求解 方程 Az 一 b。 论 证 在 最 坏 情况 下 ， 任 何 基 于 求 A-: 的 方法 在 
渐 近 意义 下 要 花费 更 多 的 时 间 。 
e 请 说 明 对 任意 ?>Xz 非 奇异 的 三 对 角 和 矩阵 A 和 任意 7 维 向 量 bp，， 如 何 运 用 一 个 LUP 分 解 
在 O(n) 时 间 内 求解 方程 Az 二 6。 
28-2 〈 样 条 ) ; 把 一 组 点 插值 到 一 条 曲线 中 的 一 种 实用 方法 是 采用 三 次 样 条 (cubic spline) 。 已 知 


n 十 1 个 点 值 对 组 成 的 集合 { (zx;， yids 2 一 0，1，…，71)， 其 中 Lp Li Ty's 我 们 希望 
拟 合 出 这 些 点 的 分 段 三 次 曲线 ( 样 条 ) f(x)。 也 就 是 说 ， 曲 线 f(z) 由 个 三 次 多 项 式 
fix) =a; tb;x tcx’ 十 dix (一 0，1，…，7 一 1) 组 成 ， 其 中 如 果 工 落 在 区 间 Kt , 
那么 曲线 的 值 由 f(z) 二 fi(z 一 zi) 给 出 。 把 三 次 多 项 式 “ 粘 和 ”在 一 起 的 点 zi 称 为 结 
(knot). ;为 了 简单 起 见 ， 假 定 对 i 二 0，1，…，n， 有 Zz; 二 i。 
为 了 保证 f(z) 的 连续 性 ， 我 们 要 求 当 i= 0, 1, *, n—l 时 ， 
fcD = fiO) = yi; 
f(zin)= fiA) = .yi+l 
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为 了 保证 f(x) 足够 光滑 ， 我 们 还 要 求 当 i 二 0，1，…，n 一 2 时 ， 在 每 个 结 的 一 阶 导数 是 

连续 的 : 

f CE 0) 

a. 假定 当 ; 王 0，1，…， 允 时 ， 我 们 不 仅 知 道 点 值 对 {(z，yY)}， 而 且 知道 每 个 结 的 一 阶 
导数 D,= f'(x). 请 用 值 yi;、Yit1、D; 和 Di+ 来 表示 每 个 系数 an bi ci Mdi GEE 
zi 二 i。) 根 据点 值 对 和 一 阶 导 数 计算 出 4n 个 系数 需要 多 少时 间 ? 

如 何 选 择 f(x) 在 每 个 结 的 一 阶 导 数 仍然 是 个 问题 。 一 种 方法 是 要 求 当 i==0，1，…， 
n 一 2 时 ， 二 阶 导数 在 每 个 结 处 连续 . 
faxm) = fF) = fim (0) 
在 第 一 个 结 和 最 后 一 个 结 , 假设 F(a) = Sf O= 以 及 f aS faa S0; 这 些 假 
设 使 f(z) 成 为 一 个 自然 三 次 样 条 。 


b. 利用 二 阶 导数 的 连续 性 限制 ,说明 当 i=1，2，…，n 一 1 时 ， 
D; + 4D; + Di = 3(Cyin — Yim) (28. 21) 
c 请 说 明 
2D, + D, = 3(y— yo) (28. 22) 
D, +2D, = 3(y,— Yai) (28. 23) 
d. 重 写 等 式 (28. 21)~ (28. 23) 为 包含 未 知 量 向 量 D=(D >» D, 9 “"", D ) 的 矩阵 方程 。 你 
所 给 的 方程 中 矩阵 具有 什么 性 质 ? 
e HIE: 运用 自然 三 次 样 条 可 以 在 O(n) 时 间 内 对 一 组 n 十 /个 点 值 对 进行 插值 (参见 思考 
fil 28-1) 。 


m 


. 请 说 明 当 r 不 一 定 等 于 ; 时 ， 如 何 确定 出 一 个 自然 三 次 样 条 对 一 组 ntl 个 满足 < 
Zi<…< zy 的 点 (x;，y;) 进 行 插 值 。 你 必须 求解 什么 样 的 矩阵 方程 ”你 所 给 出 的 算法 运 
行 速度 有 多 快 ? 

章 注 记 
很 多 优秀 的 教科 书 中 ， 对 数值 和 科学 计算 的 描述 都 比 我 们 论述 的 内 容 要 详细 得 多 。 下 面 的 
参考 材料 特别 值得 阅读 George 和 Liu[132]，Golub 和 Van Loan[ 144]，Press、Teukolskvy、 


Vetterling # Flannery[ 283, 284], LAA Strang[ 323, 324], 
Golub 和 Van Loan[ 144] 讨 论 了 数值 稳定 性 。 他 们 说 明 为 什么 det(A) 不 一 定 是 矩阵 A 的 稳定 


HERH. BERAI Alo KF Al = max») |o | 。 他 们 还 讨论 了 如 何 计算 该 


值 而 不 用 实际 计算 A™ 。 

高 斯 消 元 法 是 LU 和 LUP 分 解 的 基础 ， 是 第 一 个 求解 线性 方程 组 的 系统 方法 。 它 也 是 最 早 
的 数值 算法 之 一 。 尽 管 更 早 之 前 人 们 就 知道 这 个 方法 ,但 它 的 发 现 一 般 归功 于 C. F. Gauss 
(1777—1855). Strassen 在 他 的 很 有 名 的 文章 [325] 中 ， 展 示 了 可 以 在 Ole’) 时 间 内 对 一 个 nXn 
ERER. Winograd[ 358j] 最 早 证 明和 矩阵 乘法 不 比 和 矩阵 求 逆 困难 ， 反 的 证 明 归 功 于 Aho、 
Hopcroft 和 Ullman[ 5]. 

BIRER MWEN ST BSD BR (Singular Value Decomposition, SVD), SVD 把 一 个 
mXn Fae A 分 解 成 A 二 QQ ， 其 中 三 是 一 个 只 在 对 角 线 上 有 非 零 元素 的 mXn EE, Q 是 一 
个 列 互相 标准 正 交 的 mXm EE, Q 也 是 一 个 列 互相 标准 正 交 的 nXn 矩阵。 如 果 两 个 向 量 内 积 
为 0 并 且 每 个 向 量 范 数 为 1， 则 它们 是 标准 正 交 的 。Strang 的 著作 [323，324] 以 及 Golub 和 Van 
Loan[ 144] 中 包含 对 SVD 很 好 的 处 理 。 

Strang[ 324] 有 一 个 关于 对 称 正定 矩阵 和 一 般 线 性 代数 的 很 好 的 介绍 。 
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线性 规划 


在 给 定 有 限 的 资源 和 竞争 约束 情况 下 ， 很 多 问题 都 可 以 表述 为 最 大 化 或 最 小 化 某 个 目标 。 
如 果 可 以 把 目标 描述 为 某 些 变量 的 一 个 线性 函数 ， 而 且 可 以 将 资源 的 约束 指定 为 这 些 变量 的 等 
式 或 不 等 式 ， 那 么 我 们 得 到 一 个 线性 规划 问题 (linear-programming problem) 。 线 性 规划 出 现在 许 
多 实际 应 用 中 。 我 们 从 研究 一 次 政治 选举 的 应 用 开始 。 

一 个 政治 问题 

假设 你 是 一 位 政治 家 ， 试 图 赢得 一 场 选 举 。 你 的 选区 有 三 种 不 同类 型 的 区 域 一 一 市 区 、 郊 区 
和 乡村 。 这 些 区 域 分 别 有 100 000、200 000 和 50 000 个 登记 选民 。 尽 管 不 是 所 有 登记 选民 都 会 去 
投票 站 投票 ， 但 为 了 确保 当选 ， 你 希望 这 三 个 选区 中 每 一 个 选区 都 至 少 有 一 半 登 记 选 民 投 票 
给 你 。 E 
你 是 正直 、 可 敬 的 ， 并 且 从 不 支持 你 不 相信 的 政策 。 然 而 你 意识 到 ， 在 某 些 地 方 ， 某 些 议题 
对 赢 取 选票 会 更 有 效 。 你 的 首要 议题 是 修筑 更 多 的 道路 、 枪 支管 制 、 农 场 补贴 ， 以 及 增加 汽油 税 
以 改进 公共 交通 。 根 据 你 的 竞选 班子 的 研究 ， 你 可 以 估计 通过 在 每 项 议题 上 花费 1 000 美元 做 广 
告 ， 在 每 个 选区 可 以 赢 取 或 输 掉 多 少 选票 。 图 29-1 的 表格 给 出 这 种 信息 。 在 此 表格 中 ， 每 个 条 
目 表 明 通 过 花费 1 000 美元 广告 费 支 持 某 个 特定 议题 ， 在 市 区 、 郊 区 或 乡村 可 以 赢得 选民 的 千 人 
数 ， 负 数 项 表示 失去 的 选民 数 。 你 的 任务 是 计算 出 需要 花费 最 少 的 钱 数 ， 以 赢得 50 000 张 市 区 
选票 、100 000 张 郊 区 选票 和 25 000 张 乡 村 选票 。 








图 29-1 政策 对 选民 的 影响 。 每 项 表示 通过 1 000 美元 广告 费 支持 一 项 特定 政策 ， 
可 赢得 的 市 区 、 郊 区 或 乡村 的 选民 的 千 人 数 。 负 数 项 表示 将 失去 的 选票 数 


你 可 以 通过 反复 试验 ， 设 计 一 种 策略 万 得 所 需 选 票数 ， 但 你 的 这 种 策略 可 能 不 是 花费 最 少 
的 。 例 如 ， 你 可 以 支出 20 000 美元 广告 费 修筑 道路 、0 美元 给 枪支 管制 、4 000 美元 给 农场 补贴 、 
9 000 美元 给 汽油 税 。 在 这 种 情况 下 ， 你 将 赢得 20( 一 2) 十 0(8) 十 4(0) 十 9(10) 一 50 千张 市 区 选 
了 票 ，20(5) 十 0(2) 十 4(0) 十 9(0) 王 100 千张 郊区 选票 ， 以 及 20(3) 十 0( 一 5) 十 4(10) 十 9( 一 2) 一 82 
千张 乡村 选票 。 你 将 在 市 区 和 郊区 正好 说 得 你 想 要 的 票数 ， 而 在 乡村 地 区 超过 所 需 票 数 。( 事 实 
上 ， 在 乡村 地 区 ， 得 到 的 选票 比 选民 数量 还 多 。.) 为 了 累积 这 些 选 票 ， 需 要 付出 20 十 0 十 4 十 9 一 33 
千 美元 的 广告 费 。 

目 然 地 ， 你 可 能 怀疑 是 否 你 的 策略 是 最 好 的 。 也 就 是 说 ， 你 是 否 能 花 更 少 的 广告 费 来 达到 你 
的 这 些 目标 ? 领 外 的 反复 试验 或 许可 以 帮 你 回答 这 个 问题 ,但 为 什么 不 用 一 个 系统 化 的 方法 来 
回答 这 样 的 问题 呢 ? 为 此 ， 我 们 将 以 数学 化 的 语言 来 描述 这 个 问题 。 我 们 引入 4 个 变量 : 

。 x, 是 花费 在 修筑 道路 广告 上 的 金额 ( 千 美元 )。 

” zz 是 花费 在 枪支 管制 广告 上 的 金额 ( 千 美元 )。 
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。 2x; 是 花费 在 农场 补贴 广告 上 的 金额 ( 千 美 元 )。 
。 2Z4 是 花费 在 汽油 税 广告 上 的 金额 ( 千 美 元 )。 
我 们 可 以 将 赢得 至 少 50 000 张 市 区 选票 的 需求 写成 


— 2x, + 8x, 十 0zi 十 10z 之 50 (29. 1) 
类 似 地 ， 我 们 可 以 将 赢得 至 少 100 000 张 郊 区 选票 和 25 000 张 乡村 选票 的 需求 写成 
52, H 2x: + 0x, 十 0z 之 100 (29. 2) 
以 及 
3r Sap 10x 27: > 25 (29. 3) 


任何 一 组 满足 不 等 式 (29. 1) ~ (29. 3) 的 变量 21, me, ts a 取 值 ， 构 成 一 种 能 够 赢得 足够 数量 选票 的 
策略 。 为 了 使 花费 尽 可 能 小 ， 你 希望 最 小 化 广告 的 费用 。 也 就 是 说 ， 你 想 要 最 小 化 如 下 表达 式 : 


ke oy de ay ma as i (29. 4) 
尽管 在 政治 竞选 中 负面 的 广告 宣传 时 常 发 生 ， 但 是 不 可 能 有 负 的 广告 费用 。 因 此 ， 我 们 要 求 
0 aaae 05 a SO (29. 5) 


将 不 等 式 (29.1) 一 (29. 3) 以 及 (29. 5) 和 最 小 化 目标 式 (29.4) 联 系 起 来 ， 我们 得 到 “线性 规划 “ 问 
题 。 我 们 将 这 个 问题 形式 化 为 : 


最 小 化 2 t a A a T (29. 6) 
满足 约束 条 件 
—2x7, + 82, + 0z + 10x, 之 50 (29. 7) 
52, + 22%. + Oz, + Ox, 2100 (29. 8) 
34). — Bae 二 二 二. 2a, 225 (29. 9) 
Dis os ass Di 之 0 (29. 10) 
这 个 线性 规划 的 解 可 得 出 一 个 最 优 策略 。 
一 般 线性 规划 


在 一 般 线 性 规划 问题 中 ， 我 们 希望 优化 一 个 满足 一 组 线性 不 等 式 约 束 的 线性 函数 。 已 知 一 组 
实数 Ais Azs ”， a, 和 一 组 变量 Lis Tzs ”no 我 们 给 出 定义 在 这 些 变量 上 的 一 个 线性 函数 Í: 


FL, Te 9 Ly) = ax 二 ax 二 二 ax, = > az 
WR b 是 一 个 实数 而 了 是 一 个 线性 函数 ， 则 等 式 


f(ziyT2 To) 一 六 
是 线性 等 式 ， 而 不 等 式 

7 Sb 
和 

flatis £s 之 0 
是 线性 不 等 式 。 我 们 使 用 一 般 的 词语 线性 约束 来 表示 线性 等 式 或 线性 不 等 式 。 在 线性 规划 中 ， 不 
允许 严格 的 不 等 式 ” 。 形 式 化 地 描述 如 下 : 一 个 线性 规划 问题 是 一 个 线性 函数 最 小 化 或 最 大 化 的 
问题 ， 该 线性 函数 服从 一 组 有 限 个 线性 约束 。 如 果 我 们 要 最 小 化 ， 则 称 此 线性 规划 为 最 小 化 线性 
规划 ; 如 果 我 们 要 最 大 化 ， 则 称 此 线性 规划 为 最 大 化 线性 规划 。 

本 章 的 剩余 部 分 将 介绍 线性 规划 的 形式 化 和 求解 。 虽 然 已 有 一 些 线性 规划 的 多 项 式 时间 算 

法 ， 但 在 本 章 中 我 们 并 不 研究 它们 。 取 而 代 之 ， 我 们 将 研究 单纯 形 算法 ， 它 是 最 古老 的 线性 规划 
算法 。 单 纯 形 算法 的 最 坏 情 况 运 行 时 间 不 是 多 项 式 阶 的 ， 但 是 它 在 实际 应 用 中 相当 高 效 ， 因 此 得 
到 广泛 应 用 。 


O 意 即 约束 条 件 都 包含 等 号 。 一 一 译 者 注 
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线性 规划 综述 

为 了 描述 线性 规划 的 性 质 和 算法 ， 我 们 发 现 使 用 规范 形式 来 表示 它们 是 很 方便 的 。 在 本 章 
中 ， 我 们 使 用 两 种 形式 ， 标准 和 松弛 。29. 1 节 将 给 出 它们 的 精确 定义 。 非 正式 地 ， 在 标准 型 中 
的 线性 规划 是 满足 线性 不 等 式 约 束 的 一 个 线性 函数 的 最 大 化 ， 而 松弛 类 型 的 线性 规划 是 满足 线 
性 等 式 约束 的 线性 函数 的 最 大 化 。 我 们 通常 使 用 标准 型 来 表示 线性 规划 ， 但 当 描述 单纯 形 算法 
的 细节 时 ， 使 用 松弛 形式 会 比较 方便 。 从 现在 开始 ， 我 们 将 注意 力 放 在 满足 一 组 具有 m 个 线性 
不 等 式 约束 的 具有 ?7 个 变量 的 线性 函数 的 最 大 化 上 。 

首先 考虑 下 面具 有 两 个 变量 的 线性 规划 


最 大 化 t 十 t (29. 11) 
满足 约束 

. in = 4 < # (29. 12) 

2z + 2 XS 10 (29. 13) 

bay, “= 2a 2 (29. 14) 

Tig Be = 0 (29. 15) 


我 们 称 所 有 满足 约束 式 (29. 12)~ (29. 15) 的 变量 x, 和 zs 的 取 值 为 线性 规划 的 一 个 可 行 解 。 如 果 
我 们 在 (zx ，zs) 笛 卡 儿 坐 标 系 统 中 画 出 这 些 约束 ， 如 图 29-2(a) 所 示 ， 我 们 可 以 看 到 可 行 解 的 集 
合 ( 图 形 中 是 阴影 部 分 ) 在 二 维 空间 中 构成 一 个 凸 区 域 C5。 这 个 凸 形 区 域 称 为 可 行 区域 ， 希 望 最 大 

化 的 函数 称 为 目标 函数 。 概 念 上 ， 我 们 可 在 可 行 区 域内 每 个 点 上 对 目标 函数 zi 十 zz RA; RN 

将 目标 函数 在 一 个 特定 点 上 的 值 称 为 目标 值 。 接 下 来 ， 我 们 可 以 找 出 一 个 有 最 大 目标 值 的 点 作 
为 最 优 解 。 在 这 个 例子 中 (以 及 大 多 数 线性 规划 中 ) ， 可 行 区 城 包含 无 限 数目 的 点 ， 所 以 我 们 希望 

找 出 一 个 高 效 的 方式 来 找到 一 个 取 最 大 目标 值 的 点 ， 而 无 需 在 可 行 区 域 的 每 个 点 上 对 目标 函数 
求 值 。 





图 29-2 (DACI. 12) 一 (29. 15) 给 出 的 线性 规划 。 每 个 约束 以 一 条 直线 和 一 个 方向 来 表 
_“ 示 ,约束 的 交集 ( 即 可 行 区 域 ) 以 阴影 表示 。(b) 虚 线 分 别 表示 目标 值 为 0、4 和 
8 的 点 。 线 性 规划 的 最 优 解 是 zl 二 2，zz 一 6， 目标 值 为 8 
在 二 维 中 ,我 们 可 以 通过 一 个 图 形 化 的 步骤 来 求 最 优 解 。 对 任意 给 定 的 z，zi 十 zs 二 xz 上 后 
的 集合 是 斜率 为 一 1 的 一 条 直线 。 如 有 果 画 出 zi 十 zz 一 0， 则 得 到 通过 原点 的 斜率 为 一 1 的 直线 ， 
如 图 29-2(b) 所 示 。 这 条 直线 和 可 行 区 域 的 交集 是 一 个 目标 值 为 0 的 可 行 解 的 集合 。 在 这 种 情形 
下 ， 此 直线 和 此 可 行 解 的 交集 是 单 点 (0，0)。 更 一 般 地 ， 对 任意 的 z， 直 线 工 十 zz 二 z 与 可 行 区 
O 一 个 凸 区 域 的 直观 解释 是 ， 该 区 域 的 任意 两 点 之 间 连 一 条 线段 ， 线 段 上 的 点 也 全 在 该 区 域 中 。 
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域 的 交集 是 目标 值 为 z 的 可 行 解 的 集合 。 图 29-2(b) 表 示 了 直线 zi 十 zz 二 0， zi 十 zs 二 4 和 zi 十 
2 一 8。 因 为 在 图 29-2 中 可 行 区 域 是 有 界 的 ， 所 以 必定 存在 某 个 最 大 值 xz， 使 得 直线 zi 十 zx; 二 =z 
和 可 行 区 域 的 交集 非 空 。 任 何 让 此 情况 出 现 的 点 都 是 线性 规划 的 一 个 最 优 解 ， 在 本 例 中 ， 最 优 解 
是 z= 二 2 和 zx, 二 6， 目标 值 是 8。 
线性 规划 的 最 优 解 出 现在 可 行 区 域 的 一 个 顶点 上 并 不 是 偶然 的 。 直 线 ntr =z 与 可 行 区 域 
相交 的 z 的 最 大 值 必 在 可 行 区 域 的 边界 上 ， 因 此 ， 这 条 直线 与 可 行 区 域 的 边界 的 交集 要 么 是 一 个 
单独 顶点 ， 要 么 是 一 条 线段 。 如 果 交 集 是 一 个 单独 顶点 ， 那 么 只 有 一 个 最 优 解 ， 就 是 该 顶点 。 如 
果 交 集 是 一 条 线段 ， 那 么 此 线段 上 的 每 一 点 必 有 相同 的 目标 值 ， 特 别 地 ， 此 线段 的 两 个 端点 都 是 
最 优 解 。 因 为 线段 的 每 个 端点 都 是 一 个 顶点 ， 所 以 此 情况 下 最 优 解 也 在 一 个 顶点 上 。 
虽然 不 容易 用 图 形 表 示 超 过 两 个 变量 的 线性 规划 ， 但 是 同样 的 直 党 仍然 成 立 。 如 果 有 三 个 
变量 ， 则 每 个 约束 对 应 于 三 维 空间 的 一 个 半空 间 。 这 些 半 空间 的 交集 形成 可 行 区 域 。 目 标 函 数 取 
目标 值 的 点 集合 现在 是 一 个 平面 (假设 没有 非 退 化 的 情形 出 现 )。 如 果 目 标 函 数 的 系数 都 是 非 负 
的 ， 而 且 如 果 原 点 是 线性 规划 的 一 个 可 行 解 ， 那 么 当 把 这 个 平面 沿 目 标 函 数 的 垂直 方向 移 开 原 
点 时 ， 我 们 就 找到 一 系列 的 点 ， 甚 目标 值 是 递增 的 (如 果 原 点 不 是 可 行 解 ， 或 者 目标 函数 的 某 些 
系数 是 负 的 ， 则 直观 图 形 会 变 得 稍微 复杂 些 ) 。 如 同 在 二 维 空间 一 样 ， 因 为 可 行 区 域 是 凸 的 ， 取 
得 最 优 目标 值 的 点 集合 必然 包含 可 行 区 域 的 一 个 顶点 。 类 似 地 ， 如 果 有 2 个 变量 ， 每 个 约束 定义 
了 ?7 维 空间 中 的 一 个 半空 间 。 我 们 称 这 些 半 空间 的 交集 形成 的 可 行 区 域 为 单纯 形 。 目 标 函 数 现在 
是 一 个 超 平面 ， 并 且 因 为 它 的 凸 性 ， 一 个 最 优 解 仍 在 单纯 形 的 一 个 顶点 上 取得 。 
单纯 形 算法 以 一 个 线性 规划 作为 输入 ， 输 出 一 个 最 优 解 。 它 从 单纯 形 的 某 个 顶点 开始 ， 执 行 
顺序 迭代 。 在 每 次 迭代 中 ， 它 沿 着 单纯 形 的 一 条 边 从 当前 顶点 移动 到 一 个 目标 值 不 小 于 (通常 是 
大 于 ) 当 前 顶点 的 相 邻 顶点 。 当 达到 一 个 局 部 的 最 大 值 ， 即 存在 一 个 顶点 ， 所 有 相 邻 顶点 的 目标 
值 都 小 于 该 顶点 的 目标 值 ， 单 纯 形 算法 终止 。 因 为 可 行 区 域 是 凸 的 ， 且 目标 函数 是 线性 的 ， 所 以 
该 局 部 最 优 实际 上 是 全 局 最 优 的 。 在 29.4 节 中 ， 我 们 将 使 用 "对偶 ?的 概念 来 说 明 单纯 形 算法 输 
出 解 确实 是 最 优 的 。 
尽管 几何 的 视角 给 出 了 单纯 形 算法 操作 过 程 的 一 个 很 好 的 直观 解释 ， 但 在 29. 3 TRS SR 
单纯 形 算法 的 细节 时 ， 我 们 将 不 会 再 直接 谈 到 几何 的 视角 。 取 而 代 之 ， 我们 采用 一 种 代数 的 视 
角 。 首 先 将 给 定 的 线性 规划 写成 松弛 形式 ， 即 线性 等 式 的 集合 。 这 些 线性 等 式 通过 其 他 称 为 “ 非 
基本 变量 ”的 变量 来 表示 某 些 称 为 “基本 变量 ”的 变量 。 我 们 从 一 个 顶点 移动 到 另 一 个 顶点 ， 伴 随 
着 将 一 个 基本 变量 变 为 非 基本 变量 ， 以 及 将 一 个 非 基本 变量 变 为 基本 变量 。 我 们 称 这 个 操作 为 
一 个 “ 主 元 ”， 且 从 代数 的 角度 ， 它 只 不 过 是 将 线性 规划 重 写 成 等 价 的 松弛 型 。 
上 述 的 双 变 量 的 例子 是 非常 简单 的 。 我 们 将 在 本 章 中 讨论 几 个 更 详细 的 例子 。 这 些 议题 包 
括 识别 无 解 的 线性 规划 、 无 有 限 最 优 解 的 线性 规划 ， 以 及 原点 不 是 可 行 解 的 线性 规划 。 
线性 规划 的 应 用 
线性 规划 有 大 量 的 应 用 。 任 何 一 本 运筹 学 的 教科 书 上 都 充满 了 线性 规划 的 例子 ， 且 现在 大 
多 数 商 学 院 都 将 线性 规划 作为 一 种 标准 工具 讲授 给 学 生 ， 前 面 的 选举 场景 是 一 个 典型 的 例子 ， 
下 面 是 其 他 两 个 线性 规划 的 例子 : 
。 一 家 航空 公司 希望 调度 它 的 飞行 机 组 人 员 。 美 国联 邦 航空 委员 会 提出 了 许多 限制 ， 例 如 
每 个 机 组 成 员 可 以 连续 工作 的 小 时 数 ， 以 及 要 求 一 个 特定 机 组 在 每 个 月 内 只 能 在 一 种 机 
型 上 工作 。 这 家 航空 公司 想 要 在 其 所 有 航班 上 安排 机 组 人 员 ， 并 尽 可 能 少 地 使 用 机 组 
KR 
。 一 家 石油 公司 想 要 确定 在 何 处 销 井 采油 。 在 一 个 特定 位 置 销 井 有 相应 的 费用 ， 且 根据 地 
质 勘探 结果 还 可 以 知道 可 供 开 采 的 石油 的 桶 数 。 这 家 公司 用 来 布置 新 油井 的 预算 有 限 ， 
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并 且 和 希望 在 这 个 预算 下 ， 让 回报 的 石油 量 最 大 。 

我 们 也 使 用 线性 规划 来 建 模 与 求解 图 与 组 合 问题 ， 如 本 书 中 出 现 的 那些 问题 。 在 24.4 节 中 ， 
我 们 已 经 看 到 一 个 用 来 求解 差分 约束 系统 的 线性 规划 的 特殊 例子 。29. 2 节 将 研究 如 何 将 一 些 图 
和 网 络 流 问 题 形式 化 为 线性 规划 问题 。35. 4 节 将 利用 线性 规划 作为 一 种 工具 ， 来 找 出 另 一 个 图 
问题 的 一 个 近似 解 。 

线性 规划 算法 

本 章 研 究 单纯 形 算法 。 当 此 算法 被 精心 实现 时 ， 在 实际 中 通常 能 够 快速 地 解决 一 般 的 线性 
规划 问题 。 然 而 对 于 某 些 刻意 仔细 设计 的 输入 ， 单 纯 形 算法 会 需要 指数 时 间 。 线 性 规划 的 第 一 个 
多 项 式 时 间 算 法 是 椭 球 算法 ， 它 在 实际 中 运行 缓慢 。 第 二 类 多 项 式 时 间 的 算法 称 为 内 点 法 。 与 单 
纯 形 算 法 ( 即 沿 着 可 行 区域 的 外 部 移动 ， 并 在 每 次 迭代 中 维护 一 个 对 应 单纯 形 顶 点 的 可 行 解 ) 相 
比 ， 这 类 算法 在 可 行 区 域 的 内 部 移动 。 中 间 阶 段 的 解 尽管 是 可 行 的 ， 但 未 必 是 单纯 形 的 顶点 ， 但 
最 终 的 解 是 一 个 顶点 。 对 于 大 规模 的 输入 ， 内 扣 算 法 的 性 能 可 与 单纯 形 算法 相当 ， 有 时 其 至 会 更 
快 。 本 章 注 记 会 给 出 更 多 关于 这 些 算法 的 信息 。 

如 果 我 们 在 一 个 线性 规划 中 加 入 额外 的 要 求 ， 所 有 的 变量 都 取 整 数值 ， 那 么 就 得 到 了 一 个 
整数 线性 规划 。 练 习 34. 5-3 要 求证 明 ， 仅 找 出 此 问题 的 一 个 可 行 解 就 是 NP 难 的 ; 因为 还 没有 已 
知 的 多 项 式 时 间 算 法 能 解 任意 一 个 NP 难 的 问题 ， 于 是 还 没有 已 知 的 整数 线性 规划 的 多 项 式 时 间 
算法 。 相 比 而 言 ， 我 们 可 以 在 多 项 式 时 间 内 求解 一 般 的 线性 规划 问题 。 

在 本 章 中 9’ 如 果 有 一 个 线性 规划 ’ 其 变量 为 Z 一 (ZI Los ts Bs 而 且 和 希望 引用 这 些 变量 
的 一 个 特定 值 9 我 们 将 使 用 记号 B= 0) 


29.1 标准 型 和 松弛 型 

本 市 描 述 两 种 我 们 在 描述 和 使 用 线性 规划 时 有 用 的 形式 : 标准 型 和 松弛 型 。 在 标准 型 中 ， 所 
有 的 约束 都 是 不 等 式 ， 而 在 松弛 型 中 ， 约 束 都 是 等 式 (除非 要 求 变量 非 负 的 约束 ) 。 

标准 型 

在 标准 型 中 ， 我 们 已 知 2 个 实数 cl Coy ecas MAMBO, bzs Ons WR mn 个 实数 4a,， 
其 中 i=l, 2, vrs m, J=l, 2, =, n, 我 们 希望 找到 ”个 实数 zi， Ho °°*Xns 


最 大 化 ar, (29. 16) 
满足 约束 条 件 ; 
Yast) < 1=1,2,°°°,m (29.17) 
| >20, j=1,2,,n (29. 18) 


推广 我 们 为 两 个 变量 的 线性 规划 引入 的 术语 ， 我 们 称 表达 式 (29. 16) 为 目标 函数 ， 式 (29. 17) 
和 式 (29. 18) 中 的 ntm 个 不 等 式 为 约束 。 式 (29. 18) 中 的 2 个 约束 称 为 非 负 约束 。 一 个 任意 的 线 
性 规划 不 必 有 非 负 约束 ， 但 是 标准 型 需要 。 有 时 我 们 发 现 将 一 个 线性 规划 表示 为 一 个 更 紧凑 的 
形式 会 很 方便 。 如 果 构 造 一 个 mXn 和 矩阵 A==(a;)， 一 个 m 维 的 向 量 6= 二 (6;) ,一 个 nn 维 向 量 c= 
(c;)， 以 及 一 个 n 维 向 量 x= 二 (zx;)， 那 么 可 以 重 写 式 (29. 16)~(29. 18) 中 定义 的 线性 规划 为 


最 大 化 Cz (29. 19) 
HEAR 

| Ar<b (29. 20) 

x>0 (29. 21) 


在 式 (29. 19) 中 ，c'z 是 两 个 向 量 的 内 积 。 在 式 (29. 20) 中 ，Az 是 一 个 矩阵 向 量 乘积 ， 而 在 式 
(29. 21) 中 ，z 字 0 表示 向 量 r 的 每 个 条 目 必须 是 非 负 的 。 我 们 看 到 ， 可 以 用 一 个 元 组 (A，6，c) 
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来 表示 一 个 标准 型 的 线性 规划 ， 而 且 默 认 A、2 和 总 是 有 上 面 的 维 数 约定 。 

我 们 现在 介绍 描述 线性 规划 解 的 术语 。 其 中 有 些 名 词 在 先前 双 变 量 的 例子 中 已 经 使 用 过 。 
寿 变 量 的 一 个 设置 乏 满 足 所 有 约束 条 件 ， 则 称 之 为 一 个 可 行 解 ， 而 不 满足 至 少 一 个 约束 条 件 的 
变量 设置 过 称 为 一 个 不 可 行 解 。 我 们 称 一 个 解 乏 拥有 目标 值 元。 在 所 有 可 行 解 中 ， 目 标 值 最 大 
的 一 个 可 行 解 是 一 个 最 优 解 ， 且 我 们 称 其 目标 值 c'z 为 最 优 目 标 值 。 如 果 一 个 线性 规划 没有 可 行 
解 ， 则 称 此 线性 规划 为 不 可 行 的 ;否则 称 它 是 可 行 的 。 如 果 一 个 线性 规划 有 一 些 可 行 解 但 没有 有 
限 的 最 优 目标 值 ， 则 称 此 线性 规划 是 无 界 的 。 练 习 29. 1-9 要 求 说 明 即 使 可 行 区 域 无 界 ， 线 性 规 
划 仍 可 以 存在 一 个 有 限 的 最 优 目标 值 。 

转换 线性 规划 为 标准 型 

已 知 一 个 线性 函数 满足 知 干线 性 约束 ， 要 求 最 小 化 或 最 大 化 它 ， 我 们 总 可 以 将 这 个 线性 规 
划 转 换 成 标准 型 。 一 个 线性 规划 可 能 由 于 如 下 4 个 原因 之 一 而 不 是 标准 型 : 

1. 目标 函数 可 能 是 最 小 化 ， 而 不 是 最 大 化 。 

2. 可 能 有 变量 不 具有 非 负 约 束 。 

3. 可 能 有 等 式 约束 ， 即 有 一 个 等 号 而 不 是 一 个 小 于 等 于 号 。 

4. 可 能 有 不 等 式 约 束 ， 但 不 是 小 于 等 于 号 ， 而 是 一 个 大 于 等 于 号 。 

当 把 一 个 线性 规划 工 转换 为 另 一 个 线性 规划 工时， 我 们 希望 从 工 的 一 个 最 优 解 能 推出 工 的 
一 个 最 优 解 。 为 了 准确 表达 这 个 想法 ， 我 们 定义 线性 规划 等 价 的 概念 : 对 两 个 最 大 化 线性 规划 工 
和 L ， 如 果 对 工 每 个 目标 值 为 z 的 可 行 解 乏 ， 都 存在 一 个 对 应 的 工 的 目标 值 为 z 的 可 行 解 未 '， 
且 对 工 每 个 目标 值 为 = 的 可 行 解 未 ， 都 存在 一 个 对 应 的 工 的 目标 值 为 x 的 可 行 解 z ， 则 称 工 和 
L 是 等 价 的 。( 这 个 定义 并 不 意味 着 可 行 解 之 间 的 一 一 对 应 关系 。) 此 外 ， 对 一 个 最 小 化 线性 规划 
L 和 一 个 最 大 化 线性 规划 L ， 如 果 对 于 工 的 每 个 目标 值 为 z 的 可 行 解 忒 ， 存 在 一 个 相应 的 工 的 目 
标 值 为 一 z 的 可 行 解 坏 ， 而 且 对 于 工 的 每 个 目标 值 为 z 的 可 行 解 z'， 存 在 一 个 相应 的 工 的 目标 
值 为 一 z 的 可 行 解 二 ， 则 称 工 和 工 是 等 价 的 。 

现在 我 们 来 说 明 如 何 逐 一 消除 上 面 列 出 的 每 个 可 能 问题 。 在 消除 每 个 问题 之 后 ， 我 们 将 表 
明 新 的 线性 规划 和 原来 是 等 价 的 。 

为 将 一 个 最 小 化 线性 规划 工 转换 成 一 个 等 价 的 最 大 化 线性 规划 工 ， 只 需 对 目标 函数 中 的 系 
数 取 负 即 可 。 因 为 工 和 工 有 相同 的 可 行 解 集合 ， 且 对 任意 的 可 行 解 , 工 的 目标 值 是 工 ' 的 目标 值 
的 负数 ， 于 是 这 两 个 线性 规划 是 等 价 的。 例如 ， 如 果 我 们 有 线性 规划 


最 小 化 = 0 FR 
满足 约束 
a + xm = 7 
t= Yao = oA 
Tı 之 0 
我 们 将 目标 函数 的 系数 取 负 ， 得 到 
最 大 化 A eas Ye 
满足 约束 XI 十 a = 7 
Ly = Ca; = 4 
Ly = 0 


接 下 来 ， 我 们 说 明 如 何 将 某 些 变量 不 具有 非 负 约束 的 线性 规划 转换 成 每 个 变量 都 有 非 负 约 
束 的 线性 规划 。 假 设 某 个 变量 o 不 具有 非 负 约束 。 那 么 把 zx; 每 次 出 现 的 地 方 都 以 z ;一 zx) KE 
换 ， 并 增加 非 负 约束 zx; 宇 0 和 zx; 宇 9。 因 此， 如 果 目 标 函 数 有 一 个 项 为 czj ， 将 其 替换 为 ciz ;一 
cz ;， 而 且 如 果 约 束 i 有 一 个 项 为 a;zx;， 则 将 其 替代 为 a;z ;一 a;;z;。 新 的 线性 规划 的 任意 可 行 
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解 2 对 应 于 原来 线性 规划 的 一 个 可 行 解 二 ， 其 中 去; 二 ;一 2 ， 而 且 具 有 相同 的 目标 值 。 同 样 ， 原 
来 线性 规划 的 一 个 可 行 解 对 应 于 新 的 线性 规划 的 可 行 解 2， 其 中 ,车 去; 宇 0， 则 ;= 且 
和 一 0; 或 者 若 元 <0， 则 人 一 一 元 且 人 2 一 0。 不 管 元 的 符号 如 何 ， 这 两 个 线性 规划 具有 相同 的 
目标 值 。 因 此 ， 这 两 个 线性 规划 是 等 价 的 。 我 们 把 这 个 转换 方案 应 用 到 每 一 个 不 具有 非 负 约束 的 
变量 上 ， 得 出 一 个 等 价 的 线性 规划 ， 其 中 所 有 的 变量 都 具有 非 负 约束 。 

继续 这 个 例子 ， 我 们 想 确认 每 个 变量 都 有 一 个 对 应 的 非 负 约束 。 变 量 zi 具有 这 样 的 非 负 约 
束 ， 但 变量 X2 没有 。 因此 ， 我 们 用 两 个 变量 x, 和 x: 来 代替 X29 并 且 修 改线 性 规划 为 


最 大 化 2z — 3x, +322 
满足 约束 
a +r — r = 7 
a 一 2z, + 2r, < 4 (29. 22) 
Zis L29 T3 > 0 


接 下 来 ,我 们 将 等 式 约束 转换 为 不 等 式 约束 。 假 设 一 个 线性 规划 有 一 个 等 式 约束 f(zi， 
Las s L) =b, KABAK rc>y 和 xz 志 y 时 x 二 y， 所 以 可 以 用 一 对 不 等 式 约 束 f(x, 
To， TI<O 和 J 太 CD，…， x,) 之 5 来 替换 这 个 等 式 约束 。 对 每 个 等 式 约束 重复 这 个 替换 ， 
于 是 推出 全 是 不 等 式 约束 的 一 个 线性 规划 。 

最 后 ， 我 们 可 以 通过 将 大 于 等 于 的 约束 乘 以 一 1， 把 大 于 等 于 约束 转换 成 小 于 等 于 约束 。 也 
就 是 说 ,任何 形 如 


| 5 Ayx; = bi 
的 不 等 式 等 价 于 
> — yx; b: 


因此 ， 通 过 一 ay 替换 每 个 系数 ai b 替换 5;， 我 们 得 到 一 个 等 价 的 小 于 等 于 的 约束 。 
结束 我 们 的 例子 ， 通 过 用 两 个 不 等 式 将 换 约束 式 (29. 22) 中 的 等 式 ， 得 到 


最 大 化 ” 2x, — 3z; +31, 
WEAR w oe By Sara 
a Poa: = ae ee 7 (29. 23) 
zi 一 24, + 2r, <S 4 
Lis Lo T, => 0 


最 后 ， 我 们 对 约束 式 (29. 23) 取 负 。 为 了 保持 变量 名 的 一 致 性 ， 我 们 将 z* 更 名 为 r, r, 更 名 为 


最 大 化 | 2X, — 3x, + 32; (29. 24) 
满足 约束 
Ge ae By ae 2 S 7 (29. 25) 
Pay = Wen T ae OST (29. 26) 
ar — + 223, = 4 (29. 27) 
| X19 Tzs T3 > 0 (29. 28) 
转换 线性 规划 为 松弛 型 


为 了 利用 单纯 形 算法 高 效 地 求解 线性 规划 ， 我 们 更 喜欢 将 其 表示 成 某 些 约束 是 等 式 约束 的 
形式 。 更 准确 地 说 ， 我 们 将 把 它 转 换 成 只 有 非 负 约 束 是 不 等 式 约束 ， 而 其 他 约束 都 是 等 式 约束 的 
形式 。 设 
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是 一 个 不 等 式 约束 。 我 们 引入 一 个 新 的 变量 s， 并 重 写 不 等 式 (29. 29) 为 两 个 约束 


Dayz < b; 
s= b; > ajz: 
j=l 
sœ 0 


(29. 29) 


(29. 30) 


(29. 31) 


我 们 称 s 是 一 个 松弛 变量 ， 因 为 它 度 量 了 等 式 (29. 29) 左 右 之 间 的 松弛 或 差别 。 

(我 们 将 马上 看 到 为 什么 将 此 松弛 变量 写 在 约束 等 式 的 左边 很 方便 。) 因 为 不 等 式 (29. 29) 为 真 

当 且 仅 当 等 式 (29. 30) 为 真 和 不 等 式 (29. 31) 缘 为 真 ， 我 们 可 以 对 线性 规划 的 每 个 不 等 式 约 束 进 行 

这 样 的 转换 ， 得 到 一 个 等 价 的 线性 规划 ， 其 中 只 有 非 负 约束 是 不 等 式 。 当 从 标准 型 转换 到 松弛 型 
时 ， 我 们 将 使 用 xz,+;( 而 不 是 s) 表 示 与 第 i 个 不 等 式 相关 的 松弛 变量 。 因 此 ， 第 i 个 约束 是 

Lei be Xajax; 


j=l 


(29. 32) 
以 及 非 负 约束 24:20. 

通过 转换 一 个 标准 型 线性 规划 的 每 个 约束 ， 我 们 得 到 一 个 不 同形 式 的 线性 规划 。 例 如 ， 对 式 
(29. 24) 一 (29. 28) 中 描述 的 线性 规划 ， 我 们 引入 松弛 变量 zx, 、z 和 zx TES 


最 大 化 20; ee (29. 33) 
满足 约束 

yn = F- B&B = 2a +t g (29. 34) 

ee = =] SS a a ae SS Se (29, 35) 

a = A — a oe 2a = 2a (29. 36) 

Dies Da awe Ss es A 2. 10 (29. 37) 


在 这 个 线性 规划 中 ， 除 了 非 负 约 束 外 ， 所 有 约束 都 是 等 式 ， 而 且 每 个 变量 都 满足 非 负 约束 。 
我 们 把 每 个 等 式 约束 写成 一 个 变量 在 等 式 左 边 ， 其 余 所 有 变量 在 等 式 右边 。 而 且 每 个 等 式 右边 
都 有 相同 的 变量 集合 ， 且 这 些 变 量 也 是 出 现在 目标 函数 中 仅 有 的 变量 。 我 们 称 等 式 左 边 的 变量 
为 基本 变量 ， 而 等 式 右 边 的 变量 为 非 基 本 变量 。 

对 于 满足 这 些 条 件 的 线性 规划 ， 我 们 有 时 会 省 略 词语 “最 大 化 ”和 “满足 约束 ”， 以 及 明显 的 非 
负 约束 要 求 。 我 们 也 会 使 用 变量 z 来 表示 目标 函数 值 。 我 们 称 这 样 的 导出 形式 为 松弛 型 。 如 采 把 
式 (29. 33) 一 (29. 37) 中 的 线性 规划 表示 成 松弛 型 ， 将 得 到 


z = 27, = 82, + 32, (29. 38) 
Xi = 7 = woe a a Ow (29. 39) 
ge = r se go 4 — a (29. 40) 
tw = A Å= gw + 2x, — 2x (29. 41) 


如 标准 型 一 样 ， 我 们 发 现 使 用 更 简洁 的 记号 来 描述 一 个 松弛 型 会 很 方便 。 如 我 们 将 在 29. 3 
节 看 到 的 那样 ， 当 单纯 形 算法 运行 时 ， 基 本 变量 和 非 基本 变量 集合 将 发 生 改 变 。 我 们 用 NN 来 表 
示 非 基本 变量 下 标的 集合 ， 用 B 来 表示 基本 变量 下 标的 集合 。 我 们 总 有 | N| =n, |Bl=m, W 
及 NUB=={1，2,，…，n 十 m)。 等 式 将 被 B 的 元 素 索 引 ， 等 式 右 边 的 变量 将 被 N 的 元 素 索 引 。 
和 标准 型 一 样 ， 我 们 用 bi c 和 a; 表示 常数 项 和 系数 。 我 们 还 使 用 v 来 表示 目标 函数 的 一 个 可 
选 常数 项 。( 稍 后 我 们 可 以 看 到 ， 包 含 此 常数 项 的 目标 函数 将 会 更 容易 确定 其 值 .) 因 此 ， 我 们 可 
以 简洁 地 定义 一 个 松弛 型 ， 用 一 个 元 组 LN，B，A，65，c， 来 表示 松弛 型 


z= v+ Sicz; 
jEN 


xi= b; — >)ayx; ;1 B 
JE 


(29. 42) 


(29. 43) 
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其 中 所 有 的 变量 x 都 是 非 负 的 。 因 为 在 式 (29. 43) 中 减 去 和 式 2 ajz ， 实 际 上 这 里 的 a; 是 “出 


现 ” 在 松弛 型 中 系数 的 负 值 。 
例如 ， 在 松弛 型 


— 99 Z _ ts _ 206 
z= 28 6 6 5 
= 3 e 
Ea — 823 = Zs Le 
et a 3 1 3 
一 ee ES he A 
H, RITE B={1, 2, 4}, N=({3, 5, 6}, 856 
A3 Qis Aig —1/6 —1/6 1/3 b; 8 
A= Q23 Qo5 Q2% | 一 8/3 2/3 — 1/3 b= b, — 4 
| Q43 đ4s5 Q46 1/2 ==) 1/2 0 bs 18 

















C= (cs cs Ce T=(—1/6—1/6—2/3)', 以 及 v 王 28。 注意 ， A, b F c 的 下 标 值 不 必 是 连续 整数 的 
Bs 它们 依赖 于 索引 集合 B 和 NN。 作 为 一 个 例子 ，A 中 的 元 素 是 出 现在 松弛 型 中 系数 的 负 值 ， 
观察 到 zi 的 等 式 中 包含 项 2/6, MAM as 实际 上 是 一 1/6， 而 不 是 十 1/6。 


练习 


29.1-1 如 果 将 式 (29. 24) ~ (29. 28) 中 的 线性 规划 表示 成 式 (29. 19) 一 (29. 21) 中 的 紧凑 记号 形 
式 ， 则 ” m, A, b 和 c 分 别 是 什么 ? 

29.1-2 请 给 出 式 (29. 24) 一 (29. 28) 中 线性 规划 的 三 个 可 行 解 。 每 个 解 的 目标 值 是 什么 ? 

29.1-3 在 式 (29. 38) 一 (29. 41) 的 松弛 型 中 ，N、B、4A、25、c 和 w 是 什么 ? 

29.1-4 将 下 面 线性 规划 转换 成 标准 型 


最 小 化 2 
满足 约束 
Ly = ag = 7 857 
3z, + x = 24 
Ly = 0 
XxX 三 
29.1-5 将 下 面 线性 规划 转换 成 松弛 型 
最 大 化 2x, — 62x; 
满足 约束 
£ ae Xo — 23 
Say Sea 


=)... “Se a =e 38a: 
其 中 基本 变量 和 非 基本 变量 是 什么 ? 
29.1-6 ”说 明 下 面 线性 规划 是 不 可 解 的 ; 
最 大 化 32x, — 222 
满足 约束 


VVVA 
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ames A ga 2X2 < —10 


Tis T2 之 0 
29.1-7 说 明 下 面 线 性 规划 是 无 界 的 : 
最 大 化 ai 
满足 约束 : 
2 T a a =] 
Sgr =. 2a ee SZ 
Diy es = 0 


29.1-8 假设 有 一 个 个 变量 和 nm 个 约束 的 一 般 线 性 规划 ， 并 且 假 设 将 其 转换 成 标准 型 。 请 给 
出 所 得 线性 规划 中 变量 和 约束 数目 的 一 个 上 界 。 


29.1-9 请 给 出 一 个 线性 规划 的 例子 ， 其 中 可 行 区 域 是 无 界 的 ， 但 最 优 目标 值 是 有 界 的 。 


29.2 将 问题 表达 为 线性 规划 

尽管 本 章 中 我 们 将 把 重点 放 在 单纯 形 算法 上 ,但 是 识别 出 一 个 问题 是 否 可 以 形式 化 为 一 个 
线性 规划 也 很 重要 。 一 旦 把 一 个 问题 形式 化 成 一 个 多 项 式 规模 的 线性 规划 ， 就 可 以 用 椭 球 算法 
或 内 点 法 在 多 项 式 时 间 内 解决 之 。 很 多 线性 规划 的 软件 包 可 以 高 效 地 解决 问题 ， 于 是 一 旦 问题 
被 表示 成 一 个 线性 规划 后 ， 这 样 的 一 种 软件 包 就 可 以 求解 之 。 

我 们 将 会 看 到 一 些 具 体 的 线性 规划 问题 的 实例 。 首 先 从 前 面 已 经 研究 过 的 两 个 问题 开始 : 
单 源 最 短路 径 问题 (参见 第 24 章 ) 和 最 大 流 问题 (参见 第 26 章 ) 。 然 后 ， 我 们 再 描述 最 小 费用 流 问 
题 。 尽 管 最 小 费用 流 问 题 存 在 一 个 不 基于 线性 规划 的 多 项 式 时 间 算 法 ， 但 我 们 将 不 讨论 此 算法 。 
最 后 ， 我 们 要 介绍 多 商品 流 问题 ， 目 前 唯一 已 知 的 多 项 式 时 间 算 法 是 基于 线性 规划 的 。 

在 第 6 部 分 解决 图 问题 时 ， 我 们 使 用 了 属性 记号 ， 比 如 立 & 和 (x， 切 . f。 然 而 线性 规划 通常 
使 用 下 标 变 量 ， 而 不 是 具有 附加 属性 的 对 象 。 因 此 ， 当 需要 表示 线性 规划 中 的 变量 时 ， 我 们 将 通 
过 下 标 来 表示 顶点 和 边 。 例 如 ， 我 们 表示 顶点 v 的 最 短路 径 的 权重 不 是 用 v. 4， 而 是 用 4,。 类 似 
地 ， 我 们 表示 顶点 uA RUDRA. v). f， 而 是 用 f,。 对 于 问题 的 给 定 输入 数量 ， 比 
如 边 的 权重 或 者 容量 ， 我 们 将 继续 用 wu, OM clu, vIXHHICS. 

最 短路 径 

我 们 可 以 把 单 源 最 短路 径 问 题 形式 化 为 一 个 线性 规划 。 在 这 一 节 中 ， 我们 将 重点 关注 如 何 
对 单 对 最 短路 径 问 题 形式 化 ， 把 推广 到 更 一 般 的 单 源 最 短路 径 问题 留 作 练习 29. 2-3。 

在 单 对 最 短路 径 问 题 中 ， 已 知 一 个 带 权 有 向 图 G 二 (VV，E)， 加 权 函 数 w: E>R 把 边 映射 到 
实数 权 值 、 一 个 源 顶 点 s， 以 及 一 个 目的 顶点 t 我 们 希望 计算 从 到 上 的 一 条 最 短路 径 的 权 值 
d,。 为 了 把 此 问题 表示 成 一 个 线性 规划 ， 需 要 确定 变量 和 约束 的 一 个 集合 来 定义 何 时 有 从 s 到 z 
的 一 条 最 短路 径 。 幸 运 的 是 ，Bellman-Ford 算法 正好 完成 此 事 。 当 Bellman-Ford 算法 终止 时 ， 对 
每 个 顶点 v， 它 已 计算 了 一 个 值 4,( 这 里 使 用 的 是 下 标记 号 ,而 不 是 属性 记号 )， 使 得 对 每 条 边 
(wu，v)EEk， 有 d, 二 ds 十 wlu，v)。 源 顶点 初始 得 到 一 个 值 4, 二 0， 之 后 不 会 改变 。 因 此 ， 我 们 
得 到 如 下 的 线性 规划 ， 来 计算 从 s Ble 的 最 短路 径 权 值 ; 


最 大 化 d, (29. 44) 
满足 约束 
dxd,twu,vy (u,v EE | (29. 45) 
d,=0 (29. 46) 


你 可 能 会 觉得 奇怪 ， 这 个 线性 规划 最 大 化 目标 函数 ， 而 关注 的 是 计算 最 短路 径 。 我 们 并 不 想 最 小 
化 目标 函数 ， 因 为 这 样 的 话 对 所 有 的 vEV， 设 置 d,=0 生成 的 此 线性 规划 的 一 个 最 优 解 并 不 是 
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最 短路 径 问 题 的 解 。 我 们 之 所 以 最 大 化 ， 是 因为 最 短路 径 问 题 的 一 个 最 优 解 把 每 一 个 d, 设置 成 
min dd, +wlu, v)}, E4 d, 是 小 于 等 于 集合 {&. 十 zw(x，z } 中 所 有 值 的 最 大 值 。 对 从 到 : 的 


U: U, U, 


一 条 最 短路 径 上 的 所 有 项 点 v， 我 们 希望 最 大 化 do ERAMA v 上 都 满足 上 述 约 束 条 件 ， 并 且 
最 大 化 d, 以 实现 此 目的 。 

这 个 线性 规划 中 有 |V| 个 变量 d,， 对 于 每 个 顶点 vEY 有 一 个 相应 变量 。 另 外 ,还 有 |E| 十 1 
VAR: 每 条 边 上 有 一 个 ， 外 加 源 顶 点 总 有 值 为 0 的 最 短路 径 权 值 为 额外 约束 。 

最 大 流 

接 下 来 ， 我 们 可 以 把 最 大 流 问 题 表示 成 线性 规划 。 回 顾 最 大 流 问 题 ， 已 知 一 个 有 回 图 G= 
(V，E)， 其 中 每 条 边 (u，v) EE 有 一 个 非 负 的 容量 c(u，) 宇 9， 以 及 两 个 特别 的 顶点 : UA s 和 
汇 点 tz。 如 26. 1 节 中 所 定义 的 ， 一 个 流 是 一 个 非 负 的 实数 值 晴 数 S: VXV->R， 它 满足 容量 限制 和 
流量 守恒 性 。 最 大 流 是 满足 这 些 约束 且 最 大 化 流量 值 的 流 ， 其 中 流量 值 是 从 源 点 流出 的 总 流量 值 
减 去 进入 源 点 的 总 流量 。 因 此 ， 流 满足 线性 约束 并 且 一 个 流 的 值 是 一 个 线性 函数 。 我 们 还 假设 大 
(u, VEE, Mj clu， 马 二 0， 且 没有 有 反 平 行 的 边 ， 因 此 可 以 将 这 个 最 大 流 问 题 表示 为 一 个 线性 规划 : 


最 大 化 Dafa of (29. 47) 
满足 约束 
fi X cluso) MHL uve V (29. 48) 
du fu = Dif 对 每 个 zx € V— ist) (29. 49) 
a 之 0 i 对 每 个 u,vE€EV (29. 50) 


这 个 线性 规划 有 |V|? 个 变量 ， 对 应 于 每 一 对 顶点 之 间 的 流 ， 另 外 还 有 2|1V|? 十 |V| 一 2 个 约束 。 

通常 求解 一 个 较 小 规模 的 线性 规划 会 更 加 有 效 。 为 了 方便 记号 表示 ， 式 (29. 47) 一 (29. 50) 中 
的 线性 规划 隐 含 了 每 对 满足 (xz，mZ) 人 的 顶点 对 uw、wv 的 容量 0 及 值 为 0 的 流 。 把 这 个 线性 规划 
重 写 为 有 O(CV 十 已) 个 约束 的 表示 会 更 高 效 。 练 习 29. 2-5 要 求 你 做 到 这 一 点 。 

最 小 费用 流 

在 这 一 节 中 ， 我 们 使 用 了 线性 规划 来 解决 已 知 存在 高 效 算法 的 问题 。 事 实 上 ， 为 一 个 问题 设 
计 一 个 高 效 的 专用 算法 ， 比 如 用 于 单 源 最 短路 径 问 题 的 Dijkstra 算法 ， 或 者 用 于 最 大 流 问 题 的 推 
Iž- 重 贴标签 (push-relabel) 方 法 ， 在 理论 和 实践 中 通常 比 线性 规划 更 加 高 效 。 

线性 规划 的 真正 能 力 来 自 其 求解 新 问题 的 能 力 。 回 顾 在 本 章 开始 政治 家 面临 的 问题 一 一 获 
得 足够 数量 的 选票 ， 而 不 用 花费 太 多 金钱 ， 本 书 之 前 所 介绍 的 任何 算法 都 不 能 解决 此 问题 ， 然 而 
我 们 可 以 用 线性 规划 求解 它 。 很 多 书 中 都 有 大 量 真实 世界 中 可 被 线性 规划 解决 的 问题 的 例子 。 
对 各 种 我 们 可 能 还 不 知道 高 效 算法 的 问题 ， 线 性 规划 也 特别 有 用 。 

例如 ， 考 虑 最 大 流 问 题 的 如 下 推广 。 假 设 每 条 边 (u，v) 除 了 有 容量 clu, vhp, 还 有 一 个 实 
数值 的 费用 al(u，v)。 如 同 在 最 大 流 问 题 中 一 样 ， 我 们 假设 如 果 (wu，wv) EE, clu, =0, 并 且 
这 里 没有 反 平行 边 。 如 果 通 过 边 (u，vw) 传 送 f, 个 单位 的 流 ， 那 么 产生 了 一 个 费用 al(u, v) fuo 
同时 还 给 定 了 一 个 流 目 标 4。 我 们 希望 从 :到 z 发 送 4 个 单位 的 流 ， 同 时 使 得 流 上 发 生 的 总 费用 
>) alu, 台 fs 最小。 这 个 问题 被 称 为 最 小 费用 流 问题 。 


(wo EE 


图 29-3(a) 显 示 了 最 小 费用 流 的 一 个 例子 。 我 们 希望 从 s 到 :发送 4 个 单位 的 流 ， 同 时 产生 最 
小 的 总 费用 。 任 何 特定 的 合法 流 ， 即 一 个 满足 约束 (29. 48) ~ (29. 50) 的 函数 ， 产 生 一 个 总 费用 


Daud f.，。 我 们 希望 找到 一 个 特殊 的 4 个 单位 的 流 ， 能 够 最 小 化 这 个 费用 。 


(wn) EE 


图 29-3(b) 给 出 了 一 个 最 优 解 ， 总 费用 为 
[Dam 一 (2.2) 二 (5.2) 十 (3.1) 十 (7.1) 十 (1.3) 一 27 


EE 


| 
| 
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图 29-3 《〈a) 一 个 最 小 费用 流 问题 的 例子 。 我 们 用 c 表示 容量 ，a 表示 费用 。 顶 点 s EWM 
Mo ELR MERREN s 发 送 4 个 单位 的 流 到 t。(b) 此 最 小 费用 流 的 一 个 
解 ， 其 中 4 个 单位 的 流 从 被 发 送 到 +。 对 于 每 条 边 ， 流 和 容量 写成 流 / 容 量 的 形式 


目前 有 专门 为 最 小 费用 流 问题 设计 的 多 项 式 时 间 算 法 ， 但 是 它们 已 超出 了 本 书 的 范围 。 不 
过 ， 我 们 可 以 把 最 小 费用 流 问 题 表示 成 一 个 线性 规划 问题 。 此 线性 规划 问题 看 起 来 和 一 个 最 大 
流 问 题 很 类 似 ， 它 有 人 额外 的 约束 ( 即 流 值 正好 是 4 个 单位 )， 而 且 还 有 新 的 目标 函数 最 小 化 
HFH: 


最 小 化 > alu, o) fa (29. 51) 
(us EE 
满足 约束 
fu S cluso) 对 每 个 usvE V 
> MuE V- {st} 
vEV veEV 
D San D Sena 
vEV vEV 
Ju 对 每 个 xmE V (29. 52) 


多 商品 流 

作为 最 后 一 个 例子 ， 我 们 考虑 另外 一 个 流 问 题 。 假 设 26.1 节 中 的 Lucky Puck 公司 决定 多 样 
化 它 的 生产 线 ， 不 只 生产 冰球 ， 还 生产 球 杆 和 头盔 。 每 件 装备 都 是 在 它 自 己 的 工厂 内 制造 ， 有 自 
己 的 仓库 ， 而 且 每 天 必须 从 工厂 运送 到 仓库 。 球 杆 是 在 温哥华 制造 ， 必 须要 运送 到 萨 斯 卡通 ， 而 
头盔 是 在 埃 德 蒙 顿 制造 ， 必 须要 运送 到 里 贾 那 。 运 输 网 络 的 容量 并 没有 改变 ， 然 而 不 同 的 物品 或 
者 商品 必须 共用 同一 个 网 络 。 

这 个 例子 是 多 商品 流 问 题 的 一 个 实例 。 在 此 问题 中 ， 我 们 仍 给 定 一 个 有 辐 图 G=-(V, D, 其 
中 每 条 边 (u，v) EE 有 一 个 非 负 的 容量 c(u，v) 之 0。 与 最 大 流 问题 一 样 ， 我 们 默认 对 (u，wv) CER 
clu, v)=0, 另外 ， 此 图 没有 反 平 行 边 。 此 外 ， 我 们 还 知道 & 种 不 同 的 商品 Ky, Ko, «5 Kis 其 
中 用 三 元 组 K: = (so tis di) HMH m i。 这 里 ， 顶 点 s 是 商品 i 的 源 点 ， 顶 点 是 商品 1 
的 汇 点 ; di 是 商品 i 的 需求 ， 即 该 商品 从 s 到 i; 所 需 流 量 值 。 我 们 定义 商品 i 的 流 ， 用 f; 表示 
(于 是 ,是 商品 i 从 顶点 到 顶点 "的 流 ) 为 一 个 满足 流量 守恒 和 容量 约束 的 实数 值 函 数 。 现 在 


我 们 定义 汇聚 流 f., 为 各 种 商品 流 的 总 和 ， 于 是 fa = Di fu 。 边 (4， 力 上 的 汇聚 流 不 能 超过 边 


(x， 妇 的 容量 。 在 这 个 问题 中 ， 我 们 不 会 去 最 小 化 任何 目标 函数 ;只 需 确定 是 否 存 在 这 样 的 一 个 
流 。 因 此 ， 我 们 写 了 一 个 没有 目标 函数 的 线性 规划 : 

最 小 化 0 

满足 约束 


k 
S) fus S cCuyv) 对 每 个 ZE V 
i=] 


让 了 对 每 个 i 二 1,2,… ,上 以 及 wu © V—({5;5t;} 
v€EV veEV 
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ae area! 对 每 个 i 二 1,2,…,k 
veV veEV 


fiv = 0 对 每 个 u,v EV 以 及 对 每 个 i = 1,2,…,kk 
这 个 问题 唯一 已 知 的 多 项 式 时 间 算 法 是 将 它 表 示 成 一 个 线性 规划 ， 然 后 用 一 个 多 项 式 时 间 的 线 
性 规划 算法 解决 。 


练习 

29.2-1 请 将 单 对 最 短路 径 线性 规划 从 式 (29. 44) ~ (29. 46) 转 换 成 标准 型 。 

29.2-2 请 明确 写 出 求 图 24-2(a) 中 从 结 点 * 到 结 点 y 的 最 短路 径 的 线性 规划 。 

29. 2-3 ”在 单 源 最 短路 径 问 题 中 ， 我 们 希望 找 出 从 源 点 s 到 所 有 顶点 vEV 的 最 短路 径 权 值 。 给 
定 一 个 图 G， 请 写 出 一 个 线性 规划 ， 其 解 具 有 如 下 性 质 ， 对 每 个 顶点 v€EV，d, 是 从 s 到 
v 的 最 短路 径 权 值 。 

29.2-4 请 明确 写 出 求 图 26-1(a) 中 最 大 流 的 线性 规划 。 

29.2-5 ”请 重 写 最 大 流 式 (29. 47)~(29. 50) 的 线性 规划 ， 使 得 它 只 使 用 OCV 十 EE) 个 约束 。 

29. 2-6 ”请 写 出 一 个 线性 规划 ， 给 定 一 个 二 部 图 G=(V，E)， 求解 最 大 二 分 匹配 问题 。 

29.2-7 在 最 小 费用 多 商品 流 问 题 中 ， 给 定 有 疝 图 G 二 (V，E)， 其 中 每 条 边 (u，wv) EE 有 一 个 非 
负 的 容量 clu，) 宇 0 和 一 个 费用 alu，wv)。 与 多 商品 流 问 题 一 样 ， 我 们 已 知 种 不 同 的 
商品 K,, K,， vets K, » 其 中 用 三 元 组 K;= (sis Lis d;) 来 详细 说 明 商 品 lo 与 多 商品 流 
问题 一 样 ， 我 们 为 商品 i 定义 流 f;， 在 边 (4，v) 上 定义 汇聚 流 f,。 一 个 可 行 流 满足 在 
每 条 边 (u， 必 上 汇 雍 流 不 超过 边 (u，) 的 容量 。 一 个 流 的 费用 是 Daud fe» HE 


是 寻找 具有 最 小 费用 的 可 行 流 。 请 将 这 个 问题 表示 为 一 个 线性 规划 。 


29.3 单纯 形 算法 

单纯 形 算法 是 求解 线性 规划 的 经 典 方法 。 和 本 书 其 他 算法 相 比 较 而 言 ， 它 的 执行 时 间 在 最 
坏 的 情况 下 并 不 是 多 项 式 。 然 而 ， 它 确实 使 我 们 对 线性 规划 有 深刻 的 理解 ， 并 且 在 实际 中 此 算法 
通常 相当 快速 。 

除了 本 章 稍 早 描述 的 几何 解释 外 ， 单 纯 形 算法 与 28. 1 节 中 讨论 的 高 斯 消 元 法 有 些 类 似 。 高 
斯 消 元 法 从 一 个 解 未 知 的 线性 等 式 系 统 开始 。 在 每 次 迭代 中 ， 我 们 把 这 个 系统 重 写 为 具有 一 些 
额外 结构 的 等 价 形式 。 经 过 一 定 次 数 的 迭代 后 ， 我 们 已 重 写 这 个 系统 ， 使 得 它 的 解 很 容易 得 到 。 
单纯 形 算法 以 一 种 类 似 的 方式 进行 ， 而 且 可 以 将 其 看 成 不 等 式 上 的 高 斯 消 元 法 。 

现在 我 们 描述 隐藏 在 单纯 形 算法 每 轮 迭 代 背 后 的 主要 思想 。 每 轮 和 迭代 都 关联 一 个 “基本 解 ”， 
我 们 很 容易 从 线性 规划 的 松弛 型 中 得 到 此 “基本 解 >， 将 每 个 非 基 本 变量 设 为 0， 并 从 等 式 约束 中 
计算 基本 变量 的 值 。 每 轮 迭 代 把 一 个 松弛 型 转换 成 一 个 等 价 的 松弛 型 。 关 联 的 基本 可 行 解 的 目 
标 值 将 会 不 小 于 上 一 轮 的 迭代 ， 通 常会 更 大 一 些 。 为 了 增 大 目标 值 ， 我 们 选择 一 个 非 基本 变量 ， 
使 得 如 果 从 0 开始 增加 变量 值 ， 目 标 值 也 会 增加 。 变 量 值 能 够 增加 的 幅度 受 限 于 其 他 的 约束 条 
件 。 特 别 地 ,我 们 增加 它 ， 直 到 某 基本 变量 变 为 0。 然后 重 写 松弛 型 ， 交 换 此 基本 变量 和 选 定 的 
非 基 本 变量 。 尽 管 我 们 已 经 使 用 了 一 个 特殊 的 变量 设置 来 引导 算法 ， 并 会 将 其 用 于 我 们 的 证 明 
中 ， 但 此 算法 并 不 显 式 地 保持 该 解 。 它 简单 地 重 写 此 线性 规划 ， 直 到 一 个 最 优 解 变 得 “明显 ”。 

单纯 形 算法 的 一 个 例子 

我 们 从 一 个 扩展 例子 开始 。 考 虑 下 面 标准 型 的 线性 规划 ， 

最 大 化 3x, ta, +22; (29. 53) 

满足 约束 
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而 Tt = 3a < 30 (29. 54) 
Pay, F- 2o TF 5u S&S -24 (29. 55) 
Ay F (a. F 2a SS 36 (29. 56) 

Diy Hex Xe > 0 (29.57) 


为 了 利用 单纯 形 算法 ， 必 须 将 此 线性 规划 转换 成 松弛 型 ， 我们 在 29. 1 节 看 到 了 如 何 做 到 这 
一 点 。 松 弛 除了 是 一 个 代数 操作 外 ， 也 是 一 个 有 用 的 算法 概念 。 回 顾 在 29. 1 节 中 ， 每 个 变量 有 
一 个 对 应 的 非 负 约束 ， 如 果 一 个 等 式 约 束 的 非 基 本 变量 的 一 个 特定 设置 导致 其 基本 变量 变 为 0， 
则 称 这 个 等 式 约束 对 这 个 特定 设置 是 紧 的 。 类 似 地 ， 非 基本 变量 的 一 个 设置 可 以 使 一 个 基本 变 
量变 为 负 性 的 ， 称 为 违反 这 个 约束 。 因 此 ， 松 弛 变量 显 式 地 维护 每 个 约束 与 紧 的 状态 有 多 远 ， 于 
是 这 些 松弛 变量 能 帮 我 们 确定 可 以 将 非 基 本 变量 增 大 多 少 而 不 违反 任何 约束 。 

将 松弛 变量 x zs 和 ze 分 别 关 联 于 不 等 式 (29. 54) 一 (29. 56)， 并 将 线性 规划 写成 松弛 型 ， 


我 们 得 到 


z = 3a FT w “Za (29. 58) 
ay = 30 = 2 = ap = Bz, (29. 59) 
go. == 2A SS 2. = Dae a (29. 60) 
ee = 336. =- Agee = ap Ze (29. 61) 


这 个 约束 系统 中 式 (29. 59) ~(29. 6D A 3 个 等 式 和 CPEB. BR. mn 和 zs 的 任意 设置 
定义 了 Myr Ts 和 zx 的 值 ; 因此 ， 这 个 等 式 系统 有 无 限 个 解 。 如 果 所 有 的 Lis Tzs *°°s Te 都 是 
非 负 的 ， 则 解 是 可 行 的 ， 可 行 解 的 数量 也 是 无 限 的 。 像 这 样 的 一 个 系统 的 无 限 个 可 行 解 在 稍 后 的 
证 明 中 会 有 用 处 。 我 们 将 集中 于 基本 解 : 把 等 式 右边 所 有 ( 非 基 本 ) 变 量 设 为 0， 然 后 计算 等 式 左 
边 ( 基 本 ) 变 量 的 值 。 在 这 个 例子 中 ， 基 本 解 为 (到 ， 五 ，…， 云 ) 王 (0，0，0，30，24，36)， 其 
目标 值 为 z= 二 (3，0) 十 (1，0) 十 (2，0)= 二 0。 注 意 到 ， 这 个 基本 解 对 每 个 EBRE T: =b. Mg 
形 算法 的 每 次 迭代 会 重 写 等 式 集合 和 目标 函数 ， 以 便 将 一 个 不 同 的 变量 集合 放 在 右边 。 因 此 ,会 
将 一 个 不 同 的 基本 解 与 重 写 过 的 问题 联系 起 来 。 我 们 强调 重 写 绝 不 会 以 任何 方式 改变 基本 的 线 
性 规划 ; 每 次 迭代 中 的 问题 都 与 前 一 次 迭代 中 的 问题 有 相同 的 可 行 解 集合 。 然 而 ， 问 题 确实 与 前 
一 次 迭代 问题 有 着 不 同 的 基本 解 。 

如 果 一 个 基本 解 也 是 可 行 的 ， 则 称 其 为 基本 可 行 解 。 在 单纯 形 算法 的 执行 中 ， 基 本 解 几 乎 总 
是 基本 可 行 解 。 然 而 ， 我 们 将 在 29. 5 节 中 看 到 ， 在 单纯 形 算法 的 前 面 几 次 迭代 中 ， 基 本 解 可 能 
不 是 可 行 的 。- 

在 每 次 迭代 中 ， 我 们 的 目标 是 重新 整理 线性 规划 ， 使 得 基本 解 有 一 个 更 大 的 目标 值 。 我 们 选 
择 一 个 在 目标 函数 中 系数 为 正 的 非 基本 变量 z.， 而 且 尽 可 能 增加 z 的 值 而 不 违反 任何 约束 。 变 
E zx. 成 为 基本 变量 ， 并 且 某 个 其 他 变量 xc, 变 成 非 基 本 变量 。 其 他 基本 变量 和 目标 函数 的 值 也 可 
能 改变 。 

继续 这 个 例子 ， 让 我 们 来 考虑 增加 zi 的 值 。 当 增加 zi 时 ，zs、zs 和 ze 的 值 都 减 小 。 因 为 
对 每 个 变量 有 一 个 非 负 约 束 ， 所 以 我 们 不 能 允许 它们 中 任何 一 个 变 成 负 值 。 如 果 zi 增加 到 30 以 
上 ， 那 么 x 变 成 负 值 ， 而 当 zi 分 别 增加 到 12 和 9 以 上 ，zs 和 zs 也 变 成 负 值 。 第 3 个 约束 ( 式 
(29. 61)) 是 最 紧 的 约束 ， 它 限制 了 我 们 可 以 将 zi 的 值 增加 多 少 。 因 此 ， 我 们 互 换 c Ma, I 
程式 (29. 61) ， 于 是 得 到 


Li m rT (29. 62) 


为 了 重 写 右边 包含 zs 的 其 他 等 式 ， 我 们 用 等 式 (29. 62) 来 取代 21. ÆFA. 59) 中 也 如 此 ， 我 
们 得 到 
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0 (0 — 2 — 28: ) — 2, — 3, 
o 3z ÖL Ls | 
= 21 A 7 十 A (29. 63) 








类 似 地 ， 我 们 可 以 把 等 式 (29. 62), ARE. 60) 以 及 目标 函数 (29. 58) 联 系 起 来 ， 重 写 我 们 的 
线性 规划 为 如 下 形式 : 


有 27 +e + As — Sie (29. 64) 
a ay aa a (29. 65) 
z= 21 i = o (29. 66) 
TE 6 一 -天 一 4 十 本 (29. 67) 


我 们 称 此 操作 为 一 个 转动 。 如 上 面 所 展示 的 ， 一 个 转动 选取 一 个 非 基 本 变量 z.( 称 为 替 入 变量 ) 
和 一 个 基本 变量 zx,( 称 为 蔡 出 变量 )， 然 后 替换 二 者 的 角色 。 

等 式 (29. 64) ~ (29. 67) 中 描述 的 线性 规划 等 价 于 等 式 (29. 58) ~ (29. 61) 中 描述 的 线性 规划 。 
我 们 在 单纯 形 算法 中 执行 了 两 个 操作 : 重 写 等 式 使 得 变量 在 等 式 的 左边 与 右边 之 间 移 动 ， 以 及 
百 换 一 个 等 式 为 男 一 个 等 式 。 第 一 个 操作 显然 建立 了 一 个 等 价 的 问题 ， 而 第 二 个 操作 通过 简单 
的 线性 代数 也 建立 了 一 个 等 价 问题 。( 参 见习 题 29. 3-3.) 

为 了 说 明 等 价 性 ， 观 察 到 初始 的 基本 解 (0，0，0，30，24，36) 满 足 新 的 等 式 (29. 65) ~ 
(29.67)， 且 目标 值 为 27 十 (1/4)。0 十 (1/2)。0 一 (3/4)。36 王 0。 新 的 线性 规划 关联 的 基本 解 将 
非 基 本 变量 的 值 设 为 0， 于 是 得 到 (9，0，0，21，6，0) ， 目 标 值 为 * 王 27。 人 简单 的 算术 证 明 这 个 
解 也 满足 等 式 (29. 59) 一 (29. 61)， 且 当 插 入 目标 函数 (29. 58) 时 ， 目标 值 为 (3。9) 十 (1。0) 十 
(2。0) 一 27。 

继续 该 例子 ， 我 们 希望 找到 一 个 可 增加 值 的 新 变量 。 我 们 不 想 增加 xs ， 因 为 当 它 的 值 增加 时 ， 
目标 值 减 小 。 我 们 可 以 尝试 增加 之 Ma; 设 选 择 xz;。 我 们 可 以 将 zx 的 值 增加 到 多 少 而 不 违反 任 
何 约束 ? 约束 式 (29. 65) 限 制 它 为 8， 约 束 式 (29. 66) 限 制 它 为 42/5， 而 约束 式 (29. 67) 限 制 它 为 
3/2。 第 三 个 约束 又 是 最 紧 的 ， 因 此 重 写 第 三 个 约束 ， 使 得 zs 在 等 式 左边 zs 在 右边 。 然 后 将 这 个 
新 等 式 T3 =3/2— 3x; /8— z; /4+2,/8 替换 进 等 式 (29. 64) 一 (29. 66) 中 9 得 到 新 的 但 等 价 的 系统 











z= -十 一 一 16 (29. 68) 
— 33 _ Tz 4 Ts _ 9% 

n= 3 ST Te (29. 70) 
ae 8 4 8 
— 69 | 3x 55 Xe 


这 个 系统 存在 关联 的 基本 解 (33/4，0，3/2，69/4，0，0)， 目 标 值 为 111/4。 现 在 增加 目标 值 的 
唯一 方法 是 增加 之 。 这 三 个 约束 分 别 给 出 了 上 界 132、4 和 co (我 们 从 约束 (29.71) 中 得 到 上 界 
oo。 因为 当 增加 zs 时 ， 基 本 变量 z 的 值 也 增加 。 因 此 ， 此 约束 对 zs 增加 多 少 没有 限制 )。 我 们 
将 z 增加 到 4， 它 变 成 非 基 本 的 。 然 后 ， 为 oy 解 等 式 (29. 70)， 并 代入 其 他 等 式 得 到 


| 


z= 28 一 如 一 各 一 (29. 72) 
= cs Nepean a 
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_ , 823;  2īs Xe 
n= ie ee (29. 75) 


此 时 ， 这 个 目标 函数 中 所 有 系数 都 是 负 的 。 正 如 我 们 将 在 本 章 后 面 看 到 的 ， 这 种 情况 只 在 已 重 写 
线性 规划 ， 使 得 基本 解 是 一 个 最 优 解 时 才 发 生 。 因 此 ， 对 于 这 个 问题 ， 解 (8，4，0，18，0，0) 的 
目标 值 28 是 最 优 的 。 现 在 回 到 式 (29. 53) 一 (29. 57) 中 给 出 的 原始 线性 规划 。 原 始 的 线性 规划 中 
仅 有 变量 zi 、 L 和 x35 于 是 解 是 ZI 一 8，Z 一 4，Z3s 一 0， 目标 值 为 (3 。8) 十 (1。4) 十 (2。0) 一 
28。 注 意 ， 在 最 终 解 中 松弛 变量 的 值 度 量 了 每 个 不 等 式 中 松弛 剩余 多 少 。 松 弛 变量 x, 等 于 18， 
且 在 不 等 式 (29. 54) 中 ， 左 边 值 为 8 十 4 十 0 二 12， 比 右边 的 值 30 小 了 18。 松 弛 变量 zs 和 zs WO, 
确实 在 不 等 式 (29. 55) 和 (29. 56) 中 左右 两 边 相 等 。 还 观察 到 即使 在 初始 松弛 型 中 系数 是 整数 ， 但 
其 他 线性 规划 的 系数 不 必 是 整数 ， 过 渡 解 也 不 一 定 是 整数 。 而 且 ， 线 性 规划 的 最 终 解 也 不 必 是 整 
数 ; 这 个 例 中 存在 一 个 整数 解 纯 属 巧合 。 

转动 

现在 形式 化 主 元 的 过 程 。 过 程 PIVOT 以 一 个 松弛 型 为 输入 ， 给 定 元 组 CN，B，A，p，c， 切 、 
蔡 出 变量 z 的 下 标 !， 以 及 替 人 和 变量 r, 的 下 标 e。 它 返回 描述 新 松弛 型 的 元 组 (N，B，A，6，56， 
V)。( 再 次 回顾 ，m Xn BEA 和 A 的 元 素 实际 上 都 是 松弛 型 中 系数 的 负 值 。) 


PIVOT(N,B,A,b,c,v,1,€) 
1 // Compute the coefficients of the equation for new basic variable z.. 
let A be a new mXn matrix 
b, =b,/ ale 
for each j © N—(e} 
a.j =ay /ae 
和. =a 1/ Qile 
// Compute the coefficients of the remaining constraints. 
for each ¿E€ B— {1} 
6, =bi— aiu ô, 
for each jE N— {e} 


入 — p A 
Qij Saij Bie Qe; 


o O N QO o A o N 


— 一 
= © 


jl 
DO 


Bat = — Ajeet 

13 // Compute the objective function. 

14 y=vtc, ĝ. 

15 for each j€ N—({e} 

16 人 一 ci 一 co ej 

17 ¢,=—c, Ga 

18 // Compute new sets of basic and nonbasic variables. 
19 N=N—{e}U{l} 

20 B=B—({1}U{e} 

21 return(N,B,A,6,¢,0) 


PIVOT 执行 如 下 。 第 3 一 6 行 通过 重 写 x, 在 左边 的 等 式 将 zx。 置 于 等 式 左 边 ， 来 计算 x 的 新 
等 式 中 的 系数 。 第 8 一 12 行 通过 将 每 个 r 替换 为 这 个 新 等 式 的 右边 来 更 新 剩 下 的 等 式 。 第 14 一 


869| 17 行 对 目标 函数 进行 同样 替换 ， 第 19 一 20 行 更 新 非 基 本 变量 和 基本 变量 集合 。 第 21 行 返回 新 


的 松弛 型 。 如 给 出 的 一 样 ， 如 a =0, PIVOT 将 产生 除 0 的 错误 ， 但 如 我 们 将 在 引 理 29. 2 和 引 
理 29. 12 的 证 明 中 看 到 的 那样 ， 仅 当 ar A0 时 调用 PIVOT. 
现在 我 们 总 结 PIVOT 对 基本 解 中 变量 值 的 影响 。 


第 29 章 线性 规划 。 511 


引 理 29. 1 考虑 当 a, 关 0 时 对 PIVOTCN，B，A，p，c，m，!，e) 的 调用 。 令 调用 返回 值 为 
(Ñ, B, À, 6, ¢, D, SZERTAAZEMHRAM, MBA 
1. 对 每 个 jEN, x, 二 0。 
2. T=b/a。 
3. 对 每 个 i€ B—{e} ’ T; =b; — lieb, o 
证 明 第 一 个 命题 成 立 ， 因 为 基本 解 总 是 将 所 有 的 非 基 本 变量 设 为 0。 当 我 们 将 约束 
x; =6,— > Aj x; 
JEA 
中 的 每 个 非 基 本 变量 都 设 为 0 时， 对 每 个 iE 户 ， 有 到; 二 bh.。 因 为 eE B， 由 PIVOT 的 第 3 行 推出 
Ly b, = 六 /av 
这 样 就 证 明了 第 二 个 命题 。 类 似 地 ， 对 每 个 iE 8 一 {e}， 利 用 第 9 行 得 出 
元 = b, = b,—a;, b, 
这 样 证 明了 第 三 个 命题 m 
正式 的 单纯 形 算法 
现在 我 们 可 以 对 单纯 形 算 法 进行 形式 化 了 ， 先 前 已 用 例子 说 明 。 这 个 例子 是 特别 好 的 一 个 ， 
我 们 还 有 其 他 几 个 问题 需要 考虑 : 
。 如 何 确定 一 个 线性 规划 是 不 是 可 行 的 ? 
。 如 果 此 线性 规划 是 可 行 的 ， 但 初始 基本 解 不 可 行 ， 那 么 怎么 办 ? 
。 如 何 确 定 一 个 线性 规划 是 否 无 界 ? 
。 如 何 选择 蔡 人 变量 和 蔡 出 变量 ? 
在 29.5 节 中 ， 我 们 将 说 明 如 何 确 定 一 个 问题 是 否 可 行 ， 如 果 可 行 ， 如 何 找 出 一 个 初始 基本 
解 是 可 行 的 松弛 型 。 因 此 ， 假 设 有 一 个 过 程 INITIALIZE-SIMPLEX(A，2，c)， 输 入 为 一 个 标准 
型 的 线性 规划 ， 即 一 个 mxXxn WEA =(a,;), 一 个 m 维 向 量 5 二 (6b;), 一 个 nn 维 向 量 c== Cc). 
如 果 这 个 问题 是 不 可 行 的 ， 此 过 程 返 回 一 个 消息 说 明 此 线性 规划 不 可 行 ， 然 后 终止 。 否 则 ， 此 过 
程 返回 一 个 初始 基本 解 可 行 的 松弛 型 。 
如 前 所 述 ， 子 过 程 SIMPLEX 以 一 个 标准 型 的 线性 规划 作为 输入 。 它 返 回 一 A n H 
元 一 (五 )， 为 式 (29. 19)~ (29. 21) 中 描述 的 线性 规划 的 一 个 最 优 解 。 
SIMPLEX(A ,b,c) 
1 (N,B,A,b,c)=INITIALIZE-SIMPLEX(A ,b,c) 
2 letA be a new vector of length m 
3 while some index j€ N has c;> 0 
4 choose an index e€ N for which c,> 0 
5 for each index i€ B 
6 if a, > 0 
7 Ai 一 六 /as 
8 elseA; 一 co 
9 choose an index ¿€ B that minimizesA, 
10 if^, 一 一 co 
11 return “unbounded” 
12 else(N,B,A,6,c,v) =PIVOT(N, B,Asbyc, 0515) 
13 for i=] to n 
14 if iC B 
15 z=; 
16 else =, =0 
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17 return(Z, 9%29°°° 元,，) 


子 过 程 SIMPLEX 执行 如 下 。 在 第 1 行 ， 它 调用 上 面 所 述 的 过 程 INITIALIZE-SIMPLEX(A， 
，c)， 要 么 确定 这 个 线性 规划 是 不 可 行 的 ， 要 么 返回 一 个 初始 基本 解 可 行 的 松弛 型 。 第 3 一 12 行 
中 的 while 循环 形成 了 算法 的 主体 部 分 。 如 果 目 标 函 数 中 所 有 系数 都 是 负 值 ， 那 么 while 循环 终 
止 。 否则 ， 第 4 行 选择 一 个 变量 zx.， 作 为 蔡 人 变量 ， 其 系数 在 目标 函数 中 为 正 值 。 尽 管 我 们 可 以 
选择 任意 系数 为 正 的 变量 作为 蔡 人 变量 ， 但 仍 假设 使 用 某 个 事先 制定 的 确定 性 规则 。 接 下 来 ， 第 
5 一 9 行 检 查 每 个 约束 ， 然 后 挑选 出 一 个 约束 ， 此 约束 能 够 最 严格 地 限制 zx, 值 增加 的 幅度 ， 而 又 
不 违反 任何 非 负 约束 ; 和 这 个 约束 相关 联 的 基本 变量 是 乙 。 再 一 次 ， 我 们 可 以 从 多 个 变量 中 自 
由 选择 一 个 作为 奉 出 变量 ， 但 假设 使 用 某 个 预先 制定 的 确定 性 规则 。 如 果 没 有 约束 能 够 限制 替 
和 人 变量 所 增加 的 幅度 ， 算 法 在 第 11 REU LR”. TU, $ 12 行 通 过 调用 上 面 所 述 的 PIVOT 
(N, B, A, bs cs v, L, e), 交换 荐 出 变量 与 蔡 人 变量 的 角色 。 第 13~16 行 通 过 把 所 有 的 非 基 
本 变量 设 为 0 及 把 每 个 基本 变量 元 设 为 6;， 来 计算 初始 线性 规划 变量 的 一 个 解 二 TM. ts Tro 
接着 第 17 行 返 回 这 些 值 。 

为 了 说 明 SIMPLEX 是 正确 的 ， 首 先 说 明 如 果 SIMPLEX 有 一 个 初始 可 行 解 并 且 最 终 会 停 
止 ， 则 它 要 么 返回 一 个 可 行 解 ， 要 么 确定 此 线性 规划 是 无 界 的 。 然 后 ， 我 们 说 明 SIMPLEX 会 停 
ik. BB. RIE 29.4 节 ( 定 理 29. 10) 中 说 明 返 回 解 是 最 优 的 。 

引 理 29.2 给 定 一 个 线性 规划 (A，b，c)。 假 设 在 SIMPLEX 第 工行 中 对 INITIALIZE- 
SIMPLEX 的 调用 返回 一 个 基本 解 可 行 的 松弛 型 。 如 果 SIMPLEX 在 第 17 行 返回 一 个 解 ， 则 这 个 
解 是 此 线性 规划 的 一 个 可 行 解 。 如 果 SIMPLEX 在 第 11 行 返 回 “ 无 界 ”， 则 此 线性 规划 是 无 界 的 。 

证 明 ”我 们 使 用 下 面 三 部 分 的 循环 不 变 式 : 

在 第 3 一 12 ÍF while 循环 部 分 的 每 次 迭代 开始 ， 

1. 此 松弛 型 等 价 于 调用 INITIALIZE-SIMPLEX 返回 的 松弛 型 。 

2. 对 每 个 i€E B， 我 们 有 b20. 

3. 此 松弛 型 相关 的 基本 解 是 可 行 的 。 

初始 化 : 对 第 一 次 迁 代 ， 此 松弛 型 的 等 价 性 是 平凡 的 。 在 引 理 的 表述 中 ， 假 设 在 SIMPLEX 
的 第 1 行 调用 INITIALIZE-SIMPLEX 时 返回 一 个 基本 解 可 行 的 松弛 型 。 因 此 ， 不 变 式 的 第 三 部 
分 为 真 。 因 为 这 个 基本 解 可 行 ， 每 一 个 基本 变量 xz; 是非 负 的 。 此 外 ， 因 为 这 个 基本 解 把 每 一 个 
基本 变量 x; 设 为 6;,， 对 所 有 的 iE B， 我们 有 6; 宇 0。 因此， 不 变 式 的 第 二 部 分 成 立 。 

RIF: 我 们 将 说 明 while 循环 的 每 一 次 迭代 维持 了 循环 不 变 式 ， 假设 第 11 行 的 return 语句 没 
有 执行 。 在 讨论 终止 时 ， 将 处 理 第 11 行 执 行 的 情形 。 通 过 调用 PIVOT 过 程 ， 此 while 循环 的 一 
次 迭代 把 基本 变量 与 非 基 本 变量 交换 。 根 据 练习 29. 3-3， 此 松弛 型 与 前 一 次 迭代 中 的 形式 等 价 ， 
根据 循环 不 变 式 ， 也 与 初始 松弛 型 等 价 。 

现在 来 论证 循环 不 变 式 的 第 二 个 部 分 。 假 设 在 while 循环 每 次 迭代 的 开始 ， 对 每 个 :2E B， 
b; 宇 0， 我 们 将 说 明 第 12 行 调用 PIVOT 之 后 ， 这 些 不 等 式 依然 成 立 。 因 为 变量 b 和 基本 变量 的 
集合 B 的 唯一 改变 发 生 在 此 赋值 中 ， 这 就 足以 说 明 第 12 行 维持 了 这 部 分 的 不 变 式 。 令 bi ay 和 
B 表示 PIVOT 调用 之 前 的 值 ，6; 表示 从 PIVOT 返回 的 值 。 

首先 ， 观 察 到 6b. 宇 9， 这 是 因为 根据 循环 不 变 式 有 5,50, Hi SIMPLEX 的 第 6 行 和 第 9 行 ， 
有 Aig 之 0， 根据 PIVOT 的 第 3 行 ， Hb, =b,/ are o 

FRAT AW Fis iE B—(1}, RITA 

6. 一 六 一 Ci (根据 PIVOT 的 第 9 47) 
=b;—aie(b;/ae) (ARG PIVOT 的 第 3 行 ) (29. 76) 
我 们 有 两 种 情况 要 考虑 ， Qie 之 0 或 Qie <0, 如 果 Qic 之 0， 则 因 选 择 l 使 得 对 所 有 的 1EB, 
b,/a, <b;/aie (29.77) 
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我 们 有 
b,= b; — aie (bi/an) (根据 式 (29. 76)) 
> bi —a;.(b;/a;.) GRIER (29. 77)) 
= 6, — b; = 0 
因而 久之 0。 如 果 aK WAW a. b: Alb, 都 是 非 负 的 ， 式 (29. 76) 意 味 着 2 也 必 为 非 负 的 。 
现在 我 们 表明 基本 解 是 可 行 的 ， 即 所 有 的 变量 具有 非 负 值 。 非 基本 变量 被 设 为 0， 从 而 是 非 
负 的 。 而 每 个 基本 变量 x; 由 如 下 等 式 定义 : 
x; = b; — D4 Lj 
HESAN T b. PARRER R, 我 们 得 到 每 个 基本 变量 工 也 都 是 非 负 的 。 873 
终止 此 while 循环 以 两 种 方式 之 一 结束 。 寿 它 因 为 第 3 行 中 的 条 件 而 终止 ， 则 当前 的 基本 解 是 
可 行 的 ， 且 在 第 17 行 中 返回 此 解 。 为 外 一 个 终止 方式 是 在 第 11 行 返回 无界 "。 在 这 种 情况 下 ， 对 于 
第 5~8 行 中 for TERUG, GN 6 行 执行 时 ， 我 们 发 现 w.<0。 考 虑 到 解 元 定义 为 
CO Hix=e 
sh NO # i € N—{e} 
b,—dJja;z; Bie B 
现在 我 们 说 明 这 个 解 是 可 行 的 ， 即 所 有 的 变量 非 负 。 除 了. 外 的 非 基 本 变量 都 为 0， 以 及 元 二 
co>0; 因此 ， 所 有 的 非 基本 变量 是 非 负 的 。 对 于 每 个 基本 变量 元 ， 我 们 有 
T= 6 — Dia Zi = bi — lie L. 


备 环 不 变 式 意味 着 60, 并 且 有 as 委 0,， Z=0>0. MU, z0. 
现在 来 证 明 解 的 目标 值 是 无 界 的 。 根据 等 式 (29. 42)， 目 标 值 为 
z= v+ D4 Z; = 


因为 >0( 根 据 第 4 行 的 SIMPLEX) 及 元 二 co， 目标 值 为 co， 所 以 这 个 线性 规划 是 无 界 的 。 cs 

下 面 需 要 说 明 SIMPLEX 会 终止 ， 以 及 什么 情况 下 会 终止 ， 它 返回 的 解 是 最 优 的 。29.4 节 中 
将 会 强调 最 优 性 。 现 在 我 们 来 讨论 终止。 

终止 性 

在 本 节 开 头 所 给 的 例子 中 ， 单 纯 形 算法 的 每 次 迭代 会 增加 和 基本 解 关 联 的 目标 值 。 如 练习 
29. 3-2 要 求证 明 的 那样 ，SIMPLEX 的 迭代 不 会 减 小 基本 解 关 联 的 目标 值 。 可 惜 的 是 ， 可 能 会 存 
在 迭代 保持 目标 值 不 变 。 这 个 现象 称 为 退化 ， 现 在 我 们 开始 仔细 地 研究 它 。 874 

PIVOT 第 14 行 中 的 赋值 语句 2 一 z 十 c. b 改变 了 目标 值 。 因 为 当 c.>0 时 ，SIMPLEX 才 会 调 
用 PITVOT， 让 目标 值 保持 不 变 ( 即 2==v) 的 唯一 方法 就 是 让 6b. 为 0。 此 值 在 PIVOT 的 第 3 行 被 赋 
值 为 8. 一 六 /ac 。 因 为 我 们 总 是 在 we 天 0 时 调用 PIVOT， 因 此 可 以 看 到 b. 等 于 0， 于 是 要 让 目标 值 
保持 不 变 ， 就 必须 有 b,=0 

的 确 ， 这 种 情况 可 能 发 生 。 考 虑 线性 规划 


S| 


z = ae Aa T 
y= 6. = a = wB 
4 = ay t= 
假设 选择 x, 作为 车 人 变量 ， x 作为 蔡 出 变量 。 在 转动 后 ， 我 们 得 到 
z = 8 ee ey 
Xr = 8 = x cae: | 


Ts TR X2 Xs 
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此 时 ， 我 们 唯一 的 选择 是 以 r 作为 替 人 变量 、zs 作为 着 出 变量 来 进行 转动 。 因 为 六 二 0， 所 以 
在 转动 后 目标 值 8 保持 不 变 : 


z= 8 t = mum — 4; 
X\ = §. = Ho 一 T4 
3 = X2 aT ee 


虽然 目标 值 没有 变化 ， 但 是 我 们 的 松弛 型 变 了 。 幸 运 的 是 ， 如 果 再 次 旋转 ， 以 zi 为 蔡 人 变量 ， 
x, 为 奉 出 变量 ， 目 标 值 会 增加 (到 16) ， 单 纯 形 算法 可 以 继续 运行 。 

退化 会 阻止 单纯 形 算法 终止 ， 因 为 它 可 以 引起 一 种 称 为 循环 (cycling) 的 现象 SIMPLEX 的 
两 次 不 同 迭 代 中 的 松弛 型 完全 一 样 。 因 为 退化 ，SIMPLEX 会 选择 一 个 转动 操作 序列 ， 让 目标 值 
不 变 但 是 会 在 此 序列 中 重复 一 个 松弛 型 。 因 为 SIMPLEX 是 一 个 确定 性 算法 ， 如 果 它 循环 ， 那 么 
它 会 在 同一 系列 的 松弛 型 中 永远 循环 下 去 ， 不 会 终止。 

循环 是 SIMPLEX 唯一 可 能 不 会 终止 的 原因 。 为 了 说 明 这 个 事实 ， 我 们 首先 必须 设计 一 些 额 
外 的 工具 。 

在 每 一 次 循环 中 ， 除 了 集合 N、B 以 外 ，SIMPLEX 还 维护 A、b、c 和 vw。 尽管 需要 显 式 维 
护 A、b、c 和 w 以 高 效 实现 单纯 形 算法 ， 但 我 们 不 维护 它们 也 能 得 到 结果 。 换 名 话说， 基本 变量 
和 非 基 本 变量 的 集合 足 可 以 唯一 确定 松弛 型 。 在 证 明 这 个 事实 以 前 ， 需 要 证 明 一 个 有 用 的 代数 
引 理 。 

引 理 29.3 设 了 是 一 个 下 标 集合 。 对 于 每 一 个 JET， 设 w 和 p; 是 实数 ， 并 令 了 i 是 一 个 实数 
变量 。 设 yy 是 任意 的 实数 。 假 设 对 于 变量 zi 的 任何 设置 ， 我 们 有 

2 ajz = y+ 2 bz; (29. 78) 

那么 对 于 任意 的 jET, a =f, Hy=0. 

证 明 ”因为 等 式 (29.78) 对 于 任意 的 z; 值 都 成 立 ， 我 们 可 以 采用 特殊 值 来 导出 关于 xc、8 和 7 
的 结论 。 如 果 对 每 一 个 jEI， 让 zx; 二 0， 可 以 得 出 y= 二 0。 现 在 选择 任意 一 个 下 标 7E TI， 并 对 所 有 
的 & 关 j， 设 xz 二 1 和 zx 二 0。 那 么 必然 有 a 二 86。 因为 选择 的 7 ZI 中 任意 的 一 个 下 标 ， 所 以 得 出 
对 每 一 个 ET, A a=. a 

一 个 特定 的 线性 规划 有 很 多 不 同 的 松弛 形式 ; 回顾 每 一 个 松弛 型 和 原始 的 线性 规划 有 同样 
可 行 解 和 最 优 解 的 集合 。 我 们 现在 来 说 明 一 个 线性 规划 的 松弛 型 能 够 被 基本 变量 的 集合 唯一 确 
定 。 也 就 是 说 ， 给 定 基 本 变量 的 集合 ， 一 个 唯一 的 松弛 型 (唯一 的 系数 集合 和 右 部 ) 与 这 些 基 本 变 
量 相 关联 。 

引 理 29.4 设 (A，b，c) 是 一 个 线性 规划 的 标准 形式 。 给 定 基本 变量 的 一 个 集合 也， 那么 关 
联 的 松弛 型 是 唯一 确定 的 。 

证 明 采用 反 证 法 ,假设 有 两 种 不 同 的 松弛 型 具有 相同 基本 变量 集合 B。 这 些 松弛 型 必须 也 
具有 等 同 的 非 基 本 变量 集合 N= 二 {1，2，…，n 十 m} 一 B。 我 们 将 第 一 个 松弛 型 写成 


z= ut Dycjz; (29. 79) 

JEN 
o OF fe b; = Djasz; 92 = B (29. 80) 

JEN 

将 第 二 个 写成 

z= v' + d)ciz; (29. 81) 

JEN 
zi= 6b:— djatjx;,i € B (29. 82) 

EN 


考虑 式 (29. 82) 减 去 式 (29. 80) 所 形成 的 等 式 系统 。 得 到 的 等 式 系统 为 
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0 = (b; —bi)— > (ai 一 aiE B 
JEN 
或 者 ， 等 价 地 ， 
ja; Xx; = (b — b; + Dia: jrj.t€ B 


现在 ， 对 于 每 一 个 i€B， 应 用 引 理 29. 3， 其 中 ay =a B=as's Y=b,—8;', URI=N. AW 

a; =p; > 所 以 对 每 一 个 JE N， 我 们 有 a; 一 Qi ， 又 因为 v=0, RNA b=0;" 。 因此 ， 对 于 这 两 个 

PSA, ARID ARIA 和 ”相等 。 采 用 一 个 类 似 的 论证 方法 ， 练 习 29. 3-1 说 明 必 然 有 =c 和 

oo 一， 因此 ， 这 些 松弛 型 必然 等 同 。 a 
我 们 现在 可 以 说 明 循 环 是 SIMPLEX 可 能 不 会 终止 的 唯一 原因 。 


引 理 29.5 如 果 SIMPLEX Æ 2 $ (""")ARRARBE, MATL. 
证 明 根据 引 理 29.4， 基 本 变量 集合 B 唯一 确定 了 一 个 松弛 型 。 总 共有 十 m 个 变量 ， 
且 |B|=m， 所 以 至 多 有 (” ”) 种 选择 B 的 方式 。 因 此， 至 多 有 (” ”) 种 松弛 形式 。 所以， 如 


果 SIMPLEX 运行 超过 ( "十 次 迁 代 ， 它 必然 循环 ， 加 


循环 在 理论 上 是 可 能 的 ， 但 非常 罕见 。 我 们 可 以 通过 小 心地 选择 替 人 变量 和 替 出 变量 来 避 
免 其 发 生 。 一 种 方法 是 对 输入 稍微 进行 扰动 ， 使 得 不 可 能 有 两 个 解 具 有 相等 的 目标 值 。 另 一 种 方 
法 是 通过 总 是 选择 下 标 最 小 的 变量 来 打破 相等 的 目标 值 ， 这 种 策略 被 称 为 Bland 规则 。 这 里 略 去 
采用 这 些 策略 可 以 避免 循环 的 证 明 。 
引 理 29.6 ”如果 SIMPLEX 的 第 4 行 和 第 9 行 总 是 通过 选择 具有 最 小 下 标的 变量 来 打破 目标 
值 不 变 的 局 面 ， 那 么 SIMPLEX 必然 终止 。 a 
我 们 以 下 面 的 引 理 来 总 结 这 一 节 。 
引 理 29.7 假设 INITIALIZE-SIMPLEX 返回 一 个 基本 解 可 行 的 松弛 型 ， 则 SIMPLEX #4 


报告 一 个 线性 规划 是 无 界 的 ， 和 要么 在 至 多 (” ”) 次 循环 内 终止 ， 并 得 到 一 个 可 行 解 。 


WEAR 引 理 29.2 和 引 理 29. 6 说 明 如 果 INITIALIZE-SIMPLEX 返回 同一 个 基本 解 可 行 的 松 
弛 型 ， 那 么 SIMPLEX 要 么 报告 一 个 线性 规划 是 无 界 的 ， 要 么 以 一 个 可 行 解 结束 。 根 据 引 理 29.5 


的 道 否 命题 ， 如 果 SIMPLEX 以 一 个 可 行 解 结束 ， 那 么 它 在 至 多 ( ”””) 次 循环 内 终止 。 时 


练习 

29.3-1 请 完成 引 理 29. 4 AERA, 说明 必 有 c==c' 和 w==v 

29.3-2 请 说 明 在 SIMPLEX 的 第 12 行 对 PIVOT 的 调用 永远 不 会 减 小 "的 值 。 

29.3-3 证 明 : 对 PIVOT 过 程 给 定 的 松弛 型 和 该 过 程 返回 的 松弛 型 是 等 价 的 。 

29.3-4 假设 把 一 个 标准 型 的 线性 规划 (A，2，c) 转 换 成 松弛 型 。 证 明 : 基本 解 是 可 行 的 当 且 仅 
Af i=l, 2, «+, m, A b20. 

29.3-5 采用 SIMPLEX 求解 下 面 的 线性 规划 : 
最 大 化 ”18zi 十 12. 5z， 
满足 约束 


12 
16 


X 
VAAA 


Tis T? 
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29.3-6 采用 SIMPLEX 求解 下 面 的 线性 规划 : 


最 大 化 5z 一 3zz 

满足 约束 
x 一 x Sl 
Le. OF 去 SS a2 
Ti ee 之 0 


29.3-7 采用 SIMPLEX 求解 下 面 的 线性 规划 . 
最 小 化 zi 十 zz 十 zz 
满足 约束 
22; P 7-52 十 B82; 之 10000 
20x, + 5x: + 10z = 30000 


Res Deg = 0 


29.3-8 在 引 理 29. 5 的 证 明 中 ， 我 们 声明 至 多 存在 ( ”””) 种 方法 来 选取 一 个 基本 变量 集合 B，。 
给 出 一 个 线性 规划 的 例子 ， 其 中 有 严格 少 于 (”””) 种 方法 来 选取 此 集合 也 。 


29.4 对偶 性 


我 们 已 经 证 明 在 某 些 假设 下 SIMPLEX 会 终止 。 然 而 ， 我 们 还 没有 说 明 它 实际 上 能 找到 线性 
规划 的 一 个 最 优 解 。 为 此 ， 我 们 引入 一 个 有 力 的 概念 ， 称 为 线性 规划 对 偶 性 。 

对 偶 性 使 我 们 能 够 证 明 一 个 解 的 确 是 最 优 的 。 我 们 在 第 26 章 定理 26..6 中 看 到 了 一 个 对 偶 性 
的 例子 一 一 最 大 流 最 小 割 定 理 。 假 设 给 定 最 大 流 问题 的 一 个 实例 ， 我 们 发 现 一 个 流 f 具有 流 值 
|f1。 如 何 能 够 确定 f 是 一 个 最 大 流 ? 根据 最 大 流 最 小 割 定理 ， 如 果 能 够 找到 一 个 割 的 值 也 为 
| fl ， 那 么 我 们 确定 太 的 确 是 一 个 最 大 流 。 这 样 的 关系 提供 了 一 个 对 偶 性 的 例子 : 给 定 一 个 最 大 
化 问题 ， 我 们 定义 一 个 相关 的 最 小 化 问题 ， 使 得 这 两 个 问题 具有 同样 的 最 优 目标 值 。 

给 定 一 个 最 大 化 目标 的 线性 规划 ， 我 们 应 该 描述 如 何 形式 化 一 个 对 偶 线 性 规划 ， 其 中 目标 
是 最 小 化 ， 而 且 最 优 值 与 初始 线性 规划 的 最 优 值 相同 。 当 表示 对 偶 线 性 规划 时 ， 我 们 称 初始 的 线 
性 规划 为 原始 (primal) 线 性 规划 。 
”给 定 一 个 标准 型 的 原始 线性 规划 ， 如 式 (29. 16) 一 式 (29.18) 所 示 ， 我 们 定义 其 对 偶 线性 规 
划 为 


最 小 化 25 bid (29. 83) 
满足 约束 
> wy> Cjo Jj=1,2,°",n (29. 84) 
| y 宇 0， t=1,2,°°5m (29. 85) 


为 了 构造 对 偶 问 题 ， 我 们 将 最 大 化 改 为 最 小 化 ， 交 换 右 边 系数 与 目标 函数 ， 并 且 将 小 于 等 于 
号 改 成 大 于 等 于 号 。 原 始 问题 的 m 个 约束 ， 每 一 个 在 对 侦 问 题 中 都 有 一 个 对 应 的 变量 y;， 对 偶 
问题 的 ”个 约束 ， 每 一 个 在 原始 问题 中 都 有 一 个 对 应 的 变量 x;。 例 如 ， 
考虑 式 (29. 53) 一 (29. 57) 给 出 的 线性 规划 。 这 个 线性 规划 的 对 偶 是 
最 小 化 30 +24y,+36y, (29. 86 ) 
满足 约束 
y + 2y + 4y 之 3 (29. 87) 
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y 十 2y, 十 yy > 1 (29. 88) 
3 + Sy +t 2y, 2 2 (29. 89) 
Ms Yes Y3 = 0 (29. 90) 


我 们 将 在 定理 29. 10 中 说 明 此 对 偶 线 性 规划 的 最 优 值 总 是 等 于 原始 线性 规划 的 最 优 值 。 此 
外 ， 单 纯 形 算法 实际 上 隐 含 地 同时 解决 了 原始 线性 规划 和 对 偶 线 性 规划 ， 从 而 提供 了 最 优 性 的 
一 个 证 明 。 

我 们 从 说 明 弱 对 偶 性 开始 ， 它 表明 原始 线性 规划 的 任意 可 行 解 的 值 不 大 于 此 对 偶 线性 规划 
的 任意 可 行 解 的 对 应 值 。 

引 理 29. 8( 线 性 规划 弱 对 偶 性 ) 设 云 表示 式 (29.16) 一 (29.18) 中 原始 线性 规划 的 任意 一 个 
可 行 解 ， 了 表示 式 (29.83) 一 (29. 85) 中 对 偶 问 题 的 任意 一 个 可 行 解 。 那 么 有 


doz; < ay. 
证 明 我 们 有 
| > T; < (Sa si) Z; (根据 不 等 式 (29. 84)) 


= >) (Pez)y 


< Do y; 《根据 不 等 式 (29. 17)) x 


推论 29.9 令 元 表示 一 个 原始 线性 规划 (A， D，c) 的 一 个 可 行 解 ， 令 了 表示 相应 对 偶 问 题 的 
一 个 可 行 解 。 如 果 


— 


254 5 25 675: 
那么 元 和 了 分 别 是 原始 线性 规划 和 对 偶 线 性 规划 的 最 优 解 。 

证 明 根据 引 理 29.8， 原 始 问题 的 一 个 可 行 解 的 目标 值 不 会 超过 此 对 偶 问 题 可 行 解 的 目标 
值 。 原 始 线性 规划 是 一 个 最 大 化 问题 ， 而 对 偶 线 性 规划 是 一 个 最 小 化 问题 。 因 此 ， 如 果 可 行 解 均 
和 7 了 有 相同 的 目标 值 ， 两 者 均 不 可 能 改进 。 加 

在 证 明 总 存在 一 个 对 偶 解 ， 其 值 等 于 原始 问题 最 优 解 的 值 之 前 ， 我 们 先 来 描述 如 何 找 出 这 
样 的 一 个 解 。 当 我 们 对 式 (29. 53) ~ (29. 57) 中 的 线性 规划 运行 单纯 形 算法 时 ， 最 后 一 次 迭代 产生 
松弛 形式 (29.72) 一 (29.75)， 目 标 值 为 xz 一 28 一 局 /6 一 好 /6 一 2zs/3， 了 一 (1，2，4} 和 N=({3, 
5，6}。 如 下 面 我 们 将 看 到 的 ， 最 终 松弛 型 对 应 的 基本 解 的 确 是 线性 规划 的 一 个 最 优 解 ; 因此 ， 
线性 规划 式 (29. 53) 一 (29. 57) 的 一 个 最 优 解 是 (元 ， 五 ， 五 ) 王 (8，4，0)， 目 标 值 为 (3。8) 十 
(1。4) 十 (2。0) 王 28。 也 如 下 面 所 看 到 的 ， 我 们 可 以 顺利 得 到 一 个 最 优 对 偶 解 : 原始 目标 函数 的 
系数 取 负 是 对 偶 变量 的 什 ， 更 准确 地 说 ， 假 设 原始 问题 的 最 后 松弛 型 为 


z= ul t+ Die jz; z= bi — Dia ya; 2EB 


于 是 ， 为 了 得 到 一 个 对 偶 最 优 解 ， 我 们 设 
— clu #MtdDEN 

| v= 0 其 他 (29. 91) 
因此 ， 式 (29.86) ~ (29. 90) 中 定义 的 对 偶 线 性 规划 的 一 一 个 最 优 解 是 丈 一 0( 因 为 n 十 1= 
4EB), =c; =1/6, URI =—co=2/3. OE HERRA. 86) 的 值 ， 我 们 得 到 一 个 目标 
值 为 (30。0) 十 (24。(1. 6)) 十 (36。(2/3)) 一 28， 这 证 实 了 原始 问题 的 目标 值 的 确 等 于 对 偶 问 题 
的 目标 值 。 综 合 这 些 计 算 和 引 理 29. 8， 推 出 原始 线性 规划 的 最 优 目标 值 是 28。 现 在 来 说 明 这 一 
方法 在 一 般 情况 下 适用 : 我 们 可 以 找到 对 偶 问 题 的 一 个 最 优 解 ， 同 时 证 明 原 始 问题 的 一 个 解 是 


58 + 第 七 部 分 算法 问题 选编 


最 优 的 。 

定理 29. 10( 线 性 规划 对 偶 性 ) 假设 SIMPLEX 在 原始 线性 规划 (A，b，c) 上 返回 值 元 = (zi， 
元 ，…， 元 )。 令 信和 也 分 别 表 示 最 终 松弛 型 非 基 本 变量 和 基本 变量 的 集合 ,， 令 Cc 表示 最 终 松 弛 
型 中 的 系数 ， 令 了 二 (起 ， 允 ，"…， 蕊 ,) 由 式 (29. 91) 定 义 。 那 么 元 是 原始 线性 规划 的 一 个 最 优 解 ， 
了 是 对 偶 线性 规划 的 一 个 最 优 解 ， 以 及 


6 Z; = = dog (29. 92) 


WEAR 根据 推论 29. 9， 如 果 可 以 找到 满足 式 (29， 92) 的 可 行 解 ， 那 么 过 和 7 必然 是 最 优 的 原 
始 解 和 对 偶 解 。 我 们 现在 要 说 明和 定理 叙述 中 描述 的 却 和 了 满足 式 (29. 92). 

假设 我 们 在 一 个 原始 线性 规划 上 执行 SIMPLEX， 如 式 (29.16) 一 (29.18) 中 所 述 。 这 个 算法 
经 历 一 系列 的 松弛 型 ， 直 到 它 以 一 个 最 终 松 弛 型 结束 ， 此 时 目标 函数 为 


ida 2C (29. 93) 
因为 SIMPLEX 结束 时 有 一 个 解 ， 根 据 第 3 和 j 的 条 件 ， 我 们 知道 对 于 所 有 的 JE N， 
882 c; <0 (29. 94) 
如 果 定 义 对 于 所 有 的 JE 了 B， 
cj 一 0 (29. 95) 


那么 可 以 重 写 式 (29. 93) 为 
Sy 
JEN 


=v + ` ciz; + >)cizj (因为 如 果 j € B, c =0) 
jEN jEB 


ntm 
=u + J cz; (AXA NU B= {1,2,…,n 十 m)) (29. 96) 


对 于 此 最 终 松 弛 型 相关 的 基本 解 瑟 对 于 所 有 的 jEN， 有 一 0， 以 及 z 二 v。 因 为 所 有 的 松弛 
型 都 是 等 价 的 ， 如 果 在 去 处 对 初始 目标 函数 求 值 ， 也 必 会 得 到 同样 的 目标 值 : 


n n-+m 
Xaas vt dc} T; (29. 97) 
j=l j=l 
=v + Xc; T Sc; T; 
JEN JEB 
=vt dc 0) 十 >7(0 元 ) (29. 98) 
jEN jEB 


现在 我 们 要 说 明 式 (29. 91) 所 定义 的 了 对 这 个 对 偶 线 性 规划 是 可 行 的 ， 且 其 目标 值 为 > 6 
等 于 > ozi 。 式 (29.97) 说 明 第 一 个 和 最 后 一 个 松弛 型 用 三 求 值 是 相等 的 。 更 一 般 地 ， 所 有 松弛 
型 的 等 价 意味 着 对 任意 变量 集合 c= (2), m = n) BAVA 
Dl ox) = v + See 
因此 ， 对 任意 特定 值 集合 天 一 (二 m, =, 元 )， 我 们 有 
> z= v + 2 zZ; =v + De T; + Se T; 


n m 
l 上 = / = 
= U A Se EB, + Dy chai Fat 
j=l i=] 


第 29 章 线性 规划 。 519 


=u + 0 B+ Dj Ii) Eat (根据 等 式 (29. 91) 和 (29. 95)) 
=v +D izt D C(b Daz) (根据 等 式 (29. 32)) 
j=l i=1 j=l 
DOH + Dy Dy (ay EVD 
j=l i=1 i=] j=1 


| 
S 
+ 
M 
K 
M 
o~ 
QI 
+ 
iM 
M: 
T 
QI 
al 


因此 ， 
Do, 一 (v 一 by: ) 十 (ci + Xay) Ti (29. 99) 
| j=l i=] j=l i=] 
应 用 引 理 29. 3 到 等 式 (29. 99) 上 ， 我 们 得 到 
v' — lay, =0 (29. 100) 
i=] 
cj + ayy; = Cj» 7 一 1],2,.…,n (29. 101) 
i=l 


根据 等 式 (29. 100), 我 们 有 > ox. 二 v ， 因 此 对 偶 问 题 的 目标 值 (D655:) 等 于 原始 问题 的 目 


标 值 (v )。 我 们 还 需要 说 明 解 了 对 于 对 偶 问题 是 可 行 的 。 根据 不 等 式 (29. 94) 和 等 式 (29. 95)， 对 
于 所 有 j= 二 1，2，…，n 十 m， 有 c; 志 0。 因 此 ， 对 任意 的 j= 二 1，2，…，n， 等 式 (29. 101) 可 推出 


ci 一 Ci 二 24 Fi < 25 uF: 
这 满足 对 偶 性 的 约束 式 (29. 84) 。 最 后 ， 因 为 对 每 个 JENUB 有 cj 委 0， 当 我 们 根据 等 式 (29. 91) 
来 设置 时， 我 们 得 到 每 个 了: 宇 9?， 因 此 约束 的 非 负 性 也 满足 。 E 
RNEFS CHA ETA THAR, Æ INITIALIZE-SIMPLE 返回 一 个 可 行 解 ， 且 如 
果 SIMPLEX 终止 时 没有 和 返回“ 无界”， 那 么 返回 的 解 的 确 是 一 个 最 优 解 。 我 们 也 已 说 明 如何 构 造 
对 偶 线性 规划 的 一 个 最 优 解 。 


练习 

29. 4-1 给 出 练习 29. 3-5 中 线性 规划 的 对 偶 问 题 。 

29. 4-2 ”假设 我 们 有 一 个 线性 规划 不 是 标准 型 。 我 们 需要 先 将 其 转换 成 标准 型 ， 然 后 才能 转换 为 
对 偶 。 然 而 ， 如 果 能 直接 产生 对 偶 ， 将 更 为 方便 。 说 明 我 们 如 何 能 够 直接 构造 一 个 任意 
线性 规划 的 对 偶 。 

29. 4-3 ”对 式 (29. 47) 一 (29. 50) 给 出 的 最 大 流 线 性 规划 ， 构 造 其 对 偶 。 说 明 如 何 将 此 形式 解释 为 
一 个 最 小 割 问题 。 

29. 4-4 对 式 (29. 51) 一 (29. 52) 给 出 的 最 小 费用 流 线 性 规划 ， 构 造 其 对 偶 。 说 明 如 何 用 图 和 流 来 
解释 这 个 问题 。 

29. 4-5 证 明 : 一 个 线性 规划 对 偶 的 对 偶 是 原始 线性 规划 。 

29.4-6 第 26 章 哪 一 个 结果 可 以 被 解释 成 最 大 流 问 题 的 弱 对 偶 ? 
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29.5 初始 基本 可 行 解 


在 本 节 ， 我 们 首先 描述 如 何 测 试 一 个 线性 规划 是 否 可 行 ， 如 果 可 行 ， 对 基本 解 可 行 的 那些 线性 规 
划 如 何 产 生 其 松弛 型 。 我 们 最 后 证 明 线 性 规划 基本 定理 ， 即 SIMPLEX 过 程 永远 产生 正确 的 结果 。 

找到 一 个 初始 解 

在 29. 3 节 中 ， 假 设 有 一 个 过 程 INITIALIZE-SIMPLEX， 它 确定 一 个 线性 规划 是 否 有 任何 的 
可 行 解 ， 如 果 有 ， 则 给 出 一 个 基本 解 可 行 的 松弛 型 。 我 们 在 这 里 描述 这 个 过 程 。 

一 个 线性 规划 是 可 行 的 ， 而 其 初始 基本 解 是 不 可 行 的 ， 这 种 情况 是 可 能 出 现 的 。 例 如 考虑 下 
面 的 线性 规划 


最 大 化 2x, — Xz (29. 102) 
满足 约束 

2 oS: 和， 2 (29. 103) 

ae. = 5a = 4 (29. 104) 

Tis T = 0 (29. 105) 


如 果 要 把 这 个 线性 规划 转换 成 松弛 型 ， 基 本 解 将 设 zi 二 0，zs 二 0。 这 个 解 违 反 了 约束 
(29. 104) ， 因 此 ， 它 不 是 一 个 可 行 解 。 因 而 ，INITIALIZE-SIMPLEX 无 法 仅 返 回 明 显 的 松弛 型 。 为 
了 确定 一 个 线性 规划 是 否 有 可 行 解 ， 我 们 可 以 构成 一 个 辅助 线性 规划 。 对 这 个 辅助 线性 规划 ， 我 
们 ( 稍 加 努力 ) 就 可 以 找到 一 个 基本 解 可 行 的 松弛 型 。 进 一 步 地 ， 这 个 辅助 线性 规划 的 解 可 以 确定 
初始 线性 规划 是 否 是 可 行 的 ， 如果 是 ， 它 将 提供 一 个 可 行 解 ， 使 得 我 们 能 够 初始 化 SIMPLEX, 

引 理 29. 11 设 二 是 一 个 标准 型 的 线性 规划 ， 在 式 (29.16) 一 (29. 18) 中 给 出 。 设 r 是 一 个 
HEE, Lut FARA ntl 个 变量 的 线性 规划 : 


最 大 化 = (29. 106) 
满足 约束 
S ajz; — Xo = b; 5 1 = 1,2,°°° 9m (29. 107) 
j=l 
Tj 之 0, J 一 0，1，…7 (29. 108) 


那么 了 是 可 行 的 当 且 仅 当 工 sx 最 优 目标 值 为 0。 

证 明 假设 工 有 一 个 可 行 解 乏 = (五 ， 五 ，…， 元 ') 。 那 么 这 个 解 五 三 0 与 蕊 一 起 是 蕊 的 一 
个 可 行 解 ， 目 标 值 为 0。 因 为 z 过 0 是 工 的 一 个 约束 ， 且 目标 函数 是 最 大 化 一 z， 所 以 这 个 解 
对 于 Lu 一 定 是 最 优 的 。 

相反 ， 假 设 Lux 的 最 优 目 标 值 为 0。 那么 五 二 0， 且 剩余 解 乏 的 值 满足 工 的 约束 。 = 

现在 我 们 来 描述 找 出 标准 型 线性 规划 工 的 一 个 初始 可 行 解 的 策略 ; 

INITIALIZE-SIMPLEX(A, b,c) | 


1 let k be the index of the minimum b; 


2 ifb>0 | // is the initial basic solution feasible? 
3 return ({1,2, Oe ey n}, {nt 1l, 7 十 2， oe sn t m}, A, b, Cy 0) 
4 form Lax by adding — xo to the left-hand side of each constraint 


and setting the objective function to — 2 
let (N, B, A, b, c, v) be the resulting slack form for Lax 
/一 ?十 有 
/ Lax has n 十 1 nonbasic variables and m basic variables. 
(N, B, A, b, c, v) = PIVOT(N, B, A, b,c, v, l, 0) 
// The basic solution is now feasible for Laux» 
10 iterate the while loop of lines 3—12 of SIMPLEX until an optimal solution 


Oo on Q a 
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to Lax is found 


11 if the optimal solution to Laux sets Z to 0 


12 if z, is basic 
13 perform one (degenerate) pivot to make it nonbasic 
14 from the final slack form of Laux, remove xo from the constraints and 


restore the original objective function of L, but replace each basic 
variable in this objective function by the right-hand side of its 
associated constraint 

15 return the modified final slack form 


16 else return “infeasible” | 887 


INITIALIZE-SIMPLEX 的 运行 如 下 。 第 1 一 3 47, BAR N=({1, 2, +, n}, B={n+1, 
n+2, +, ntm}, SFA iEB 有 ;二 b;， 以 及 对 于 所 有 JENA T= 的 条 件 下 ， 我 们 隐 合 
地 测试 LL 的 初始 松弛 型 的 基本 解 。( 因 为 A、2 和 c 的 值 在 松弛 型 与 标准 型 中 相同 ， 建 立 松 弛 型 不 
需 费 什么 力气 。) 如 果 第 2 行 中 发 现 这 个 基本 解 是 可 行 的 ， 即 对 所 有 的 iE NUB 有 zz; 宇 9， 则 第 3 
行 返回 这 个 松弛 型 。 否 则 ， 在 第 4 行 中 ,我 们 如 在 引 理 29. 11 一 样 构造 辅助 线性 规划 Lo... AW 
L 的 初始 基本 解 是 不 可 行 的 ， 所 以 Lu 的 松弛 型 的 初始 基本 解 也 一 定 不 可 行 。 为 了 找到 一 个 基本 
可 行 解 ， 我 们 执行 一 个 主 元 (pivot) 操 作 。 第 6 行 选择 /=n 十 k 作 为 基本 变量 的 下 标 ， 该 基本 变量 
将 是 下 面 一 个 主 元 操作 的 蔡 出 变量 。 因 为 基本 变量 是 + ，z+z，…，zekn， 替 出 变量 r 将 是 负 
值 最 大 的 变量 。 第 8 行 执行 对 PIVOT HAA, Ua HABE, a 为 替 出 变量 。 我 们 稍 后 会 看 
到 ， 由 此 PIVOT 的 调用 产生 的 基本 解 是 可 行 的 。 现 在 有 一 个 基本 解 可 行 的 松弛 型 ， 我 们 可 以 在 
第 10 行 重复 调用 PIVOT 来 完全 求解 出 辅助 线性 规划 。 正 如 第 11 行 中 的 测试 所 展示 的 ， 如 果 我 
们 找到 了 一 个 目标 值 为 0 的 Lu 的 最 优 解 ， 那 么 在 第 12 一 14 行 ,我 们 可 以 生成 一 个 工 的 松弛 型 ， 
其 基本 解 是 可 行 的 。 为 了 做 到 这 一 点 ， 我 们 首先 在 第 12 一 13 行 处 理 退化 情形 ， 其 中 z 可 能 仍然 
是 基本 变量 ， 其 值 为 z= 二 0。 在 这 种 情形 下 ， 我 们 执行 一 个 转动 步骤 把 x 从 基本 解 中 移 除 ， 采 
用 任何 满足 ao. 关 0 的 eEN 作为 替 人 变量 。 新 的 基本 解 仍然 可 行 ; 退化 转动 没有 改变 任何 变量 的 
值 。 下 面 我 们 从 约束 中 删除 所 有 x 项 ， 并 且 恢复 工 的 原始 目标 函数 。 原 始 目标 函数 可 能 包含 了 
基本 变量 和 非 基 本 变量 。 因 此 ， 在 这 个 目标 函数 中 ， 我 们 将 每 个 基本 变量 用 其 关联 的 约束 的 右 部 
来 替换 。 于 是 第 15 行 返 回 此 修改 后 的 松弛 型 。 另 外 ， 如 果 在 第 11 行 中 发 现 初始 线性 规划 工 是 不 
可 行 的 ， 那 么 在 第 16 行 中 返回 这 一 信息 。 

现在 我 们 来 说 明 INITIALIZE-SIMPLEX 在 线性 规划 式 (29. 102) 一 (29. 105) 上 的 操作 。 如 有 果 
我 们 可 以 找到 x, 和 x, 的 非 负 值 满足 不 等 式 (29. 103) 和 (29. 104) ， 则 此 线性 规划 是 可 行 的 。 利 用 
引 理 29.11, 构造 辅助 线性 规划 为 : 


最 大 化 zy | (29. 109) 
满足 约束 
| Lt; = ay = ay = OZ (29. 110) 
G = Dy 26. S | (29.111) 
Dis Bix Ze = 0 


根据 引 理 29. 11， 如 果 这 个 辅助 线性 规划 的 最 优 目 标 值 是 0， 那么 初始 线性 规划 有 一 个 可 行 解 。 
如 果 这 个 辅 助 线性 规划 的 最 优 目 标 值 是 负 的 ， 那 么 初始 线性 规划 没有 一 个 可 行 解 。 
我 们 把 这 个 线性 规划 写成 松弛 型 ， 得 到 ， 
% = 2 — 2u, +t n t X 
t = =A — wg + Da + 2% 
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我 们 还 没有 走出 森林 ， 因 为 设 定 zx 二 一 4 的 基本 解 对 这 个 辅助 线性 规划 是 不 可 行 的 。 然 而 ， 可 以 
通过 调用 PIVOT 将 此 松弛 型 转换 成 基本 解 可 行 的 松弛 型 。 如 第 8 行 所 表明 的 ， 选 择 z ENEA 
变量 。 在 第 6 行 ， 选 择 zs 作为 蔡 出 变量 ， 而 它 是 基本 解 中 负 值 最 大 的 基本 变量 。 转 动 后 ， 我 们 
得 到 松弛 型 


-A = a e Do = 
Xo = 4 + Tı — Sx + T4 
T3 == 6 — Tı = 4x, + T4 


对 应 的 基本 可 行 解 是 (可 ， 五 ， 五 ， 瑟 ， 五) 王 (4，0，0，6，0)。 现 在 重复 调用 PTVOT， 直 到 得 到 Lax 
的 一 个 最 优 解 。 在 这 种 情况 下 ， 一 个 以 z 为 蔡 人 变量 ，z 为 蔡 出 变量 的 PIVOT 调用 推出 








之 一 Xo 
— £ _ to T Ti 
to 5 5 + SF Ss 
— 14 4z 9 T 
t = 5 t 3 5 1 5 


这 个 松弛 型 是 此 辅助 线性 规划 的 最 终 解 。 因 为 这 个 解 中 zo 二 0， 我 们 知道 初始 问题 是 可 行 的 。 而 
H, KX r50, 我们 可 以 将 其 从 约束 集合 中 移 除 。 然 后 ， 通 过 适当 地 替换 恢复 初始 目标 函数 ， 
使 其 只 包含 非 基 本 变量 。 在 这 个 例子 中 ， 我 们 得 到 目标 函数 为 


4 My Hy eH 
5 ge) 


22, 一 Za = 2a, — ( 


设 zo 二 0， 然 后 简化 ， 我 们 得 到 目标 函数 


4 92 Xa 
5 5 5 
以 及 松弛 型 

— _4 It å Z ua 
7 So ee 5 
ee aea 
2 5 5 5 
— 14 _ 94 T 
a 5 5 t 3 





这 个 松弛 型 有 一 个 可 行 的 基本 解 ， 我 们 可 以 将 它 返回 给 过 程 SIMPLEX.。 

现在 我 们 形式 化 地 说 明 INITIALIZE-SIMPLEX 的 正确 性 。 

引 理 29.12 如果 一 个 线性 规划 工 没 有 可 行 解 ， 那 么 INITIALIZE-SIMPLEX 返回 “不 可 行 ”; 
否则 ， 它 返回 一 个 基本 解 可 行 的 有 效 松弛 型 。 

WEAR 首先 假设 线性 规划 工 没 有 可 行 解 。 那 么 根据 引 理 29. 11， 在 式 (29. 106) 一 (29. 108) 中 
定义 的 L, 的 最 优 目 标 值 不 是 零 ， 并 且 根 据 x。 上 的 非 负 约束 ， 最 优 目 标 值 必然 是 非 负 的 。 男 外 ， 


这 个 目标 值 必定 是 有 限 的 ， 因为 对 ;一 1， 2, s N, 设置 xz; 二 0， To= | min(b;) | 是 可 行 的 ， 且 这 


个 解 的 目标 值 为 一 | min(4,) | 。 因 此 ，INITIALIZE-SIMPLEX 的 第 10 行将 找到 一 个 非 正 目标 值 
的 解 。 设 式 是 和 最 终 松弛 型 相关 的 基本 解 。 我 们 不 能 有 元 二 0， 因 为 Lux 将 会 有 目标 值 为 0， 与 
目标 值 为 负 的 事实 相 矛盾 。 因 此 ， 第 11 行 的 测试 导致 第 16 行 返 回 “ 不 可 行 ”。 

现在 假设 线性 规划 工 确实 有 一 个 可 行 解 。 从 练习 29. 3-4， 我 们 知道 如 果 对 ;一 1，2，…，mr 
HOSO, 那么 和 初始 松弛 型 相关 的 基本 解 是 可 行 的 。 在 这 种 情况 下 ,第 2 一 3 行将 返回 和 输入 相 
关 的 松弛 型 。( 将 标准 型 转换 成 松弛 型 很 容易 ， 因 为 A、b 和 < 在 二 者 中 相同 。) 

在 余下 的 证 明 中 ， 我 们 要 处 理 线性 规划 是 可 行 的 但 在 第 3 行 中 并 不 返回 的 情形 。 我 们 要 表明 
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在 这 种 情形 下 ， 第 4 一 10 行 找到 Lu 的 一 个 可 行 解 ， 其 目标 值 为 0。 首 先 ， 根 据 第 1 一 2 行 ， 必 
然 有 
b <0 

和 

b Sb, i€B (29. 112) 
在 第 8 行 中 ， 执 行 一 个 转动 操作 ， 其 中 替 出 变量 x,( 回 顾 l=nt+k, FE b, 二 0) 是 具有 最 小 b 的 
等 式 的 左 部 ， 而 替 人 变量 是 额外 添加 的 变量 zx。。 现 在 我 们 来 说 明 在 这 个 转动 之 后 ，。 的 所 有 元 素 
都 是 非 负 的 ， 因 此 ，L 的 基本 解 是 可 行 的 。 设 是 调用 PIVOT 之 后 的 基本 解 ， 5 和 BB 表示 
PIVOT 返回 的 值 ， 引 理 29. 1 推出 


bi— a. bp。 若 i € B—{e} 
T; 一 (29. 113) 
b;/Qte 若 ; =e 
第 8 行 中 调用 PIVOT 有 e 二 0。 如 果 重 写 不 等 式 (29. 107), BARA av, 
Xayz; Sbi, i=1,2,,m (29. 114) 
那么 | 
lo m lUr m7 l; 1 €E B (29. 115) 


GQR, dott zo 出 现在 不 等 式 (29. 114) 中 的 系数 ， 不 是 此 系数 的 负 值 ， 因 为 Lu 是 在 标准 型 而 不 
是 松弛 型 中 .) 因 为 VEB， 所 以 也 有 a =—1. Abt, b/a,>0, FH >O. MTR PHBA 
E, RIA 


元 = bi — ai Ê, (根据 等 式 (29. 113)) 
=b,—a;,(b,/a,) (根据 PIOVT 的 第 3 行 ) 
= b,—}b, (根据 等 式 (29. 115) 和 a, =— 1) 
>0 (根据 不 等 式 (29. 112)) 


这 意味 着 现在 每 个 基本 变量 都 是 非 负 的 。 因 此 ， 在 第 8 行 调用 PIVOT 后 ， 基 本 解 是 可 行 的 。 接 下 

来 ， 执 行 第 10 行 以 求解 L,。 因 为 我 们 已 经 假设 有 一 个 可 行 解 ， 引 理 29. 11 意味 着 L .有 一 个 目 

标 值 为 0 的 最 优 解 。 因 为 所 有 的 松弛 型 都 是 等 价 的 ，L,w 的 最 终 基 本 解 必 有 芭 二 0， 而 且 当 把 zo 从 

线性 规划 中 删除 后 ， 我 们 得 到 一 个 工 的 可 行 松弛 型 。 然 后 第 15 行 返回 这 个 松弛 型 。 m 
线性 规划 基本 定理 

我 们 通过 说 明 过 程 SIMPLEX 的 确 有 效 来 结束 本 章 内 容 。 特 别 地 ， 任 何 线性 规划 要 么 是 不 可 
行 的 ， 要 么 是 无 界 的 ， 要 么 有 一 个 有 限 目 标 值 的 最 优 解 。 在 每 种 情况 下 ，SIMPLEX 都 能 做 出 正 
确 的 操作 。 

定理 29. 13( 线 性 规划 基本 征 理 ) ”任何 以 标准 型 给 出 的 线性 规划 L 可 能 会 是 如 下 情形 : 

1. 有 一 个 有 限 目 标 值 的 最 优 解 。 

2. 不 可 行 。 

3. AR. 

如 果 工 是 不 可 行 的 。SIMPLEX 返回 “不 可 行 ”。 如 果 世 是 无 界 的 ，SIMPLEX 返回 “无 界 ”。 否 则 ， 
SIMPLEX 返回 一 个 有 限 目 标 值 的 最 优 解 。 

证 明 根据 引 理 29. 12， 如 果 线 性 规划 工 不 可 行 ， 那 么 SIMPLEX 返回 “不 可 行 ”。 现 在 假设 线性 
规划 工 是 可 行 的 。 根 据 引 理 29.12, INITIALIZE-SIMPLEX 返回 一 个 基本 解 可 行 的 松弛 型 。 因 而 根据 
引 理 29.7, SIMPLEX 或 者 返回 “无 界 "， 或 者 以 一 个 可 行 解 终止 。 如 果 它 以 一 个 有 限 解 终止 ， 那 么 定 
理 29. 10 告诉 我 们 这 个 解 是 最 优 的 。 另 外 ， 如 果 SIMPLEX 返回 “无 界 ”， 那 么 引 理 29. 2 告诉 我 们 线性 
规划 工 的确 是 无 界 的 。 因 为 SIMPLEX 总 是 以 这 些 方式 之 一 结束 ， 于 是 完成 证 明 。 = 
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练习 


29.5-1 写 出 详细 的 伪 代 码 来 实现 INITIALIZE-SIMPLEX 的 第 5 行 和 第 14 íT. 

29.5-2 ”请 说 明 当 SIMPLEX 的 主体 循环 部 分 被 INITIALIZE-SIMPLEX 运行 时 ， 永 远 不 会 返回 “无 界 ”。 

29. 5-3 ”假设 已 知 一 个 标准 型 的 线性 规划 LL， 并且 假设 对 工 与 L 的 对 偶 问题 ， 初 始 松弛 型 相应 的 
基本 解 都 是 可 行 的 。 请 说 明 工 的 最 优 目 标 值 是 0。 

29. 5-4 ”假设 在 一 个 线性 规划 中 我 们 允许 严格 的 不 等 式 。 请 说 明 在 这 种 情况 下 ， 线 性 规划 基本 害 


理 不 再 成 立 。 
29.5-5 用 SIMPLEX 求解 下 面 的 线性 规划 : 
最 大 化 i tin 
满足 约束 
Ly = Gigs 8 
— 2 =, ty Sy S33 
= + 4zz X 2 
TX] » Xe = 0 
29.5-6 ”用 SIMPLEX 求解 下 面 的 线性 规划 : 
最 大 化 eo 0 oF 
满足 约束 
Tı + 222 [S 4 
= 205 = Gap a == 12 
2 1 
bp 之 0 


29.5-7 用 SIMPLEX 求 解 下 面 的 线性 规划 ， 


最 大 化 XL, +32, 
满足 约束 
Xl T ws < 一 外 
— t] = % = —3 
=a + drm <= 2 
Tı 9X2 = 0 


29. 5-8 ”求解 式 (29. 6) 一 (29. 10) 给 出 的 线性 规划 。 
29.5-9 考虑 下 面 一 个 变量 的 线性 规划 ， 我 们 称 为 P: 


最 大 化 tx 
满足 约束 
rx< s 
Z 之 0 


其 中 r+、s 和 + 上 是 任意 的 实数 。 设 DD 是 P 的 对 侦 。 
叙述 对 r+、s 和 zt 的 哪些 值 ， 可 以 做 出 如 下 断言 : 
1.P 和 DD 都 具有 有 限 目 标 值 的 最 优 解 。 

2.PP 是 可 行 的 ,但 DD 是 不 可 行 的 。 

3.D 是 可 行 的 ,但 P 是 不 可 行 的 。 

4. 卫 和 都 是 不 可 行 的 。 
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思考 题 


29-1 


29-2 


29-3 


29-4 


(线性 不 等 式 的 可 行 性 ) ”给 定 一 个 在 7 个 变量 zx1，x;，…，z, Em 个 线性 不 等 式 的 集合 ， 

线性 不 等 式 可 行 性 问题 关注 是 否 有 变量 的 一 个 设置 ， 能 够 同时 满足 每 个 不 等 式 。 

a. 证 明 ， 如 果 有 一 个 线性 规划 的 算法 ， 那 么 可 以 利用 它 来 解 一 个 线性 不 等 式 可 行 性 问题 ， 
在 线性 规划 问题 中 ， 你 用 到 的 变量 和 约束 的 个 数 应 该 是 2 Alm 的 多 项 式 。 

b. 证 明 ， 如 果 有 一 个 线性 不 等 式 可 行 性 问题 的 算法 ， 那 么 可 以 用 它 来 求解 线性 规划 问题 。 
在 线性 不 等 式 可 行 性 问题 中 ， 你 用 到 的 变量 和 线性 不 等 式 的 个 数 应 该 是 nn 和 mm 的 多 项 
式 ， 即 线性 规划 中 变量 和 约束 的 数目 。 

(互补 松弛 性 ) 互补 松弛 性 描述 原始 变量 值 和 对 偶 约 束 ， 以 及 对 偶 变 量 值 与 原始 约束 之 间 

的 关系 。 设 z 表 示 式 (29.16) 一 (29.18) 中 给 出 的 原始 线性 规划 的 一 个 可 行 解 ，y 表示 式 

(29. 83) 一 (29. 85) 中 给 出 的 对 偶 线 性 规划 的 可 行 解 。 互 补 松 弛 阐述 下 面 的 条 件 是 zx 和 >y 为 

最 优 的 充分 必要 条 件 : 


Pay = 6 3 Kz, = 0,j = 1,2," 
以 及 
a; = b; R# y; —0,1=—1,2,°% 


a. 对 式 (29 53) ~ (29. 57) 中 的 线性 规划 验证 互补 松 弛 性 成 立 。 

b. 证 明 ， 对 任意 的 原始 线性 规划 和 它 相应 的 对 偶 ， 互 补 松弛 性 成 立 。 

c. HEAR: 式 (29.16) 一 (29. 18) 中 给 出 的 原始 线性 规划 的 一 个 可 行 解 乏 是 最 优 的 ， 当 且 仅 当 
存在 值 Y= (Dis Dar ets Wm) EE 
1. y FESR (29. 83) ~ (29. 85) 中 给 出 的 对 偶 线 性 规划 的 一 个 可 行 解 。 


2. 对 于 所 有 的 了 有 > ay =c; THZz>0, UR 


3, WEA AHO, FR Dayz, <b. 


(整数 线性 规划 ) ”一 个 整数 线性 规划 问题 是 一 个 线性 规划 问题 ， 外 加 变量 z 必须 取 整 数值 
的 额外 约束 。 练 习 34. 5-3 说 明 仅 确定 一 个 整数 线性 规划 是 否 有 可 行 解 是 NP 难 的 ， 这 意味 
着 这 个 问题 目前 没有 已 知 多 项 式 时 间 的 算法 。 

a. 证 明 : 弱 对 偶 性 ( 引 理 29. 8) 对 整数 线性 规划 成 立 。 

b. 证 明 : 对 偶 性 (定理 29. 10) 对 整数 线性 规划 不 总 是 成 立 。 

e 给 定 一 个 标准 型 的 原始 线性 规划 ， 我 们 定义 PP 为 原始 线性 规划 的 最 优 目 标 值 ，D 为 其 
对 偶 问 题 的 最 优 目 标 值 ，IP 为 整数 版 本 的 原始 问题 ( 即 原始 问题 加 上 变量 取 整 数值 的 约 
ROK AM, ID 为 整数 版 本 的 对 偶 问 题 的 最 优 目 标 值 。 假 设 整数 版 本 的 原始 线性 
规划 和 其 整数 版 本 的 对 偶 线 性 规划 都 是 可 行 的 、 有 界 的 ， 请 说 明 IPP=D<ID, 

(Farkas 引 理 ) 设 A 为 一 个 mXn 和 矩阵 ，c 为 一 个 n 维 向 量 。 那 么 Farkas 引 理 说 明正 好 有 

一 个 系统 

| Ar <0 
EY 0 
以 及 ， 
: A'y=c 
y 之 0 
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是 可 解 的 ， 其 中 z 是 一 个 ” 维 向 量 ，> 是 一 个 m 维 向 量 。 证 明 Farkas 引 理 。 
29-5 〈 最 小 代价 流通 ) 这 个 问题 中 ， 我 们 考虑 29. 2 节 中 最 小 代价 流 问 题 的 一 个 变形 ， 其 中 我 
们 没有 给 定 需 求 、 一 个 源 点 ， 或 者 一 个 汇 点 。 取 而 代 之 ， 我 们 像 以 前 一 样 给 定 一 个 流 网 络 
和 边 的 代价 aeC(x，z 。 如 果 一 个 流 在 每 条 边 上 满足 容量 限制 ， 以 及 在 每 一 个 顶点 上 满足 流 
量 守恒 条 件 ， 则 称 它 是 可 行 的 。 我 们 的 目标 是 在 所 有 可 行 流 中 ， 找 到 一 个 代价 最 小 的 。 我 
们 把 这 个 问题 称 为 最 小 代价 流通 问题 。 
a. 把 最 小 代价 流通 问题 形式 化 为 一 个 线性 规划 。 
b. 假设 对 于 所 有 的 边 (u，v) EE， 我 们 有 alu, v)>0. HAWKS MOT B+ 
优 解 。 
c 把 最 大 流 问 题 形式 化 为 一 个 最 小 代价 流通 问题 的 线性 规划 。 也 就 是 给 定 一 个 最 大 流 问 题 
的 实例 G 二 (V，E)， 其 中 有 源 点 s、 汇 点 t 以 及 边 上 的 容量 限制 <， 给 定 一 个 (可 能 不 
同 ) 的 网 络 G = 二 (V'，E)， 具 有 边 上 容量 限制 <。 ， 以 及 边 上 的 代价 a ， 使 得 你 可 以 通过 
创建 一 个 最 小 代价 流通 问题 来 得 到 最 大 流 问 题 的 一 个 解 。 
d. 把 单 源 最 短路 径 问 题 形式 化 成 一 个 最 小 代价 流通 问题 的 线性 规划 。 
本 章 注 记 
本 章 仅仅 是 研究 线性 规划 广阔 领域 的 一 个 开始 。 许 多 书籍 都 对 线性 规划 专门 作 了 详细 的 论 
述 ， 包 括 ChvdktalL69]、GassL130]、KarloffL197]、SchrijverL303] 和 Vanderbei[ 344 ]。 其 他 许多 
书籍 也 都 很 好 地 介绍 了 线性 规划 的 内 容 ， 包 括 Papadimitriou 和 SteiglitzL271], Ahuja, Magnanti 
896) ”和 OrlinL7j。 本 章 内 容 采 用 的 是 Chvátal 的 方法 。 
线性 规划 的 单纯 形 算法 是 在 1947 年 由 G. Dantzig 提出 的 。 不 久之 后 ， 研 究 者 发 现在 各 种 领 
域 中 的 很 多 问题 都 可 以 形式 化 成 线性 规划 ， 并 使 用 单纯 形 算 法 求解 。 于 是 ， 线 性 规划 的 许多 应 用 
和 许多 相关 算法 繁荣 起 来 。 单 纯 形 算法 的 很 多 不 同形 式 仍然 是 求解 线性 规划 问题 的 最 流行 的 方 
法 。 这 段 历史 在 很 多 地 方 都 有 记载 ， 包 括 文献 L69j 和 文献 [197j] 中 的 注 记 。 
椭 球 算法 是 线性 规划 的 第 一 个 多 项 式 时 间 算 法 ,在 1979 年 由 L. G. Khachian 提出 ; EW 
N. Z. Shor, D. B. Judin 和 A. S. Nemirovskii 的 早期 工作 为 基础 。Grotschel、Lovdsz 和 Schrijver 
[154] 在 组 合 优化 中 描述 如 何 使 用 椭 球 算法 来 解 各 种 问题 。 到 目前 为 止 ， 在 实践 中 ， 椭 球 算法 看 
起 来 还 无 法 与 单纯 形 算 法 媲美 。 
Karmarkar 的 论文 L198] 包 含 了 第 一 个 内 点 算法 的 描述 。 他 之 后 的 许多 研究 者 都 设计 出 了 内 
点 算法 。 在 Goldfarb 和 Todd[141] 的 文章 以 及 YeL361] 的 书 中 都 有 好 的 综述 。 
单纯 形 算法 的 分 析 在 研究 领域 仍然 活跃 。V. Klee 和 G. J. Minty 构造 了 一 个 单纯 形 算法 运行 
2" 一 1 次 迭代 的 例子 。 单 纯 形 算法 通常 在 实践 中 执行 得 非常 好 ， 许 多 研究 者 尝试 给 出 这 个 实验 观 
察 的 理论 依据 。 有 一 类 研究 是 由 K. H. Borgwardt 开始 ， 然 后 其 他 许多 人 继续 进行 ， 显 示 在 输入 
的 某 些 概率 假设 下 ， 单 纯 形 算法 在 多 项 式 时 间 期 望 内 收敛 。Spielman 和 TengL3224 在 这 个 领域 中 
取得 了 进展 ， 他 们 引入 了 “算法 的 平滑 分 析 ” 并 将 其 应 用 到 单纯 形 算法 上 。 
已 知 单纯 形 算法 在 某 些 特殊 情况 下 会 运行 得 更 有 效率 。 特 别 值 得 注意 的 是 ， 网 络 单纯 形 算 
法 ， 即 专门 用 于 网 络 流 问题 的 单纯 形 算法 。 对 某 些 网 络 问题 ， 包 括 最 短路 径 、 最 大 流 和 最 小 代价 
流 问题 ， 网 络 单纯 形 算 法 的 不 同形 式 在 多 项 式 时 间 内 运行 。 例 如 ， 参 考 OrlinL 268j 的 文章 和 里 面 
的 引用 。 
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两 个 次 多 项 式 相 加 的 最 直接 方法 所 需 的 时 间 为 O, ERRER ANEA O). 
在 本 章 中 ， 我 们 将 讨论 快速 傅 里 叶 变 换 ， 或 者 FFT， 如 何 使 多 项 式 相 乘 的 时 间 复 杂 度 降低 为 @(nlgn)。 

储 里 叶 变 换 的 最 常见 用 途 是 信号 处 理 ， 这 也 是 快速 储 里 叶 变 换 的 最 常见 用 途 。 信 号 通常 在 
时 间 域 中 给 出 : 一 个 把 时 间 映 射 到 振幅 的 函数 。 傅 里 叶 分 析 人 允许 我 们 将 时 间 域 上 信和 号 表示 成 不 
同 频率 的 相 移 正弦 曲线 的 加 权 丢 加 。 和 频率 相关 的 权重 和 相位 在 频率 域 中 刻画 出 信号 的 特征 。 
FFT 有 很 多 日 常 应 用 ， 如 压缩 技术 ， 可 用 于 编码 数字 视频 和 音频 信息 ， 包 括 MP3 文件 。 在 信号 
处 理 这 一 丰富 的 研究 领域 中 有 不 少 很 好 的 参考 书 ; 本章 注 记 将 列 出 其 中 一 些 。 

多 项 式 

一 个 以 z 为 变量 的 多 项 式 定义 在 一 个 代数 域 玉 上 ， 将 函数 A(z) 表 示 为 形式 和 : 


A(x) = Sa a? 


我 们 称 Aos Qis °**s a "1 为 如 上 多 项 式 的 系数 ， 所 有 系数 都 属于 域 F, 典型 的 情形 是 复数 集合 C, 
如 果 一 个 多 项 式 A(z) 的 最 高 次 的 非 零 系 数 是 w， 则 称 A(z) 的 次 数 是 &， 记 degree(A) =k. 4EM 
严格 大 于 一 个 多 项 式 次 数 的 整数 都 是 该 多 项 式 的 次 数 界 ， 因 此 ， 对 于 次 数 界 为 ”的 多 项 式 ， 其 次 
数 可 以 是 0 一 "一 1 之 间 的 任何 整数 ， 包 括 0 和 "一 1。 

我 们 在 多 项 式 上 可 以 定义 很 多 不 同 的 运算 。 对 于 多 项 式 加 法 ， 如 果 AOM B(z) 是 次 数 界 为 
n 的 多 项 式 ， 那 么 它们 的 和 也 是 一 个 次 数 界 为 n 的 多 项 式 C(x)， 对 所 有 属于 定义 域 的 zx， 都 有 
C(x) =A(x)+B(x). HED, 





A(x) = Saya! 
a 5 

se n a 
则 和 

C(x) = 3 cx 


其 中 对 于 j= 二 0，1,…, n—l, cj 二 aj 十 b;。 例如 ， 如 果 有 多 项 式 A(x) =62° +72? —10xz+9 和 
B(x) =—22'+42—5, BA Clr) =4r +72’ —62+4, 
对 于 多 项 式 乘 法 ， 如 果 A(z) 和 Bs) PEKAR H n HEAR, MEHRERE C(x) 是 一 个 
次 数 界 为 2n 一 1 的 多 项 式 ， 对 所 有 属于 定义 域 的 xz， 都 有 C(x) 二 A(zx)B(z)。 读 者 或 许 以 前 也 学 
过 多 项 式 乘 法 ， 其 方法 是 把 A(z) 中 的 每 一 项 与 B(z) 中 的 每 一 项 相 乘 ， 然 后 再 合并 同类 项 。 例 
如 ， 我 们 可 以 对 两 个 多 项 式 A(x) =62° +72’ —10x+9 Fl Bla) = — 22° 十 4x 一 5 进行 如 下 的 乘法 : 
62° 十 Tz — 10x+9 
=F ae. Ag == "5 
— 30x° — 352° + 50x — 45 
242°+ 282° — 402’ + 36x 
— 122° — 142° + 202*— 182° 
— 122° — 142° + 442'*— 202° — 752? + 862 — 45 
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男 外 一 种 表示 乘积 C(x) 的 方法 是 


2n—2 
Clr) = 2 or (30. 1) 
其 中 
Cj 一 > andj (30. 2) 
k=0 


注意 ，degree(C) 王 degree(A) 十 degree(B) ， 意 味 着 如 果 A 是 次 数 界 为 n。 的 多 项 式 ，B 是 次 数 界 
为 ns WETA, 那么 C 是 次 数 界 为 n, 十 n, 一 1 的 多 项 式 。 因 为 一 个 次 数 界 为 & 的 多 项 式 也 是 次 数 
界 为 & 十 1 的 多 项 式 ， 所 以 通常 称 乘积 多 项 式 C 是 一 个 次 数 界 为 n, 十 n 的 多 项 式 。 

本 章 概述 

30.1 节 介 绍 两 种 表示 多 项 式 的 方法 : 系数 表达 和 点 值 表达 。 当 我 们 用 系数 表达 表示 多 项 式 
时 ， 多 项 式 ( 式 (30. DARGO. 2)) 乘 法 的 最 直接 算法 所 需 运行 时 间 为 O), 但 采用 点 值 表达 ， 
运行 时 间 仅 为 BC(z) 。 然 而 ， 我 们 通过 对 这 两 种 表示 法 进行 转换 ， 采 用 系数 表达 求 多 项 式 乘积 ， 
可 以 使 运行 时 间 变 为 8(nlgn)。 为 了 和 弄 清 这 种 方法 为 什么 可 行 ， 我 们 必须 在 30.2 节 中 首先 学 习 
单位 复数 根 。 然 后 ， 我 们 运用 FFT 和 它 的 逆 变 换 ( 也 在 30. 2 节 中 介绍 ) 来 执行 上 述 转换 。30. 3 节 
将 展示 如 何在 串 行 模 型 和 并 行 模型 上 快速 实现 FFT。 

本 章 大 量 使 用 了 复数 ， 并 且 专 用 符号 ;表示 V 一 1。 


30.1 多 项 式 的 表示 


从 某 种 意义 上 ， 多 项 式 的 系数 表达 与 点 值 表达 是 等 价 的 ， 即 用 点 值 形式 表示 的 多 项 式 都 对 
应 唯一 系数 形式 的 多 项 式 。 在 本 节 中 ， 我 们 将 介绍 这 两 种 表示 方法 ， 并 展示 如 何 把 这 两 种 表示 法 
结合 起 来 ， 以 使 两 个 次 数 界 为 n 的 多 项 式 乘 法 运算 在 O(n len) ATER. 


对 一 个 次 数 界 为 的 多 项 式 A(z) = Sia! 而 言 ， 其 系数 表达 是 一 个 由 系数 组 成 的 向 量 a 


(ao，a1，"…，as-1)。 在 本 章 所 涉及 的 矩阵 方程 中 ， 我 们 一 般 将 向 量 作为 列 向 量 看 待 。 

采用 系数 表达 对 于 多 项 式 的 某 些 运算 是 很 方便 的 。 例 如 ， 对 多 项 式 A(z) 在 给 定点 zo 的 求 值 
运算 就 是 计算 A(zo) 的 值 。 使 用 霍 纳 法 则 ， 我 们 可 以 在 8(n) 时 间 复 杂 度 内 完成 求 值 运算 : 

A(zo) = ao + xo Cay + Ly Caz + +e F To Can- + To CAy—-1)) ***)) 

类 似 地 ， 对 两 个 分 别 用 系数 回 量 (am s Ais ts Ani) PADS Cbs bis …， b.-_1) 表 示 的 多 项 式 进 行 相 
加 时 ， 所 需 的 时 间 是 O(n); 我 们 仅 输 出 系数 回 量 C= (ay. Coy 8s. Gs 其 中 对 j=0, 1, e, 
n—1, c;=a;+6,, 

现在 来 考虑 两 个 用 系数 形式 表示 的 、 次 数 界 为 ”的 多 项 式 A(z) 和 Bo) WRB. WRA 
式 (30. 1) 和 式 (30. 2) 中 所 描述 的 方法 ， 完 成 多 项 式 乘 法 所 需 时 间 就 是 6(”)， 因 为 向 量 a 中 的 每 
个 系数 必须 与 器 量 b 中 的 每 个 系数 相 乘 。 当 用 系数 形式 表示 时 ， 多 项 式 乘 法 运算 似乎 要 比 求 多 项 
式 值 和 多 项 式 加 法 的 运算 更 困难 。 由 式 (30. 2) 推 导 给 出 的 系数 回 量 c 也 称 为 输入 向 量 a 和 2 的 卷 
积 (convolution) ， 表 示 成 c 一 ac98g。 因 为 多 项 式 乘 法 与 卷 积 的 计算 都 是 最 基本 的 计算 问题 ， 这 些 
问题 在 实际 应 用 中 非 党 重要， 所 以 本 章 将 重点 讨论 有 关 的 高 效 算法 。 

点 值 表达 

一 个 次 数 界 为 n 的 多 项 式 A(z) 的 点 值 表 达 就 是 一 个 由 个 点 值 对 所 组 成 的 集合 

{ (zo yo) 9 (2, Mids ri E s Yn)? 
使 得 对 k=0, 1, «+, n—-1, WA xz 各 不 相同 ， 
Me = Alr) (30. 3) 
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一 个 多 项 式 可 以 有 很 多 不 同 的 点 值 表达 ， 因为 可 以 采用 ?个 不 同 的 点 zo， 站 ，… 
合作 为 这 种 表示 方法 的 基 。 

对 一 个 用 系数 形式 表达 的 多 项 式 来 说 ， 在 原则 上 计算 其 点 值 表达 是 简单 易 行 的 ， 因 为 我 们 
所 要 做 的 就 是 选取 ”个 不 同 zx， Lis “"“” 3 Ay-19 然后 对 k= 上 二 1 求 出 A(x)» RHE 
纳 法 则 ， 求 出 这 个 点 值 所 需 时 间 复 杂 度 为 6(w)。 在 稍 后 可 以 看 到 ， 如 果 我 们 巧妙 地 选取 点 
Xp» 就 可 以 加 速 这 一 计算 过 程 ， 使 其 运行 时 间 变 为 Qnlgn), 

求 值 计算 的 首 (从 一 个 多 项 式 的 点 值 表达 确定 其 系数 表达 形式 ) 称 为 插值 。 下 面 定 理 说 明 ， 当 
插值 多 项 式 的 次 数 界 等 于 已 知 的 点 值 对 的 数目 ， 插 值 才 是 明确 的 。 

定理 30. 1( 插 值 多 项 式 的 唯一 性 ) 对 于 任意 nt 个 点 值 对 组 成 的 集合 { (xo， Yoo» (Lis y), oe 
其 中 所 有 的 Zz 都 不 同 ; PMAAAE—HKAFRA nH SRXACD), ŽA y= 


9 Zn- 构成 的 集 


(75 Yn- 1)}， 


Alx), k= 0, 1, wees n— l, 
证 明 证 明 主 要 是 根据 某 个 矩阵 存在 逆 和 矩阵 。 式 (30. 3) 等 价 于 矩阵 方程 
t &% C T ao Yo 
S oe ale ia (30. 4) 
| l aa a s c] lan nl 
左边 的 矩阵 表示 为 Via» Tis °**s Ta-17)， 称 为 范 德 蒙 德 矩阵 ， 根据 思考 题 D1, 该 矩阵 的 
行列 式 值 为 
i (a x;) 
因此 ， 由 定理 D. 5， 如 果 zs AA, 则 该 矩阵 是 可 逆 的 ( 即 非 奇异 的 )。 因此 ， 给 定点 值 表达 ， 
我 们 能 够 唯一 确定 系数 a: 
| Qa = V(r) y 图 


定理 30. 1 的 证 明 过 程 描述 了 基于 求解 线性 方程 组 ( 式 (30. 4)) 的 一 种 插值 算法 。 利 用 第 28 章 
中 的 LU 分 解 算法 ， 我们 可 以 在 Ow ) 的 时 间 复 杂 度 内 求 出 这 些 方程 的 解 。 
一 种 更 快 的 基于 n 个 点 的 插值 算法 是 基于 如 下 拉 格 朗 日 公式 : 





(30. 5) 


读者 可 以 验证 等 式 (30. 5) 的 右 端 是 一 个 次 数 界 为 n 的 多 项 式 ， 并 满足 对 所 有 有 ，A(zi) 二 y。 练 
y 30. 1-5 要 求 读 者 运用 拉 格 朗 日 公式 ， 在 OC ) 的 时 间 复 杂 度 内 计算 A 的 所 有 系数 。 
因此 ,个 点 的 求 值 运算 与 插值 运算 是 定义 完备 的 互 逆 运 算 ， 它们 将 多 项 式 的 系数 表达 与 点 
值 表 达 进 行 相互 转化 > 。 对 于 这 些 给 出 的 问题 ， 上 面 给 出 算法 的 运行 时 间 为 OC’). 
对 许多 多 项 式 相关 的 操作 ， 点 值 表 达 是 很 便利 的 。 对 于 加 法 ， 如 果 CSABI), 
对 任意 点 a. WE Clzi) 二 Alzi) 十 BC(zi)。 更 准确 地 说 ， 如 果 已 知 A 的 点 值 表达 
{ (Xo Yo) AE 9 V1 De 9 Yr- )} 
和 B 的 点 值 表达 
| {ay YO) 9 (tri) 9089 (Lea Head} 
(注意 ，A 和 B 在 相同 的 ?个 位 置 求 值 )， 则 C 的 点 值 表达 是 
{ Co » Yo + yo)» (tsy Hyi), (tea F Ymi)? 


© 从 数值 和 定性 的 角度 揪 值 是 一 个 众所周知 的 棘手 的 问题 。 尽 管 这 里 所 描述 的 方法 在 数学 上 是 正确 的 ， 但 在 计 
算 期 间 输 入 的 微小 不 同 ， 或 者 四 售 五 人 的 误差 都 会 造成 结果 的 很 大 不 同 。 
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因此 ， 对 两 个 点 值 形式 表 示 的 次 数 界 为 n 的 多 项 式 相 加 ， 所 需 时 间 复 杂 度 为 O). 

类 似 地 ， 对 于 多 项 式 乘法 ， 点 值 表达 也 是 方便 的 。 如 果 C) SAB), WAFER 
Lrs Clay )=Alx,) Bla), HEX A 的 点 值 表 达 和 B 的 点 值 表达 进行 逐 点 相 乘 ， 就 可 得 到 C 的 
点 值 表达 。 不 过 ， 我 们 也 必须 面 对 这 样 一 个 问题 ， 即 degree(C) =degree(A) +degree(B); 如 果 
A 和 B 次 数 界 为 x， 那么 C 的 次 数 界 为 2n。 对 于 A 和 B 每 个 多 项 式 而 言 ， 一 个 标准 点 值 表 达 是 
由 ?个 点 值 对 所 组 成 。 当 我 们 把 这 些 点 值 对 相 乘 ， 就 得 到 C 的 ”个 点 值 对 ， 由 于 C 的 次 数 界 为 
2n， 要 插值 获得 唯一 的 多 项 式 C， 我 们 需要 2n 个 点 值 对 (参见 练习 30. 1-4) 。 因 此 ， 必 须 对 A 和 
B 的 点 值 表达 进行 “扩展 ”， 使 每 个 多 项 式 都 包含 2n 个 点 值 对 。 给 定 A 的 扩展 点 值 表 达 

{ (Xo > Yo) (xy yı ka (Lat 9 .y2x 一 1 )} 
Al B 的 对 应 扩展 点 值 表达 : 
{ (Xo Yo) 9 (x, Yi Vg tes (Tor Vid ) } 
则 C 的 点 值 表 达 为 
{Cto , yoyo ) » (TI ny) tt s (Tom s Yan- Y?r )} 
给 定 两 个 点 值 扩展 形式 的 输入 多 项 式 ， 我 们 可 以 看 到 使 其 相 乘 而 得 到 点 值 形 式 的 结果 需要 O(n) 
时 间 ， 比 采用 系数 形式 表达 的 多 项 式 相 乘 所 需 时 间 少 得 多 。 

最 后 ， 我 们 考虑 对 一 个 采用 点 值 表达 的 多 项 式 ， 如 何 求 其 在 某 个 新 点 上 的 值 。 对 这 个 问题 ， 
最 简单 不 过 的 方法 就 是 先 把 该 多 项 式 转 换 为 系数 形式 表达 ， 然 后 在 新 点 处 求 值 。 

系数 形式 表示 的 多 项 式 的 快速 乘法 

我 们 能 和 否 利用 基于 点 值 形式 表达 的 多 项 式 的 线性 时 间 乘 法 算法 ， 来 加 速 基于 系数 形式 表达 
的 多 项 式 乘 法 运算 呢 ? 答案 关键 在 于 我 们 能 和 否 快速 把 一 个 多 项 式 从 系数 形式 转换 为 点 值 形 式 ( 求 
值 )， 以 及 从 点 值 形式 转换 为 系数 形式 (插值 )。 

我 们 可 以 采用 任何 点 作为 求 值 点 ， 但 通过 精心 地 挑选 求 值 点 ， 可 以 把 两 种 表示 法 之 间 转 化 
所 需 的 时 间 复 杂 度 变 为 8(n lgn)。 如 将 在 30. 2 节 看 到 的 ， 如 果 选 择 “ 单 位 复数 根 ” 作 为 求 值 点 ， 
我 们 可 以 通过 对 系数 向 量 进行 离散 傅 里 叶 变 换 ( 或 DFT) ， 得 到 相应 的 点 值 表 达 。 我 们 也 可 以 通 
过 对 点 值 对 执行 “ 逆 DFT 变换， 而 获得 相应 的 系数 向 量 ， 这 样 就 实现 了 求 值 运算 的 道 运算 一 一 
插值 。30. 2 节 将 说 明 FFT 如 何在 9(zlgz) 的 时 间 复 杂 度 内 完成 DFT Aw DFT 运算 。 

图 30-1 图 解 了 这 种 策略 。 其 中 的 一 个 细节 涉及 次 数 界 。 两 个 次 数 界 为 n 的 多 项 式 乘 积 是 一 
个 次 数 界 为 2n 的 多 项 式 。 因 此 ， 在 对 输入 多 项 式 A MB 进行 求 值 以 前 ， 首 先 把 这 两 个 多 项 式 在 
高 次 系数 前 添加 个 0， 使 其 次 数 界 加 售 为 2n。 因 为 现在 这 些 向 量 有 2n 个 元 素 ， 我 们 可 以 采用 
“On 次 单位 复数 根 "”， 在 图 30-1 中 标记 为 wa。 
ma 普通 乘法 

te Bt O(n’) 





时 间 O(n) 


图 30-1 一 种 高 效 的 多 项 式 乘法 过 程 图 示 。 上 方 代表 系数 形式 表达 ， 下 方 代表 后 值 形 
式 表 达 。 从 左 到 右 的 箭头 对 应 于 乘法 操作 。 项 wn 是 2n 次 单位 复数 根 


给 定 FFT， 我 们 就 有 下 面 时 间 复 杂 度 为 9(nlgn) 的 方法 ， 该 方法 把 两 个 次 数 界 为 n 的 多 项 式 
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A(z) 和 B(x) 进行 乘法 运算 ,其 中 输入 与 输出 均 采 用 系数 表达 。 假 设 是 2 KR. mE, RI 
可 以 通过 添加 系数 为 0 的 高 阶 系数 ， 来 满足 这 个 要 求 。 

l. 加 倍 次 数 界 : 通过 加 入 nn 个 系数 为 0 的 高 阶 系 数 ， 把 多 项 式 ADAM B(xz) 变 为 次 数 界 为 
2n 的 多 项 式 ， 并 构造 其 系数 表达 。 

2. Ri: 通过 应 用 2n 阶 的 FFT 计算 出 ACz) 和 B(x) 的 长 度 为 2n 的 点 值 表 达 。 这 些 点 值 表 
达 中 包含 了 两 个 多 项 式 在 2n 次 单位 根 处 的 取 值 。 

3. 逐 点 相 乘 : 把 A(Cz) 的 值 与 B(z) 的 值 逐 点 相 乘 ， 可 以 计算 出 多 项 式 C(x) 二 A(x)B(z) 的 
点 值 表达 ， 这 个 表示 中 包含 了 C(xz) 在 每 个 2n 次 单位 根 处 的 值 。 

4. 插值 : 通过 对 2n 个 点 值 对 应 用 FFT， 计 算 其 逆 DRT， 就 可 以 构造 出 多 项 式 C(z) 的 系数 
表达 。 
执行 第 1 步 和 第 3 步 所 需 时 间 为 @(n)， 执 行 第 2 步 和 第 4 步 所 需 时 间 为 6(nlgn)。 因 此 ， 一 
旦 表明 如 何 运 用 FFT， 我 们 就 已 经 证 明了 下 面 定理 。 

定理 30.2 当 输 入 与 输出 多 项 式 均 采 用 系数 表达 时 ， 我 们 就 能 在 Blnlgn) 时 间 复 杂 度 内 ， 计 


算出 两 个 次 数 界 为 即 的 多 项 式 乘积 。 a 

练习 

30. 1-1 运用 等 式 (30.1) 和 (30. 2) 把 下 列 两 个 多 项 式 相 乘 : A(z) =7r — 2’ +2—-10 和 Bla) = 
Br —6z+3, 


30. 1-2 求 一 个 次 数 界 为 n 的 多 项 式 A(z) 在 某 给 定点 zo 的 值 存在 男 外 一 种 方法 ; 把 多 项 式 ACzx) 
除 以 多 项 式 (x 一 xo。)， 得 到 一 个 次 数 界 为 n 一 1 的 商 多 项 式 OMRI r WEA) = 
qr) (zx 一 wo) 十 r。 很 明显 ，ACzo) 二 r。 请 说 明 如 何 根据 xz。 和 A 的 系数 ， 在 OC) HE 
复杂 度 内 计算 出 余 项 r 以 及 q(xz) 的 系数 。 


30.13 MAW = Sa! 的 点 值 表达 推导 出 Aw(z) = Danie! 的 点 值 表达 ， 假 设 没有 一 个 


点 是 0。 

30.1-4 证 明 : 为 了 唯一 确定 一 个 次 数 界 为 ”的 多 项 式 ，* 个 相互 不 同 的 点 值 对 是 必需 的 ， 也 就 
是 说 ， 如 果 给 定 少 于 n 个 不 同 点 值 对 ， 则 它们 不 能 唯一 确定 一 个 次 数 界 为 n 的 多 项 式 。 
(提示 ; 利用 定理 30.1， 加 入 一 个 任意 选择 的 点 值 对 到 一 个 已 有 n 一 1 个 点 值 对 的 集合 ， 
看 看 会 发 生 什么 ?) 

30.1-5 ”说 明 如 何 利用 等 式 (30. 5) 在 @(mw) 时 间 复杂 度 内 进行 插值 运算 。( 提 示 ; 首先 计算 多 项 
R [[ (z 一 志 ) 的 系数 表达 ， 然 后 把 每 个 项 的 分 子 除 以 (zx 一 x); 参见 练习 30. 1-2。 你 可 


以 在 O(n) 时 间 复 杂 度 内 计算 ”个 分 母 中 的 每 一 个 。) 

30.16 ”请 解释 在 采用 点 值 表达 时 ， 用 “显然 ”的 方法 来 进行 多 项 式 除法 ， 哪 里 出 现 了 错误 ， 即 除 
以 相应 的 y 值 。 请 对 除法 有 确定 结果 与 元 确定 结果 两 种 情况 分 别 进行 讨论 。 

30.1-7 考虑 两 个 集合 A 和 B， 每 个 集合 包含 取 值 范 围 在 0 一 10” 之 间 的 n 个 整数 。 我 们 希望 计 
算出 A 与 B 的 笛 卡 儿 和 ， 定 义 如 下 : 

| C= {z+y:TE Ary € B} 

注意 到 ，C 中 整数 值 的 范围 在 0~20n 之 间 。 我 们 希望 找到 C 中 的 元 素 ， 并 且 求 出 C 中 
的 每 个 元 素 可 表示 为 A 中 元 素 与 B 中 元 素 和 的 次 数 。 请 在 O(nlgn) 的 时 间 内 解决 这 个 问 
B. RE: 请 用 次 数 至 多 是 10n 的 多 项 式 来 表示 A AB.) 


30.2 DFT 与 FFT 
在 30. 1 节 中 ， 我 们 断言 : 如 果 使 用 单位 复数 根 ， 可 以 在 (nlgn) 时 间 内 完成 求 值 与 插值 运 


面 的 原点 为 圆心 的 单位 半径 的 圆周 上 。 值 
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算 。 在 本 节 中 ， 我 们 给 出 单位 复数 根 的 定义 ， 并 研究 其 性 质 ， 以 及 定义 DFT， 然 后 说 明 FFT 如 
何 仅 用 @(nlgn) 时 间 就 可 以 计算 出 DFT AERX. 
单位 复数 根 
n 次 单位 复数 根 是 满足 w" 三 1 的 复数 w。n 次 单位 复数 根 恰好 有 nn 个: 对 于 =0，1，…， 
n 一 1， 这 些 根 是 ew”。 为 了 解释 这 个 表达 式 ， 我 们 利用 复数 的 指数 形式 的 定义 : 
e* = cos(u) +isin(u) 


图 30-2 说 明 ”个 单位 复数 根 均 习 地 分 布 在 以 复 平 


=e (30. 6) 
MAE n RARO, HAR n KES BOR a 
FE Wn 的 大 次 。 

1 个 ?次 单位 复数 根 a» Wn » ees am 在 乘法 
意义 下 形成 一 个 群 ( 参 见 31. 3 节 )。 该 群 与 加 法 群 
(Zo +) (整数 模 n) 具 有 相同 的 结构 ， 因 为 ah = 
an = LER oh on = ah =a", ARH, ww = 
wr!。 下 面 的 引 理 给 出 了 n 次 单位 复数 根 的 一 些 基 图 30-2 ERP TEE os w > os 的 值 ， 其 





本 性 质 。 中 wm 一 er" 是 主 8 次 单位 根 
引 理 30. 3( 消 去 引 理 ) 对 任何 整数 nS0, k20, AA d>0, 
dk __ k 
Wan 一 Wn (30. 7) 
WEAR 由 式 (30. 6) 可 以 直接 推出 引 理 ， 因 为 
ws, == (ei dn ) de =Z (@2™/n )& = ee E 


推论 30.4 对 任意 偶数 n0, A 
wo? = a 一 一 1 
证 明 证 明 留 作 练习 30. 2-1。 E 
引 理 30. 5( 折 半 引 理 ) wR n> 为 偶数 ， 那 么 nn 个 n 次 单位 复数 根 的 平方 的 集合 就 是 n/2 
个 n/2 次 单位 复数 根 的 集合 。 
证 明 BGR ASIF, WERE BM, RNA)’ =a. EER, MRA n 次 单位 
复数 根 进行 平方 ， 那 么 获得 每 个 n/2 次 单位 根 正 好 2 次 ， 因 为 


CTPS = wt = at = gt = (an)? 


Auk, o& Gott”? 平方 相同 。 我 们 也 可 以 由 推论 30.4 来 证 明 该 性 质 ， 因 为 oo’ =—-1 意味 着 
wt? =o PA Catt”)? = (an)? E 
我 们 将 会 看 到 ， 折 半 引 理 对 于 用 分 治 策略 来 对 多 项 式 的 系数 与 点 值 表达 进行 相互 转换 是 非 
常 重要 的 ， 因 为 它 保 证 递归 子 问题 的 规模 只 是 递归 调用 前 的 一 半 。 
引 理 30. 6( 求 和 引 理 ) 对 任意 整数 nS 1 和 不 能 被 nn 整除 的 非 负 整 数 k， 有 


证 明 等 式 (A. 5) 既 适用 于 实数 ， 也 适用 于 复数 ， 因 此 有 


A 1l O @)'-1 ml _ 
D4 Cah) 7 w, — 1l 7 a l > w — 1 = 
因为 要 求 & 不 能 被 n ER, HA Fin BRN of =1 成 立 ， 同 时 保证 分 母 不 为 0。 加 


O ”很 多 其 他 作者 对 on 有 不 同 的 定义 : nme ?mW"*。 这 个 可 替 的 定义 一 般 用 在 信号 处 理应 用 中 。 这 两 个 w 的 定义 ， 
其 背后 的 数学 含义 基本 上 是 相同 的 。 
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DFT 
回顾 一 下 ， 我 们 希望 计算 次 数 界 为 n 的 多 项 式 


n—1 
A(x) = Dari 
;=0 


在 四, ahs aby ty a 处 的 值 ( 即 在 nn 个 n MAT BONDS. (BE A 以 系数 形式 给 出 : 
a= (aos Ay» “5 An D. 接 下 来 对 k= 0, 1, «+, n—Il, 定义 结果 yr: 
y = Alt) = Sa! (30. 8) 


[ra] y= (yos Mo os ys-1) 就 是 系数 问 量 a= (ags Ay ***, dn-1) 的 离散 健 里 了 时 变换 (DFT) 6 我 
们 也 记 为 y=DFT, (a). 
FFT | 
通过 使 用 一 种 称 为 快速 傅 里 叶 变 换 (FFT) 的 方法 ， 利 用 复数 单位 根 的 特殊 性 质 ， 我 们 就 可 以 
在 9(z1lgz) 时 间 内 计算 出 DFT, (a)， 而 直接 的 方法 所 需 时 间 为 (0*”)。 通 篇 假设 2 恰好 是 2 的 整 
数 宕 。 尽 管 处 理 非 2 的 整数 笑 的 策略 已 存在 ， 但 它们 超出 了 本 书 的 范围 。 
FFT 利用 了 分 治 策略 ， 采 用 A(z) 中 偶数 下 标的 系数 与 奇数 下 标的 系数 ， 分 别 定义 两 个 新 的 
次 数 界 为 n/2 WEAR AM (xz) 和 AM (x): 
| AI Cr) = as Har Hat H H ana 
AUI (x) = a, tasrtaaz? +e +H anar 
ERS, AM (xz) 包含 A 中 所 有 偶数 下 标的 系数 (下 标的 相应 二 进 制 表 达 的 最 后 一 位 为 0) ， 以 及 
AN (2) Aa A 中 所 有 奇效 下 标的 系数 (下 标的 相应 二 进 制 表 达 的 最 局 一 位 为 1) 。 于 是 有 
A(x) = Al (2?) + rA (2?) (30. 9) 
PRU, RACE oh ans ots ot ”处 的 值 的 问题 转换 为 : 
1. 求 次 数 界 为 n/2 的 多 项 式 AM (xc) A AM (2) ER 
Co)? Car)? Cr )? (30. 10) 
的 取 值 。 
2. 根据 式 (30.9) 综 合 上 述 结果 ， 
根据 折 半 引 理 ， 式 (30. 10) 并 不 是 由 nn 个 不 同 值 组 成 ， 而 是 仅 由 n/2 个 n/2 次 单位 复数 根 所 
组 成 ， 每 个 根 正好 出 现 2 次 。 因 此 ， 我 们 递归 地 对 次 数 界 为 n/2 HAM AM (x) A AM (xz) 在 
n/2 个 n/2 次 单位 复数 根 处 进行 求 值 。 这 些 子 问 题 与 原始 问题 形式 相同 ， 但 规模 变 为 一 半 。 现 在 ， 
我 们 已 成 功 地 把 一 个 = 个 元 素 的 DFT, 计算 划分 为 两 个 规模 为 n/2 个 元 素 的 DFTw 计 算 。 这 一 分 
解 是 下 面 递 归 FFT 算法 的 基础 ， 此 算法 计算 出 一 个 由 ?个 元 素 组 成 向 量 a 一 (ao，a，…，a-1) 
的 DET, 其中, 是 2 HOR. 


RECURSIVE-FFT(a) 
1 n=a. length // nis a power of 2 
2 ifn==1 | 
3 return a 
4 w,=e/ | 
5 w=l1 
6 
7 ai 一 (ai ja; 9°" Qn 1) 
8 


y= RECURSIVE-FFT(a™) 
| 
| 
O ”这 里 的 长 度 ” 实 际 上 是 30.1 节 中 所 指 的 2"， 因 为 我 们 可 以 在 求 值 以 前 ， 加 倍 给 定 多 项 式 的 次 数 界 。 因 此 ， 在 多 
项 式 乘法 的 相关 内 容 中 ， 实 际 上 处 理 的 是 On 次 单位 根 。 


| 
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9 y=RECURSIVE-FFT(al!) 
10 for k=0 ton/2—1 


11 =e Hwy” 

12 Veet (n/2) = yi —wy! 

13 凶 一 CKuwn 

l4 return y // y is assumed to be a column vector 


RECURSIVE-FFT 的 执行 过 程 如 下 。 第 2 一 3 行 代表 递归 的 基础 ;一 个 元 素 的 DFT 就 是 该 
元 素 自 身 ， 因 为 在 这 种 情形 下 ， 
Yo = aoh = a ° 1 = ao 
第 6 一 7 行 定义 多 项 式 A (OA AM (z) 的 系数 向 量 。 第 4、5 和 13 行 保证 w 可 以 正确 更 新 ， 只 
要 第 11 一 12 行 被 执行 ， 就 有 w 二 ws。( 次 次 迭代 中 让 w 的 值 改变 可 以 节约 每 次 通过 for 循环 重新 
计算 wi 的 时 间 )。 第 8 一 9 行 执行 递归 计算 DFTw ， 对 于 R=0, 1, ++, n/2—-1, 
a” = Ae (cwn/2 ) 
y” = Al (cos ) 
或 者 ， 根 据 消去 引 理 ， 有 os 二 we， 于 是 
of) = Am (at) 
y” = Al (w) 
第 11 一 12 行 综合 了 递归 DFTw 的 计算 结果 。 对 yos ys to Yme9 R 11 行 推出 : 
y= J Hay 
= A (wt) + AT (wt) 
= At) CARE X (30. 9)) 
对 Vn/29 yn/2+1，“" ”yn 一 1， 设 k=0, l, ，……， 1/ 2 一 1， 第 12 行 推出 : 
JJA+(V2) 一 y” z aky 
= ya eee? yh (因为 gE wa =— yt) 
= Alo Cwt) + ag AU Cwt) 
一 All Cat") Fapt? AH ¢ ot) ( 因 为 ttn == wo") 
= AG") (根据 式 (30. 9)) 
因此 ， 由 RECURSIVE-FFT 返回 的 向 量 y 确实 是 输入 向 量 a 的 DFT。 

ER 11~12 TX R=0, 1, +, n/2—1, BME wo RT ws。 在 第 11 行 中 ， 这 个 乘积 加 到 
Tob, REA 12 行 又 减 去 它 。 因 为 应 用 了 每 个 因子 of 的 正 数 形式 和 负数 形式 ， 我 们 把 因子 
以 称 为 旋转 因子 《twiddle factor). 

为 了 确定 过 程 RECURSIVE-FFT 的 运行 时 间 ， 注 意 到 除了 递归 调用 外 ， 每 次 调用 所 需 的 时 
间 为 8(n)， 其 中 是 输入 向 量 的 长 度 。 因 此 ， 对 运行 时 间 有 下 列 递 归 式 : 

T(n) = 2T(n/2) + Oln) = O(nlgn) 
Ah, RAR BR, FRNA WE @(nlgn) 时 间 内 ， 求 出 次 数 界 为 n 的 多 项 式 在 次 单位 
复数 根 处 的 值 。 

在 单位 复数 根 处 插值 

现在 我 们 展示 如 何在 单位 复数 根 处 插值 来 完成 多 项 式 乘法 方案 ， 使 得 我 们 把 一 个 多 项 式 从 
点 值 表达 转换 回 系数 表达 。 我 们 如 下 进行 插值 : 把 DFT 写成 一 个 矩阵 方程 ， 然 后 再 观察 其 道 矩 
阵 的 形式 。 
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根据 等 式 (30. 4) ， 我 们 可 以 把 DFT 写成 矩阵 乘积 y=Via, HPV, 是 一 个 由 w, ERKA 


FC BL Te FB Se Fe ES 
J E g 4 1 1 ae 
1 2 3 一 1 
yı Wn Wn wW w a, 
1 2 4 6 2(n—1) 
X2 Wyn Wn Wn Q2 
y E ] o ae a 3(n—1) ay 
4 1 “at noe 了 aT VD An-] 
Xİ j, k=0, l, sey Amla Va HJ Ck, 7 处 元 素 为 wn o Vn 中 元 素 的 指数 组 成 一 张 乘 法 表 。 对 于 逆 


运算 a=DFT; (9), 我们 把 y RA V, KERE Vy 来 进行 处 理 。 


定理 30.7 3j, k=0, 1, 


»>n—-l, V,' HG, DARA w,"/n. 


证 明 我 们 证 明 Va V, =I HPI, AnxXn EE: # V V, BG, 7 AWG : 


WRI Sj, M RA —(n—1)< 
7 一 j 委 ”一 1， 使 得 7 一 7) 不 能 被 n 整除 ， 才 能 应 用 求 和 引 理 。 Ry 
were wie V;:， 可 以 推导 出 DFT; Cy): 
; = LS yar" (30.11) 
其 中 7 二 0，1，…， nn 一 1。 通 过 比较 式 (30. 8) 与 式 (30. 11) ， 我 们 可 以 看 到 ， 对 FFT 算法 进行 如 
下 修改 就 可 以 计算 出 逆 DFT( 人 参见 练习 30. 2-4): 把 a 与 y 互 换 ， Ho 替换 ww,， 并 将 计算 结果 
的 每 个 元 素 除 以 xn。 因此 ， 我 们 也 可 以 在 8(nlgn) 时 间 内 计算 出 DFT; :! 。 


[Ve > Can” /n) Cost 


att —j) /n 


= 


则 此 和 为 1; 否则 ， 根 据 求 和 引 理 ( 引 理 30.6), AAO. HER, 


我 们 可 以 看 到 ， 通 过 运用 FFT Sw FFT, AUE (nlgn) 时 间 内 把 次 数 界 为 n 的 多 项 式 
在 其 系数 表达 与 点 值 表达 之 间 进 行 相互 转换 。 在 矩阵 乘法 的 相关 内 容 中 ,已 经 说 明了 下 面 


结论 


定理 30. 8( 卷 积 定 理 ) ”对 任意 两 个 长 度 为 nn 的 向 量 a 和 bb， 其 中 nn 是 2 的 需 ， 


a CO b = DFT; (DFT,,, (a) ° DFT, (b)) 


其 中 向 量 a 和 6b 用 0 填充 ， 使 其 长 度 达 到 2n， 并 用 “. ”表示 2 个 2n 个 元 素 组 成 向 量 的 点 乘 。 ON 


练习 
30. 2-1 
30. 2-2 
30. 2-3 
30. 2-4 
30. 2-5 
+30. 2-6 


30. 2-7 


证 明 推 论 30. 4. 

计算 向 量 (0，1，2，3) 的 DFT. 

采用 运行 时 间 为 (nlgn) 的 方案 完成 练习 30. 1-1。 

写 出 伪 代 码 ， 在 Blnlgn) 运 行 时间 内 计算 出 DFT : 。 

请 把 FET 推广 到 是 3 的 符 的 情形 ， 写 出 运行 时 间 的 递归 式 并 求解 。 

假设 我 们 不 是 在 复数 域 上 执行 n 个 元 素 的 FFT( 其 中 为 偶数 )， 而 在 整数 模 m 生成 的 环 
Z。 上 执行 FFT， 其 中 m= 二 2”? 十 1， 且 zt 是 任意 正 整 数 。 在 模 m HBL, HoH? 代替 
on 作为 主 n 次 单位 根 。 证明， 在 该 系统 中 ，DFT 与 道 DFT 定义 是 完备 的 。 

给 定 一 组 值 Zos Zis °°%9 Zn 一 1 (可 能 有 重复 ) 9 说 明 如 何 求 出 仅 以 Zos Be ey Zy CA] 
能 有 重复 ) 为 零点 的 一 个 次 数 界 为 ntl 的 多 项 式 P(z) 的 系数 。 你 给 出 的 过 程 运行 时 间 
应 为 Olnlg*n)。( 提 示 : 当 且 仅 当 PC(z) 是 (x 一) 的 倍数 时 ， 多 项 式 PCr) z MME 
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为 0。) 
*30. 2-8 一 个 问 量 Q 一 (ao， Ais ”Cn _1) 的 线性 调频 变换 (chirp transform) 是 问 量 y= (yos Yis ”5 
Yn) HP y = Sa" ，z 是 任意 复数 。 因 此 ， 通 过 取 e=w,, DFT 是 线性 调频 变换 的 
Rb Ha 对 任意 复数 z， 请 说 明 如 何在 O(nlgn) 时 间 内 求 出 线性 调频 变换 的 值 。( 提 
: 利用 等 式 


n—] 
= 2S) (agi?) (ge?) 
J 
j=0 


可 以 把 线性 调频 变换 看 做 一 个 卷 积 。) 


30.3 ”高效 FFT 实现 
因为 DFT 的 实际 应 用 (如 信号 处 理 ) 中 需要 尽 可 能 快 的 速度 ， 本 节 将 探究 两 种 高 效 的 FFT 实 
现 方法 。 首 先 ， 我 们 来 讨论 一 种 运行 时 间 为 8(nlgn) 的 FFT 迭代 实现 方法 ， 不过， 在 此 运行 时 
间 的 @ 记 号 中 ， 隐 含 的 稼 数 要 比 30. 2 节 中 递归 实现 方法 的 常数 小 。( 如 果实 现 精 确 ， 这 个 递归 方 
法 可 能 会 更 加 高 效 地 应 用 硬件 缓存 。) 然 后 ， 我 们 将 深入 分 析 和 迭代 实现 方法 ， 设 计 出 一 个 高 效 的 并 
行 FFT 电 路 。 
FFT 的 一 种 迭代 实现 
首先 我 们 注意 到 ， 在 RECURSIVE-FFT 中 ,第 10 一 13 行 的 for 循环 中 包含 了 oy 的 2 次 
计算 。 在 编译 术语 中 ， 我 们 称 该 值 为 公用 子 表达 式 (common subexpression) 。 我 们 可 以 改变 循环 ， 
使 其 仅 计算 一 次 ， 并 将 其 存放 在 临时 变量 t+ 中 。 
for k=0 ton/2—1 
t=wyh" 
Set 
Itam = et 
在 这 个 循环 中 ， 把 旋转 因子 w= 二 wt RU yi, BRAGA t 中 ， 然 后 从 yo 中 增加 及 减 
去 上 ， 这 一 系列 操作 称 为 一 个 蝴蝶 操作 (bufferfly operation), KI 30-3 图 解说 明了 执行 步骤 。 


yA toky 


0 kylt 
yP- pyi 





图 30-3 ”一 个 蝴蝶 操作 。(a) 两 个 输入 向 量 从 左边 进入 ， 旋 转 因子 of RA y, 
和 与 差 在 右边 输出 。(b) 一 个 蝴蝶 操作 的 简化 草图 。 我 们 将 在 一 个 并 
行 FFT 电路 中 使 用 此 表达 


现在 来 说 明 如 何 使 FFT 算 法 采用 迭代 结构 而 不 是 递归 结构 。 在 图 30-4 中 ， 我 们 已 把 输入 向 
量 安排 在 一 次 RECURSIVE-FFT 调用 相关 的 各 次 递归 调用 中 ， 将 输入 向 量 安排 成 树 形 结构 ， 其 
中 初始 调用 时 有 n= 二 8。 树 中 的 每 一 个 结 点 对 应 每 次 过 程 递 归 调 用 ， 由 相应 的 输入 向 量 标记 。 每 
次 RECURSIVE-FFT 调用 产生 两 个 递归 调用 ， 除 非 该 调用 已 收 到 了 1 个 元 素 的 向 量 。 第 一 次 调 
用 作为 左 孩 子 ， 第 二 次 调用 作为 右 孩 子 。 
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观察 此 树 ， 我 们 注意 到 ， 如 果 把 初始 向 量 a 中 的 元 素 按 其 在 叶 中 出 现 次 序 进 行 安排 ， 就 可 以 
对 过 程 RECURSIVE-FFT 的 执行 进行 追踪 ， 不 过 是 自 底 向 上 而 不 是 自 顶 向 下 。 首 先 ， 我 们 成 对 
取出 元 素 ， 利 用 一 次 蝴蝶 操作 计算 出 每 对 的 DFT， 然 后 用 其 DFT 取代 这 对 元 素 。 这 样 向 量 中 就 
包含 了 n/2 个 二 元 素 的 DFT。 下 一 步 ， 我 们 按 对 取出 这 n/2 个 DRFT， 通 过 两 次 蝴蝶 操作 计算 出 
具有 四 个 元 素 向 量 的 DFT， 并 用 一 个 具有 四 个 元 素 的 DFT 取代 对 应 的 两 个 二 元 素 的 DFT。 于 是 
向 量 中 包含 w/4 个 四 元 素 的 DFT。 继 续 进行 这 一 过 程 ， 直 至 向 量 包 含 两 个 具有 n/2 个 元 素 的 
DFT， 这 时 ， 我 们 综合 应 用 n/2 次 蝴蝶 操作 ， 就 可 以 合成 最 终 的 具有 7 个 元 素 的 DFT. 
为 了 把 这 个 自 底 向 上 的 方法 变 为 代码 ， 我 们 采用 了 一 个 数组 A[L0..n 一 1]， 初 始 时 该 数组 包 
含 输入 向 量 a 中 的 元 素 ， 其 顺序 为 它们 在 图 30-4 中 树叶 出 现 的 顺序 。( 我 们 在 后 面 将 说 明 如 何 确 
定 这 个 顺序 ， 这 也 称 为 位 逆序 置换 。) 因 为 需要 在 树 的 每 一 层 进 行 组 合 ， 于 是 引入 一 个 变量 s 以 计 
算 树 的 层次 ， 取 值 范围 为 从 1( 在 最 底层 ， 这 时 我 们 组 合 对 来 构成 二 元 素 的 DFT) 到 len ERM 
层 ， 这 里 我 们 要 对 两 个 具有 zV 2 个 元 素 的 DFT 进行 组 合 ， 以 产生 最 后 结果 ) 。 因 此 ， 这 个 算法 有 
如 下 结构 : 
1 for s=1 to lgn 
2 for k=0 to n—1 by 2’ 
3 combine the two 2° !-element DFTs in 
ALR. R+27 Land A[k 二 2"!..& 十 2: 一 1] 
into one 2:-element DFT in A[&.. k+2'—1] 


我 们 可 以 用 更 精确 的 伪 代 码 来 描述 第 3 行 中 的 循环 主体 部 分 。 从 子 程序 RECURSIVE-FFT 中 复 
制 for 循环 ， 让 六 与 ALk..k 十 2 一 1 一 致 ，y 与 AL 二 2..& 十 2 一 1 一 致 。 在 每 次 蝴蝶 
操作 中 ， 使 用 的 旋转 因子 依赖 于 * 的 值 ， 它 是 w WH, HP m=, SARE m 仅 为 使 代码 
易 读 。) 我 们 又 引入 另 一 个 临时 变量 w， 使 得 能 恰当 地 执行 蝴蝶 操作 。 当 用 循环 主体 来 取代 第 3 
行 的 整个 结构 时 ， 就 得 到 下 面 的 伪 代 码 ， 它 是 稍 后 我 们 将 展示 的 并 行 实现 的 基础 。 这 个 代码 首 
先 调 用 辅助 过 程 BIT-REVERSE-COPY(a，A)， 把 向 量 a 按 我 们 所 需要 的 初始 顺序 复制 到 数组 
A‘, 


ITERATIVE-FFT(a) 
1 BIT-REVERSE-COPY(a,A) 
2 n=a. length //n is a power of 2 
3 for s= 1 to lgn 

4 m=? 

5 Wn = g2ni/m 

6 for k=0 to 7 一 ] by m 

7 a=] 

8 for j=0 to m/2—1 

9 © t=wAlk+j+m/2] 
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10 u=A[k+j] 

11 Alk+j]=u+t 

12 Alkt+j+m/2]=u-t 
13 w= WW m 

14 return A 


BIT-REVERSE-COPY 是 如 何 把 输入 向 量 a 中 的 元 素 按 希望 的 顺序 放 人 数组 A? 在 图 30-4 
中 ， 叶 出 现 的 顺序 是 一 个 位 逆序 置换 。 也 就 是 说 ， 如 果 让 rev(R) 为 & 的 二 进 制 表示 各 位 道 序 所 形 
成 的 lgn 位 的 整数 ， 那 么 我 们 希望 把 向 量 中 的 元 素 a MERA AL revo liek. Plan, Æ 
图 30-4 中 ， 叶 出 现 的 次 序 为 0，4，2，6，1，5，3，7; 这 个 序列 用 二 进 制 表示 为 000，100， 
010，110，001，101，011，111， 当 把 二 进 制 表 示 各 位 逆序 后 ， 得 到 序列 000，001，010，011， 
100，101，110，111。 为 了 获得 一 般 情况 下 的 位 逆序 置换 ， 注 意 到 在 树 的 最 顶层 ， 最 低位 为 0 的 
下 标 在 左 子 树 中 ， 以 及 最 低位 为 1 的 下 标 在 右 子 树 中 。 在 每 一 层 去 掉 最 低位 后 ， 我 们 沿 着 树 往 下 
继续 这 一 过 程 ， 直 到 在 叶子 得 到 由 位 逆序 置换 给 出 的 顺序 。 

由 于 很 容易 计算 函数 rev(&) ， 因 此 过 程 BIT-REVERSE-COPY 相对 人 简单， 


BIT-REVERSE-COPY (a,A) 
l n=a. length 

2 for k=0 ton—1 

3 ALrev(k) ]=a, 


这 种 迭代 的 FFT 实现 方法 的 运行 时 间 为 8(nlgn)。 调 用 BIT-REVERSE-COPY(a, A) Miz 
行 时 间 当 然 是 O(nlgn)， 因 为 迭代 了 nn 次 ,并 可 以 在 OClgn) 时 间 内 ， 把 一 个 O~n—1 之 间 的 lgn 
位 整数 逆序 。 (在 实际 中 ， 通 常事 先知 道 的 初始 值 ， 我 们 就 可 以 编制 出 一 张 表 ， 把 & 映 射 为 
rev(k)， 使 BIT-REVERSE-COPY 的 运行 时 间 为 6(n)， 且 该 式 中 隐 舍 的 常数 因子 较 小 。 此 外 ， 
我 们 也 可 以 采用 思考 题 17-1 中 描述 的 聪明 的 挫 还 逆序 二 进 制 计数 器 方案 )。 为 了 完成 
ITERATIVE-FFT 的 运行 时 间 是 (nlgn) 的 证 明 ， 需 要 说 明 最 内 层 循环 体 ( 第 8 一 13 行 ) 执 行 次 数 
LMA 8(nlgn)。 对 :的 每 个 值 ， 第 6 一 13 行 的 for 循环 迭代 了 n/m=n/2' R, 第 8 一 13 行 的 最 
内 层 循环 迭代 了 xyV2 王 2 一 :次 。 因 此， 


lgn lgn 
Lin) = 2 2 = 2 = nlgn) 
5 一 1 


并 行 FFT 电路 

我 们 可 以 利用 能 高 效 实现 一 个 迭代 FFT 算法 的 许多 性 质 ， 来 产生 一 个 高 效 的 并 行 FFT A 
法 。 我 们 将 把 并 行 FFT 算法 表示 成 一 个 电路 。 图 30-5 给 出 了 n=8 时 , 已 知 n 个 输入 ， 一 个 并 行 
FFT 电路 计算 FFT. 该 电路 开始 时 对 输入 进行 位 逆序 置换 ， 其 后 电路 分 为 lgn 级， 每 一 级 由 n/2 
个 并 行 执行 的 蝴蝶 操作 所 成 。 电 路 的 深度 定义 为 任意 的 输入 和 任意 的 输出 之 间 最 大 的 可 以 达到 
的 计算 元 素数 目 。 因 此 ， 上 面 电 路 的 深度 为 @(lgn)。 

并 行 FFT 电 路 的 最 左边 的 部 分 执行 位 逆序 置换 ， 其 余部 分 模拟 迭代 的 ITERATIVE-FFT 
过 程 。 因 为 最 外 层 for 循环 的 每 次 迭代 执行 n/2 次 独立 的 蝴蝶 操作 ， 于 是 电路 并 行 地 执行 它 
们 。 在 ITERATIVE-FFT 内 每 次 迭代 的 值 s 对 应 于 图 30-5 中 的 一 个 阶段 的 蝴蝶 操作 。 对 于 
5 一 1，2，…，lg2， 阶 段 y* 有 n/2: 组 蝴蝶 操作 (对 应 于 ITERATIVE-FFT FRA k WH), FHA 
中 有 2 一 个 蝴蝶 操作 (对 应 于 ITERATIVE-FFT 中 的 每 个 7 值 ) 。 图 30-5 所 示 的 蝴蝶 操作 对 应 
于 最 内 层 循 环 的 蝴蝶 操作 (ITERATIVE-FFT 的 第 9~12 行 )。 此 外 ， 还 要 注意 ， 蝴 蝶 中 用 到 
的 旋转 因子 对 应 于 ITERATIVE-FFT 中 用 到 的 那些 旋转 因子 : 在 阶段 *， 我 们 使 用 wm» 
whs ot, ome, HA m=2', 
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阶段 = 1 阶段 = 2 阶段 *=3 

图 30-5 一 个 计算 FFT 的 并 行 电路 ， 这 里 的 输入 为 "一 8。 每 个 蝴蝶 操作 采用 两 条 线路 上 的 数值 和 一 
个 旋转 因子 来 当做 输入 ， 并 且 它 产生 两 条 线路 上 的 数值 作为 输出 。 不 同 阶段 的 蝴蝶 操作 加 以 
标记 ， 对 应 于 ITERATIVE-FFT 过 程 的 最 外 层 循环 和 迭 代 。 只 有 最 顶层 和 最 底层 通过 一 个 蝴 
蝶 操 作 的 线路 才 与 此 蝴蝶 操作 相互 作用 ; 而 通过 一 个 蝴蝶 操作 中 间 的 线路 不 会 影响 该 蝴蝶 操 
作 ， 它 们 的 值 也 不 会 被 该 蝴蝶 操作 改变 。 例 如 ， 在 第 2 阶段 顶端 的 蝴蝶 操作 不 会 影响 线路 1 
(输出 标示 为 WARD; 它 的 输入 与 输出 只 在 线路 0 和 2 上 (分 别 标示 为 yo My). ER 
具有 深度 B(lgn)， 并 且 一 共 执 行 了 Blnlg7n) 个 蝴蝶 操作 


练习 

30.3-1 请 说 明 如 何 用 ITERATIVE-FFT 计算 出 输入 向 量 (0,，2，3， 一 1，4，5,，7，9) 的 DFT. 

30.3-2 请 说 明 如 何 实 现 一 个 FFT 算法， 注意 把 位 逆序 置换 放 在 计算 的 最 后 而 不 是 在 开始 。( 提 
示 : 考虑 道 DFT。) 

30. 3-3 ”在 每 个 阶段 中 ，ITERATIVE-FFT 计算 旋转 因子 多 少 次 ? BS ITERATIVE-FFT， 使 其 
在 阶段 ; 中 计算 旋转 因子 2” 次 。 

«30.3-4 ”假设 FFT 电 路 的 蝴蝶 操作 中 加 法 器 有 时 会 发 生 错 误 : 不 论 输入 如 何 ， 它 们 的 输出 总 是 
为 0。 假设 确 有 一 个 加 法 器 失效 ， 但 你 并 不 知道 是 哪 一 个 。 描 述 你 如 何 能 够 通过 给 整个 
FFT 电路 提供 输入 值 并 观察 其 输出 ， 找 到 那个 失效 的 加 法 器 。 你 的 方法 效率 如 何 ? 


30-1 (Rž) 
a 说 明 如 何 仅 用 三 次 乘法 ， 就 能 求 出 线性 多 项 式 cz 十 2 与 cz 十 4 的 乘积 。( 提 示 : 有 一 个 
乘法 运算 是 (a 十 6)。(c 十 d),。) 
b. 试 写 出 两 种 分 治 算法 ， 求 出 两 个 次 数 界 为 n 的 多 项 式 乘积 ， 使 其 在 On ) 运 行 时 间 内 。 
第 一 个 算法 把 输入 多 项 式 的 系数 分 成 高 阶 系数 一 半 与 低 阶 系数 一 半 ， 第 二 个 算法 应 该 | 六 


根据 其 系数 下 标的 奇偶 性 来 进行 划分 。 920 
c TE: 请 说 明 如 何 用 O(me) 步 计算 出 两 个 ”位 整数 的 乘积 ， 其 中 每 一 步 至 多 常数 个 1 
位 的 值 进行 操作 。 


30-2 ( 特 普 利 *& (Toeplitz ) 和 矩阵 ) 特 普 利 茨 矩阵 是 一 个 nxXn 矩阵 A= (aj ) 9 其 中 对 于 1 二 2， Sy ”9 
Ny j=2, 3, s N, 满足 Qij 一 Qi 一 1 一 1。 
a. 两 个 特 普 利 茨 矩 阵 的 和 是 否 一 定 是 特 普 利 葡 矩阵 ? 乘积 又 如 何 ? 
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b。 试 说 明 如 何 表示 特 普 利 茨 矩阵 才能 在 On) 时间 内 求 出 两 个 nXn 特 普 利 芯 矩阵 的 和 。 
e 请 给 出 一 个 运行 时 间 为 Oln lgn) 的 算法 ， 能 够 计算 出 nXn 特 普 利 芯 矩阵 与 一 个 n 维 向 
量 的 乘积 。 请 运用 (b) 中 的 表示 。 
d 请 给 出 一 个 高 效 算法 计算 出 两 个 z 义 ?z 特 普 利 茨 和 矩阵 的 乘积 ， 并 分 析 此 算法 的 运行 时 间 。 
30-3 〔〈 多 维 快速 傅 里 叶 变 换 ) ”我们 可 以 将 式 (30. 8) 定 义 的 一 维 离散 健 里 叶 变 换 推 广 到 4 维 上 。 
这 时 输入 是 一 个 d 维 的 数组 A 二 (a;,; ,…,; > FERIA ms ms ts ns EP nmn 
no FEM d 维 离散 傅 里 叶 变换 如 下 : 


ml 网 一 ] 
re am ap an Say, ine Nags chee 
ji =0 j,=0 Ja” 
其 中 0<A; <n 9 0<k, <im 9 °*%9 0< kh <n, 。 


a 证 明 : 我 们 可 以 依次 在 每 个 维度 上 计算 一 维 的 DFT 来 计算 一 个 & 维 的 DFT。 也 就 是 
说 ， 首 先 沿 着 第 1 维 计算 n/n 个 独立 的 一 维 DFT。 然 后 ， 把 沿 着 第 1 维 的 DFT 结果 作 
为 输入 ， 我 们 计算 沿 着 第 2 ER n/m 个 独立 的 一 维 DFT。 利 用 这 个 结果 作为 输入 ， 我 
们 计算 沿 着 第 3 维 的 n/n 个 独立 的 一 维 DFT， 如 此 下 去 ， 直 到 第 4 维 。 
b. 证 明 : 维度 的 次 序 并 无 影响 ， 于 是 可 以 通过 在 d 个 维度 的 任意 顺序 中 计算 一 维 DFT 来 
921 计算 一 个 d 维 的 DFT. 
c TEAR: 如 果 采 用 计算 快速 傅 里 叶 变换 计算 每 个 一 维 的 DRT， 那么 计算 一 个 d 维 的 DFT 
的 总 时 间 是 O(nlgn)， 与 d 无 关 。 
30-4 〈 求 一 个 多 项 式 在 某 点 的 所 有 阶 导数 ) 已 知 一 个 次 数 界 为 n 的 多 项 式 A(zx)， 我 们 定义 其 z 


阶 导 数 如 下 : 
A(x) Xe t=0 
AP (2) =4— A(z) 若 1<t<n 一 1 
| 0 Etn 
从 A(z) 的 系数 表达 (ao , Qi» °°%s as-_1) 和 一 个 已 知 点 To » 我 们 希望 确定 A” (To), 其 中 :一 
0, 1s ”9 n—l, 


a. ERACO, bis ts br) ME 
A(z) = $5 (x— 2p) 


说 明 如 何在 O(n) 时 间 内 计算 出 A? Co), 其 中 := 05 1g my Nl 
b. 请 解释 如 何在 O(n lgz) 时 间 内 找到 po，pD，…，D 1， 已 知 Alto Fæ), 其 中 k=0, 
I; e., n—l, 


AG AS > EDO 
其 中 ， f@=a; ejl, 并 且 
m ene # —(n—1) <1<0 
p #1<i<n-1 
d. 请 解释 如 何在 O(n ign) HI ADR Alr teh WE, HA R=0, 1, -, n—1., WA 
922 结 说 明 : 我 们 可 以 在 O(nlgn) TIBIA, Rh A(Cz) 所 有 非 平 凡 导 数 在 z 的 值 。 

30-5 (多 项 式 在 多 个 点 的 求 值 ) 我 们 已 经 看 到 ， 运 用 霍 纳 法 则 ， 如 何在 O(n) 时 间 内 求 出 次 数 
RA n 的 多 项 式 在 单个 点 的 值 。 同 时 ， 我 们 也 发 现 ， 远 用 FFT 能 在 O(nlgn) 时 间 内 求 出 
这 样 的 一 个 多 项 式 在 所 有 7 个 单位 复数 根 处 的 值 。 现 在 我 们 就 来 说 明 如 何在 O(n lg? n) Ef 
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间 内 ， 求 出 一 个 次 数 界 为 n 的 多 项 式 在 任意 7 个 点 的 值 。 
为 了 做 到 这 一 点 ， 我 们 将 假设 下 面 未 经 证 明 的 结论 : 当 一 个 这 样 的 多 项 式 除 以 男 一 个 
多 项 式 时 ， 我 们 可 以 在 O(nlg) 时 间 内 计算 出 该 多 项 式 的 余 式 。 例 如 ， 多 项 式 3z 十 地 一 
Sat] 除 以 好 十 zx 十 2， 余 式 为 
(323 + 2° — 324+] mod (2? +2+2) 一 一 7z 十 5 


给 定 一 个 多 项 式 A(x) = Saz 的 系数 表达 和 个 点 xzxo ,zi1，… ,x ， 我 们 希望 计算 出 7 


个 值 A(x) , A(x) 9 °°" 9 ACT,- ) o 对 0Nisj<n-1 ’ 定义 多 项 式 P;; (x) = II (x— 2, ) 
k=i 


和 多 项 式 Q; (2) =ACx) mod P; (zx)。 注 意 到 ，Q; (zx) 次 数 至 多 是 ji 

a. WEH: AHER z, Alx) mod (x—z)=A(z). 

b. 证 明 : Qu Cr) 5ACr), UR Qi (x) =A), 

c. 证 明 ; i<j, 我 们 有 Qa (x) =Q; (x) mod Pa (x), WE Qj (=Q (x)mod Pi (zx). 
d. 给 出 一 个 运行 时 间 为 Olg’ MRE, ARH Alro), Alzi), t, ACz 1). 

30-6 (运用 模 算 术 的 FFT) 如 定义 所 述 ， 离 散 传 里 叶 变换 (DFT)7 计 算 时 需要 用 复数 ， 这 会 由 于 
伟人 误差 而 导致 精确 度 丢 失 。 对 某 些 问题 而 言 ， 答 案 中 仅 包含 整数 ， 并 且 通 过 使 用 一 种 基 
于 模 算术 的 FFT 的 不 同形 式 ， 我 们 可 以 保证 计算 的 答案 是 准确 的 。 一 个 此 类 问题 的 例子 
WF: 求 两 个 整 系数 多 项 式 的 乘积 。 练 习 30. 2-6 给 出 了 一 种 解决 方法 ， 即 运用 一 个 长 度 
为 Q() 位 的 模 来 处 理 2 个 点 上 的 DFT。 下面 给 出 了 另 一 种 方法 ， 即 用 一 个 更 为 合理 的 长 
BA Olen WH; 它 要 求 你 事先 了 解 第 31 章 的 内 容 。 设 ”为 2 的 寡 。 

a, 假定 我 们 寻找 最 小 的 &， 使 得 一 如 十 1 是 素数 。 请 给 出 下 列 结论 的 简单 而 有 启发 性 的 
理由 : 为 什么 我 们 希望 上 大 约 是 lnz。(R 的 值 可 能 比 Inn 大 很 多 或 者 小 很 多 ， 但 是 我 们 
合理 的 期 望 ， 平 均 起 来 只 需 检查 Ogn MRE kE OW p 的 期 望 长 度 与 ”的 长 度 
相 比如 何 ? 

设 g 是 Zz 的 生成 元 ， 并 设 w= modp。 

b. 说 明 DFT 5% DFT 在 模 刀 的 意义 下 是 定义 完备 的 道 运算 ， 其 中 也 是 主 2” 次 单位 根 。 

c. TEAR: 在 模 p 意义 下 ，FFT 与 其 逆 可 在 O(nlgn) 时 间 内 运行 ， 其 中 长 度 为 OC len ii 
字 上 操作 需要 单位 时 间 ， 并 假定 算法 已 知之 和 也。 

d 请 计算 出 向 量 (0，5，3，7，7，2，1，6) 在 模 p=17 下 的 DFT。 注意 ，g=3 是 ZE 
成 元 。 

本 章 注 记 

Van Loan 的 书 [343] 对 快速 傅 里 叶 变 换 做 了 特别 好 的 论述 。Press、Teukolsky、Vetterling 和 
Flannery 在 文献 L[283，284] 中 很 好 地 描述 了 快速 傅 里 叶 变换 及 其 应 用 。 对 于 信号 处 理 这 个 流行 的 
FFT 应 用 领域 ， 详 细 介绍 请 参考 Oppenheim 和 Schafer[ 266 ]， 以 及 Oppenheim 和 Willsky[ 267 的 
教科 书 。Oppenheim 和 Schafer 的 书 也 介绍 了 如 何 处 理 2 不 是 2 的 整数 次 寡 的 情形 。 

傅 里 叶 分 析 并 不 局 限于 一 维 的 数据 。 它 在 图 像 处 理 中 得 到 了 广泛 应 用 ， 用 来 分 析 二 维 或 更 
高 维 数据 。Gonzalez 与 WoodsL146]j 和 PrattL281j 的 书 中 讨论 了 多 维 傅 里 叶 变换 以 及 它们 在 图 像 
处 理 中 的 应 用 ， 另 外 ，Tolimieri、An 与 Lul 338 ] 和 Van Loanl 343 | 的 书 中 讨论 了 多 维 快速 傅 里 叶 
变换 的 数学 原理 。 

Cooley 与 Tukey[76] 因 在 20 世纪 60 年 代 发 明 FFT 而 声名 远 播 。 事实 上 ，FFT 在 之 前 已 经 
被 发 现 了 好 几 次 ， 但 是 它 的 重要 性 在 现代 数字 计算 机 出 现 之 前 并 没有 被 充分 了 解 。 尽 管 Press、 
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Teukolsky, Vetterling 和 Flannery 将 这 个 方法 的 起 源 归 功 于 1924 年 的 Runge 和 Konig， 但 是 一 
篇 Heideman, Johnson 和 Burrus 的 论文 L163 | 将 FFT 的 历史 一 直 追 漳 到 1805 年 的 C. F. Gauss, 
Frigo 和 JohnsonL117] 开 发 了 一 个 快速 的 、 可 扩展 的 FFT 实现 ， 称 为 FFETW (西方 的 最 快 的 
快速 傅 里 叶 变换 (fastest Fourier transform in the West))。FFTW 设计 的 初衷 是 为 了 解决 多 个 维 
ER DFT 计算 ， 具 有 同等 问题 规模 大 小 。 在 实际 计算 DFT 之 前 ，FFTW 执行 一 个 计划 信息 表 
(planner) ， 它 通过 一 系列 的 斌 运行， 确定 在 主机 上 对 于 给 定 的 问题 规模 ， 如 何以 最 好 的 方式 来 
分 解 FFT 进行 计算 。FFTW 能 够 针对 硬件 的 缓存 进行 高 效 的 自 适 应 调整 ， 而 且 一 旦 子 问题 规模 
足够 小 ，FFTW 能 够 用 优化 的 直线 型 程序 (无 循环 程序 ) 解 决 。 此 外 ， 对 于 任意 问题 规模 n EE n 
是 一 个 大 素数 ) FFTW 都 有 不 几 的 表现 ， 费 时 仅 9(Czlgz) 。 
尽管 标准 的 位 里 叶 变 换 假 设 输 入 表示 点 均匀 地 分 布 在 时 间 域 ， 其 他 的 技术 可 以 在 不 均匀 分 
布 (nonequispaced) 的 数据 下 近似 地 计算 FFT. Warel 348j] 的 文章 提供 了 一 个 概述 。 
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数论 曾经 被 视 为 一 种 虽然 优美 但 却 没什么 用 处 的 纯 数学 学 科 。 如 今 ， 数 论 算法 已 经 得 到 了 
广泛 的 使 用 。 这 很 大 程度 上 要 归功 于 人 们 发 明了 基于 大 素数 的 加 密 方 法 。 快 速 计算 大 素数 的 算 
法 使 得 高 效 加 密 成 为 可 能 ， 而 目前 其 安全 性 的 保证 则 依赖 于 缺少 高 效 将 合 数 分 解 为 大 素数 之 积 
(或 求解 相关 问题 ， 如 计算 离散 对 数 ) 方 法 的 现状 。 本 章 介 绍 一 些 数论 知识 以 及 相关 的 算法 ,它们 
是 上 文 这 类 应 用 的 基础 。 

31. 1 节 介 绍 数论 的 一 些 基 本 概念 ， 例 如 ， 整 除 性 、 等 模 和 唯一 因子 分 解 。31. 2 节 研 究 世界 
上 最 古老 算法 之 一 的 欧 几 里 得 算法 ， 它 用 于 计算 两 个 整数 的 最 大 公约 数 。31. 3 节 回 顾 模 运算 的 
概念 。31. 4 节 研 究 整数 a 的 倍数 模 n 的 结果 集合 ， 并 阐释 用 欧 几 里 得 算法 求 等 式 az 二 bmod n) 
的 全 部 解 的 方法 。31. 5 节 介绍 中 国 余数 定理 。31. 6 节 考 察 整数 a 的 寡 模 ”所 得 的 结果 集合 ， 
述 反 复 平方 算法 ， 用 于 在 已 知 a、5b 入 的 情况 下 ， 高 效 计算 a’ modn 的 结果 。 这 一 运算 是 进行 
高 效 素数 检测 和 许多 现代 密码 学 内 容 的 核心 部 分 。 在 此 之 后 ，31.7 节 描 述 RSA AINA. 
31. 8 节 讨论 一 种 随机 性 素数 测试 方法 。 该 方法 可 用 来 高 效 地 查找 大 素数 ， 这 正 是 为 RSA 加 密 系 
统 创 建 密 钥 所 必需 的 。 最 后 ，31. 9 节 回 顾 一 个 简单 而 有 效 的 小 整数 因子 分 解 启 发 式 算法 。 有 趣 
的 是 ， 由 于 RSA 的 安全 性 依赖 于 大 整数 因子 分 解 的 难度 ， 人 们 尿 怕 更 希望 因子 分 解 是 一 个 无 多 
项 式 解法 的 难题 。 

输入 规模 和 算术 计算 的 代价 

由 于 我 们 将 处 理 的 对 象 是 大 整数 ， 本 章 需 要 调整 对 于 输入 规模 大 小 和 基本 算术 运算 代价 的 
理解 。 

在 本 章 中 ,“ 大 输入 ”通常 指 包 含 “ 大 整数 ”的 输入 ， 而 不 是 包含 “很 多 整数 ”的 输入 ( 像 排序 问 
题 中 那样 )。 因 此 ， 我 们 利用 输入 所 需 的 位 数 来 度量 输入 的 大 小 ， 而 不 仅仅 是 输入 中 整数 的 数目 。 
给 定 k 个 整数 输入 a, 9 A29 °**s Ak’ 如 果 算 法 可 以 在 关于 Iga, ’ Iga, 9 oett Iga, 的 多 项 式 时 间 内 
完成 ， 即 算法 在 关于 二 进 制 编码 后 的 输入 长 度 的 多 项 式 时 间 内 完成 ， 则 该 算法 称 为 多 项 式 时 间 
算法 。 | 

在 本 书 的 大 部 分 章节 中 ， 将 基本 算术 运算 (乘法 、 除 法 或 者 计算 余数 ) 视 为 只 耗费 单位 时 间 的 
原 语 操作 是 非常 方便 的 。 通 过 计算 算法 中 包含 的 这 类 算术 运算 的 数目 ， 可 以 为 合理 评估 算法 在 
计算 机 上 的 实际 运算 时 间 提 供 基 准 。 然 而 ， 当 输入 很 大 时 ， 基 本 运算 也 会 变 得 耗 时 。 因 此 ， 用 数 
论 算法 所 需 的 位 运算 数目 作为 基准 来 衡量 算法 的 时 间 代价 更 为 方便 上 且 合 适 。 在 此 模型 中 ， 将 两 
个 8 位 整数 用 常规 方法 相 乘 需要 6(82) 次 位 运算 。 同 样 ， 用 最 朴素 的 方法 计算 一 个 8 位 整数 除 以 
另 一 个 较 短 整数 的 商 或 余数 需要 耗 时 8(8: ) 。( 见 练习 31. 1-12。) 如 今 ， 人 们 已 经 有 了 更 快 的 计算 
方法 。 例 如 ， 一 个 简单 的 分 治 算法 可 以 在 两 个 8 位 整数 相 乘 的 问题 上 达到 O 到 ) 的 运行 时 间 。 
而 已 知 最 快 的 算法 则 只 需要 Ole Blglg DB) 的 运行 时 间 。 然 而 在 实际 问题 中 ，@(82) 的 算法 往往 效 
果 最 好 。 我 们 也 将 以 该 界 作为 算法 分 析 的 基准 。 

本 章 将 既 使 用 算法 所 需 的 算术 运算 的 数目 ， 也 使 用 其 所 需 位 运算 的 数目 来 分 析 算法 。 


31. 1 基础 数论 概念 


1，2，…} 的 一 些 概念 。 
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整除 性 与 约 数 
一 个 整数 可 以 被 另外 一 个 整数 整除 是 数论 中 的 一 个 关键 概念 。 符 号 dla Ed 整除 a) HE 
义 是 ， 存 在 某 个 整数 &， 使 得 a 二 kd。 任 何 整 数 均 可 整除 0。 如 果 a 二 0 且 dla, 那么 jdl 委 |c| 。 如 
果 d|a， 则 称 a Æ d 的 倍数 。 如 果 a 不 能 整除 a， 则 写作 dta。 
mR dla Hd>0, Wid 是 a MAR. HER, dla 当 且 仅 当 一 dla， 即 a 的 任何 约 数 的 负数 
同样 可 以 整除 a。 因 此 ,不 失 一 般 性 ， 可 规定 约 数 为 非 负 数 。 非 零 整 数 a 的 约 数 应 至 少 为 1， 且 
不 会 大 于 |a|。 例如，24 的 约 数 是 1，2，3，4，6，8，12 和 24。 
任何 正 整 数 a 均 可 被 平凡 约 数 1 和 其 自身 a 所 整除 。 整数 a 的 非 平凡 约 数 称 为 a 的 因子 。 例 
如 ，20 的 因子 是 2，4，5 和 10。 
素数 与 合 数 
如 果 一 个 整数 a>1 且 只 能 被 平凡 约 数 1 和 它 自 喘 所 整除 ， 则 这 个 数 是 素数 。 素 数 有 许多 特 
殊 的 性 质 。 它 在 数论 中 也 扮演 着 十 分 重要 的 角色 。 前 20 个 素数 按 序 排列 如 下 : 
253595/511,13,17,19,23,29,31,37541,43,47,53,59,61,67,71 
练习 31. 1-2 要 求 读者 证 明 存 在 无 穷 多 个 素数 。 如 果 一 个 整数 a 二 1 且 不 是 素数 ， 则 称 之 为 合 数 。 
例如 ，39 是 一 个 合 数 ， 因 为 3| 39。 称 整数 1 为 基本 单位 ， 并 且 它 既 不 是 素数 也 不 是 合 数 。 同 样 ， 
整数 0 和 所 有 负 整 数 既 不 是 素数 也 不 是 合 数 。 
除法 定理 、 余 数 和 等 模 
给 定 一 个 整数 xn， 我 们 可 以 将 整数 集 划 分 为 n 的 倍数 和 非 n 倍数 两 部 分 。 通 过 计算 非 ”倍数 
BRU n 的 余数 可 以 对 非 n 倍数 进行 有 效 分 类 。 而 许多 数论 理论 正 是 通过 这 种 分 类 来 改进 对 nn 的 倍 
数 和 非 n 倍数 的 划分 。 下 面 的 定理 给 出 该 改进 的 理论 基础 。 这 里 ， 我 们 忽略 了 其 证 明 ( 证 明 参 见 
Niven 和 Zuckerman| 265 | 等 )。 
定理 31. 1( 除 法 定理 ) ”对 于 任何 整数 a 和 任何 正 整数 za， 存在 唯一 整数 g9 和 7， 满 足 0 二 rn 
E a=qntr,. E 
称 gq 二 La/nj 为 除法 的 商 ， 值 -二 a mod n 为 除法 的 余数 。n|a 当 且 仅 当 a modn=0, 
根据 整数 模 的 余数 ， 我 们 可 以 将 所 有 整数 划分 成 n 个 等 价 类 。 包 含 整数 a 的 模 等 价 类 为 
[a], = {atkn:k € Z} 
例如 ，L3j]:= 二 人 …， 一 11， 一 4，3，10，17，…}， 这 个 集合 同时 也 可 以 表示 为 [一 4jJ; 和 [10j;。 
a€(b],AMla=b(mod n) 是 等 价 的 。 所 有 这 类 等 价 类 的 集合 是 
Z, = {Laln:0 <a<n-—1} (31. 1) 
当 读 者 看 到 
Z, = {0,1,.…,n— 1} (31. 2) 
这 个 定义 时 ， 按 照 式 (31. DRT: 0 代表 [0j,，1 代表 [1j,;， 等 等 ， 即 用 每 个 等 价 类 最 小 的 
非 负 元 素来 表示 该 等 价 类 。 然 而 ， 我 们 应 该 记 着 相应 的 等 价 类 。 例 如 ， 在 我 们 说 一 1 是 又 的 一 
个 元 素 时 ， 实 际 上 指 的 是 [Ln 一 1];， 因 为 一 1 志 n 一 1(mod nn)。 
公约 数 与 最 大 公约 数 
MR d Æa 的 约 数 并 且 4 也 是 2 的 约 数 ， 则 d 是 a 与 6 的 公约 数 。 例 如 ，30 的 约 数 包 括 1、 
2、3、5、6、10、15 和 30， 因 此 24 与 30 的 公约 数 为 1、2、3 和 6。 需要 注意 的 是 ，1 是 任意 两 
个 整数 的 公约 数 。 
公约 数 的 一 条 重要 性 质 是 : 
d|a Hd|b BA d|(at+b) Hd|(a—b) (31. 3) 
更 一 般 地 ， 对 任意 整数 zx 和 >y， 有 
d|a Hd|b 蕴涵 着 d | (az 十 by) (31. 4) 
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并 且 ， 如 果 a|5， 那 么 jaj 委 |2| ， 或 者 "一 0， 而 这 说 明 
alb Ebla 蕴涵 着 a =b (31.5) 
两 个 不 同时 为 0 的 整数 a 与 2 的 公约 数 中 最 大 的 称 为 其 最 大 公约 数 ， 记 作 gcd(a, b). PM, 
gcd(24, 30)=6, gcd(5, 7)=1, gcd(0, 9)=9. WR a 5b 不 同时 为 0， 则 gcd(a，5) 是 一 个 在 
1 与 min(|a| ，|2| ) 之 间 的 整数 。 定 义 gcd(0，0) 二 0， 该 定义 是 使 gcd 函数 的 基本 性 质 ( 如 下 面 
的 等 式 (31. 9)) 普 遍 成 立 所 必 不 可 少 的 。 


下 列 性 质 是 ged 函数 的 基本 性 质 : 
gcd(a,b) = gcd(b,a) (31. 6) 
gcd(a,b)= gcd(— a,b) (31. 7) 
gcd(a,b)= gcd(|a|,|65|) (31. 8) 
gcd(a,0)= |a| (31.9) 
gcd(a,ka)= |a|) 对 任意 &kEZ (31. 10) 


下 面 的 定理 给 出 了 gcd(Ca，0) 的 另外 一 个 有 用 特征 。 

定理 31.2 如 果 任 意 整 数 a 和 b 不 都 为 0， 则 gcd(Ca，pb) 是 wa 与 8 的 线性 组 合集 {az 十 pgy: x, 
yEZ) 中 的 最 小 正 元 素 。 

证 明 设 s 是 a 与 5b 的 线性 组 合集 中 的 最 小 正 元 素 ， 并 且 对 某 个 z，yEZ， 有 一 az 十 by。 
设 q=La/s], WAC. 8) 说 明 

| a mod s = a— qs =a-—q(ar+by) = a(1—@qr) +b(— qy) 

因此 ，a mod s 也 是 a 与 5 的 一 个 线性 组 合 。; 是 这 个 线性 组 合 中 的 最 小 正 数 ， 由 于 O<a mod s<s, 
MA amods=0, ALA sla， 类 似 地 ， 可 得 到 s1|5。 因 此 ，;s 是 a 与 5 的 公约 数 ， 所 以 
gcd(a, bD>s, AX gcd(a，5) 能 同时 被 4 与 5 整除 ,并且 s 是 4 与 6 的 一 个 线性 组 合 ， 所 以 
由 式 (31. 4) 可 知 gcdCae，p) |s。 但 由 于 ecd(a, b) |s A s>0, Ali ecdla, D<s, BLABEIE 
明 的 gcd(Cae， 亿 之 与 gcdla, bDSs HAER., 148] gcdCae， 人 一 *， 因 此 证 明了 是 < 与 上 的 最 
大 公约 数 。 | 

推论 31.3 对 任意 整数 a 与 5， WRdlabdlb, MWd|gcd(a, b). 

证 明 ieee 31.2，gcdla,，5) 是 a 与 b 的 一 个 线性 组 合 ， 所 以 由 式 (31.4) 可 知 ， 该 推论 
成 立 。 E 

TEE 4 对 所 有 整数 wa 和 ARARA An, A 

gcd(an,bn) = n gcd(a,b) 
证 明 如 果 2 一 0， 该 推论 显然 成 立 。 如 果 n>0, Mi gedlan, bn) 是 集合 {anz 十 bny: x, 


y€2Z) 中 的 最 小 正 元 素 ， 即 集合 (az 十 by: z，yEZ)} 中 最 小 正 元 素 的 2” 倍 。 i 
推论 31.5 对 于 任意 正 整 数 n、a 和 4b， 如 果 n|ab H gedla, n)=1, A] nlb, 
证 明 证 明 过 程 留 作 练习 31. 1-5。 a 
互 质数 


如 果 两 个 整数 a 与 5 只 有 公约 数 1， 即 geda, b)=1, M a 与 6 称 为 互 质数 。 例 如 ，8 和 15 
是 互 质数 ， 因 为 8 的 约 数 为 1、2、4、8， 而 15 的 约 数 为 1、3、5、15。 下 面 的 定理 说 明 如 果 两 
个 整数 分 别 与 一 个 整数 p 为 互 质数 ， 则 其 积 与 p 互 质 。 

定理 31. 6 对 任意 整数 a、5 和 pp， 如 果 gcdla,， p)=1 E gcd(b, p)=1, R] gcdlab, p)=1., 

证 明 由 定理 31. 2 可 知 ， 存在 整数 z、y、z' 和 y' 满 足 

i ax + py= 1 
bec! + py’ = = ] 
把 上 面 两 个 等 式 两 边 分 别 相 乘 ， 径 过 站 理 得 
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ab (ax') + pCybx' + y'ax + pyy’) = 1 

因为 1 是 xp 与 加 的 一 个 正 线性 组 合 ， 所 以 应 用 定理 31. 2 就 可 以 证 明 结 论 。 im 

对 于 整数 Ms 722，“"””， Nes 如 果 对 任何 Fj 都 有 gcd(n; » n=l, 则 称 整 数 Nis 722，“”””， My 
两 两 互 质 。 

唯一 因子 分 解 定理 

下 面 的 结论 说 明 关 于 素数 整除 性 的 一 个 基本 而 重要 的 事实 。 

定理 31.7 对 所 有 素数 p 和 所 有 整数 a,， b, WR plab, WM pla 或 旋 |8( 或 两 者 都 成 立 ) 。 

证 明 KARIES, Bit plab, (A pta#Hptd. Alb, gcd(a, p)=1 H gcd(b, p)=1, 
这 是 因为 p HAARA 1M p, RAAKRK a 和 5。 都 不 能 被 p 整除 。 由 定理 31.6 可 知 ， 
ged(ab, p)=1; 由 假设 plab 可 知 gcd(ab，p) 二 p， 于 是 产生 矛盾 ， 从 而 证 明定 理 成 立 。 加 

从 定理 31.7 可 知 ， 任 意 一 个 合 数 的 素 因 子 分 解 式 是 唯一 的 。 

定理 31. 8( 唯 一 因子 分 解 定 理 ) 合 数 & 仅 能 以 一 种 方式 写成 如 下 乘积 形式 : 

a = pt pe pyr 

其 中 p ARR, DKppoee<p,, He ALR. 

WEAR 证 明 过 程 留 作 练习 31. 1-11. E 

例如 ， 数 6000 可 以 唯一 地 分 解 为 2 ，3。，5’。 


练习 

31.1-1 WEH: #a>b>c, H c=a+b, Mj c moda=b. 

31. 1-2 ”证 明 有 无 穷 多 个 素数 。( 提 示 : WARM pis pos > pe BARRERA ps…pi) 十 1)。) 
31. 1-3 WH: 如 果 a|2 Hble, Walc. 

31. 1-4 iE: WR p 是 素数 并 且 0<k<p, M) gcd(R，z) 一 1。 

31.1-5 ”证明 推论 31.5. 


31. 1-6 WEH: WR p ERAH 0<k<p, sl 2 | ba? 证 明 对 所 有 整数 a、5b 和 素数 p， 有 


(a+b)? =a’ + b (mod p) 
31.1-7 WH: 如 果 a< 和 2 是 任意 正 整 数 ， 且 满足 a|2， 则 对 任意 x, 
(x mod b) moda = x moda 
在 相同 的 假设 下 ， 证 明 对 任意 整数 z 和 >y， 如 果 c=yCmod 5)， 则 z=y(moda), 
31. 1-8 ”对 任意 整数 &E>0， 如 果 存 在 一 个 整数 ac， 满 足 必 三 2， 则 称 整数 ”是 一 个 下 RB. WR 
对 于 某 个 整数 RO 1, nol BPR, ME n 是非 平凡 宕 。 说 明 如 何在 关于 8 的 多 项 
式 时 间 内 判定 一 个 8 位 整数 ”是 否 是 非 平凡 笑 。 
31. 1-9 证 明 等 式 (31. 6) 一 (31. 10). 
31. 1-10 WH: 最 大 公约 数 运算 满足 结合 律 ， 即 证 明 对 所 有 整数 a、5 和 c， 
gcd(a,gced(b,c)) = gcd(gcd(a,b),c) 


“31. 1-11 证 明和 定理 31. 8。 


31.1-12 试 写 出 计算 8 位 整数 除 以 短 整 数 的 高 效 算 法 ， 以 及 计算 8 位 整数 除 以 短 整 数 的 余数 的 
高 效 算法 。 所 给 出 的 算法 的 运行 时 间 应 为 (8 )。 

31.1-13 写 出 一 个 高 效 算法 ， 用 于 将 8 位 二 进 制 整数 转化 为 相应 的 十 进 制 表示 。 证 明 : 如 有 果 长 
度 至 多 为 8 的 整数 的 乘法 或 除法 运算 所 需 时 间 为 MG8) ， 则 执行 二 进 制 到 十 进 制 转换 所 
需 的 时 间 为 OMAA. (提示 : 应 用 分 治 法 ， 分 别 使 用 独立 的 递归 计算 结果 的 前 段 
和 后 段 。) 
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31.2 最 大 公约 数 
在 本 节 中 ， 我 们 将 描述 高 效 计算 两 个 整数 最 大 公约 数 的 欧 几 里 得 算法 。 在 对 其 运行 时 间 进 
行 分析 的 过 程 中 ， 我 们 将 发 现 它 与 韭 波 那 契 数 存在 着 惊人 联系 ， 由 此 可 知 欧 几 里 得 算法 最 坏 情 
况 下 的 输入 。 
在 本 节 中 ， 我 们 仅 对 非 负 整数 进行 讨论 。 由 式 (31.8) 可 知 ，gcd(ae，) 一 gcd(|a| ,| 2 ) 这 一 
限制 是 有 道理 的 。 
原则 上 讲 , F 可 以 根据 a 和 2 的 素 因 子 分 解 求 出 正 整数 ac 和 6。 的 最 大 公约 数 gcdla，5)。 的 确 ， 如 果 
a= pi pz pF (31.11) 
b= pt pre pr (31. 12) 
其 中 使 用 了 零 指 数 ， 从 而 使 得 素数 集合 di, tr» +, pF a 和 2 相同 ， 正 如 练习 31. 2-1 要 求 
读者 证 明 的 ， | 
ged(a,b) = prea? pE oe pment? (31. 13) 
我 们 将 在 31. 9 节 中 说 明 ， 目 前 已 知 的 最 好 的 因子 分 解 算 法 也 不 能 达到 多 项 式 运行 时 间 2 。 
因此 ， 利 用 这 种 方法 来 计算 最 大 公约 数 不 大 可 能 获得 高 效率 。 
计算 最 大 公约 数 的 欧 几 里 得 算法 基于 如 下 定理 。 
定理 31. 9(GCD 递归 定理 ) 对 任意 非 负 整数 a 和 任意 正 整数 D， 
| gcd(a,b) = gcd(b,a mod b) 
证 明 下 面 将 证 明 gcd(a, 6) 45 gcd(5，a mod 5) 可 以 互相 整除 ， 这 样 由 等 式 (31.5) 可 知 ， 它 
们 一 定 相等 (因为 它们 都 是 非 负 整数 )。 
首先 证 明 ged(a, b)|ged(b, amodb), MRR d=gcdla, b), IWA dla 且 412。 由 等 
式 (3.8) 可 知 ，(a mod b)=a—gqb, HH q=la/b]. AX a modb Æa 与 5b 的 线性 组 合 ， 所 以 由 等 
式 (31.4) 可 知 ， d|(amodb), Alt, HFdlb Hd|(amodd), HH 31.3 可 om d | gcd(b, 
a mod b), 或 者 有 等 价 结论 
gcd(a,b) | gcd(b,a mod b) (31. 14) 
证 明 gcd(b, a modb) | gcd(a，5) 的 过 程 几乎 与 上 述 过 程 相同 。 如 果 设 d=gcd(b, amodd), 
Nj d|b Hd|(amodb), HF a=qb+ (a modb), HH q= [a/6b] ， 所 以 a 是 5 和 (a modp) 的 一 个 
线性 组 合 。 由 等 式 (31. OMB dla. HFdlb 且 4 |a， 故 根据 推论 31.3, d|gcdla, b), 或 者 有 
等 价 结论 
| gcd(b,a mod b) | gcd(a,b) (31. 15) 
运用 式 (31. 5), 再 根据 式 (31. 14) 与 式 (31. 15) ， 就 可 以 完成 对 本 和 定理 的 证 明 。 a 
欧 几 里 得 算法 
欧 几 里 得 ( 约 公元 前 300 年 ) 的 《几何 原本 ) 描 述 了 下 列 acd 算法， 实际 上 这 一 算法 出 现 的 时 间 
可 能 还 要 早 些 。 我 们 将 其 描述 为 一 个 由 定理 31. 9 直接 得 到 的 递归 程序 ， 其 输入 a 和 2 都 是 任意 
非 负 整数 。 
EUCLID(a,b) 
1 ifb==0 
2 return a 
3 else return EUCLID(b,a mod b) 


下 面 举例 说 明 EUCLID 的 运行 过 程 。 考 虑 gcd(30，21) 的 计算 过 程 ; 


O ”存在 量 于 计算 机 的 因子 分 解 算法 ， 即 秀 尔 算法 (Shors Algorithm) 。 一 一 译 者 注 
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EUCLID(30,21) = EUCLID(21,9) = EUCLID(9,3) = EUCLID(3,0) = 3 

该 计算 过 程 三 次 递归 调用 了 EUCLID. 

过 程 EUCLID 的 正确 性 可 以 从 定理 31.9 以 及 下 列 性 质 推出 ， 如果 算法 在 第 2 RE a, W 
b 二 0。 因 此 由 式 (31.9) 可 知 ，gcd(a, 5b) 二 gcd(a，0)= 二 a。 因 为 在 递归 调用 的 过 程 中 第 二 个 参数 
的 值 单 调 递 减 且 始终 非 负 ， 所 以 算法 不 可 能 无 限 递归 下 去 。 因 此 ，EUCLID 总 能 终止 并 求 出 正确 
答案 。 

欧 几 里 得 算法 的 运行 时 间 

下 面 来 分 析 EUCLID 算法 在 最 坏 情 况 下 的 运行 时 间 ， 我 们 把 它 看 成 输入 a 与 2 的 大 小 的 函数 。 不 
失 一 般 性 ， 设 ac>>2p>>0。 为 了 确定 这 个 假设 的 合理 性 ， 注 意 如 果 b>alo, MM) EUCLID(G, 6)4257 BN 
归 调 用 EUCLID(2，a) ， 即 如 果 第 一 个 自 变 量 小 于 第 二 个 自 变量 ， 则 EUCLID 进行 一 次 递归 调用 
以 对 调 两 个 自 变 量 ， 然 后 继续 执行 。 类 似 地 ， 如 果 5 二 a 二 0， 则 过 程 在 进行 一 次 递归 调用 后 就 终 
止 执行 ， 因 为 a mod b=0, 

过 程 EUCLID 的 运行 时 间 与 其 递归 调用 的 次 数 成 正比 。 在 我 们 的 分 析 过 程 中 ， 用 到 了 由 递 
归 式 (3. 22) 定 义 的 斐 波 那 契 数 F, o 

B| 31. 10 ”如 果 a>bSl # E EUCLDla, DRATT k1 次 递归 调用 ， 则 a 宇 Fi4s，b 宇 Fin。 

证 明 通过 对 进行 归纳 来 证 明 引 理 。 作 为 归纳 的 基础 ， 设 k= 二 1， 则 5b 宇 1 二 Ff,。 又 由 于 
a>b, 必 有 4 之 2 一 了 o 因为 b>(a mod b) 9 即 在 每 次 调用 中 9 第 一 个 变量 严格 大 于 第 二 个 变量 ， 
因此 对 每 次 递归 调用 ， 假设 a>b 成 立 。 

假设 执行 一 1 次 递归 调用 时 引 理 成 立 。 下 面 将 证 明知 执行 次 递归 调用 ， 引 理 同样 成 立 。 因 
为 AP>0， 所 以 有 b>0, H EUCLID(a, b)i H EUCLID(b, a mod 0 ， 该 函数 依次 进行 了 
& 一 ] 次 递归 调用 。 根 据 归 纳 假 设 可 知 ?之 及 (因此 也 就 证 明了 引 理 的 一 部 分 )， 且 a mod 2 之 有 瓜 。 我 
们 有 

b+ (amodb) = b+ (a—bla/b) <a 

因为 a>b>0 W SHla/ble1, Pr 
a © b+ (amodb) > Fyn + Fi = Frye E 

下 面 的 定理 是 这 个 引 理 的 一 个 直接 推论 。 

定理 31. 11(Lamé EMW) ”对 任意 整数 AS, w a>b2l, H b<F, m, M EUCLID(a, b) #4 
递归 调用 次 数 少 于 次。 

通过 证 明 当 之 2 时 ，EUCLID(Fir，Fi) 恰 好 进行 了 & 一 1 次 递归 调用 ， 可 以 证 明定 理 
31. 11 中 的 上 界 是 最 优 的 。 对 于 = 二 2 的 基本 情况 ，EUCLIDC(Fs，F; ) 恰 好 进行 1 次 调用 ， 变 为 
EUCLID(1，0) (我 们 必须 从 & 王 2 开始 ， 因 为 = 二 1 时 ， 无 法 得 到 F; 二 五 )， 利 用 归纳 法 ,假设 
EUCLID(F; ，F_1) 恰 好 进行 了 一 2 WIAA. AA k>, A F >F SOR Fo =F t 
Fi, 又 由 练习 31. 1-1 有 Fir mod F,=F;,-1. 于 是 ， 有 

gcd( Fi. Fi) = ged(F, , Fe, mod F,) = gcd( F, , F-1) 

EE, EUCLIDCF; ，F) 的 调用 次 数 恰 好 比 EUCLIDCF;，F_1) 多 一 次 ， 即 恰好 一 1 次 ， 从 而 
达到 定理 31. 11 中 的 上 界 。 

由 于 PAWS //5, HH oH. 24) 定 义 的 黄金 分 割 率 (1 十 V5)/2， 所 以 EUCLID 执行 
中 递归 调用 的 次 数 为 OC lg 5b) 。( 更 紧 的 界 见 练习 31. 2-5。) 因 此 ， 如 果 过 程 EUCLID 作用 于 两 个 B 
位 数 ， 则 它 将 执行 0(8) 次 算术 运算 和 OCB ) 次 位 操作 (假设 8 位 数 的 乘法 和 除法 运算 要 执行 08 ) 
次 位 操作 ) 。 思 考题 31-2 要 求 读者 证 明 位 操作 次 数 的 界 为 OR). 

欧 几 里 得 算法 的 扩展 形式 

现在 重 写 欧 几 里 得 算法 以 计算 出 额外 的 有 用 信息 。 特 别 地 ， 我 们 推广 该 算法 用 于 计算 出 满 
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足下 列 条 件 的 整 系数 工 和 y: 

d = gcd(a,b) = ax + by (31. 16) 
注意 ，z 与 y 可 能 为 0 或 负数 。 我 们 将 会 发 现 这 些 系数 对 计算 模 乘 法 的 逆 是 非常 有 用 的 。 过 程 
EXTENDED-EUCLID 的 输入 为 一 对 非 负 整数 ， 其 返回 一 个 满足 式 (31. 16) 的 三 元 组 (dg，Zz，y) 。 


EXTENDED-EUCLID(a,6) 

1 if b==0 

2 return(a,1,0) 

3 else(d' ,' , y') =EXTENDED-EUCLID(6,a mod b) 
4 (d,z,y)=(d',y',2'—|a/b|y") 

5 return(d,z,y) 


图 31-1 演示 了 用 EXTENDED-EUCLID 计算 gcd(99，78) 的 过 程 。 





图 31-1 用 EXTENDED-EUCLID 计算 gcd(99，78) 。 每 行 显示 一 层 递 归 调 用 输入 a 和 
的 值 ， 计 算数 值 | a/5j]， 并 返回 值 4，z 和 >y。 返 回 的 三 元 组 Cd，z，y) 成 为 三 元 组 
(dd ，z ，y )， 在 更 高 一 层 递 归 中 使 用 。 调 用 EXTENDED-EUCLID(99，78) 返 回 

(3， 一 11，14) ， 故 gcd(99，78) 一 3 一 99。( 一 11) 十 78。14 


过 程 EXTENDED-EUCLID 是 过 程 EUCLID 的 一 个 变形 。 第 1 行 等 价 于 EUCLID 第 1 行 中 
的 测试 “2 一 一 0”。 如 果 5 二 0， 则 EXTENDED-EUCLID 不 仅 返 回 第 2 行 中 的 d=a, M ER EZR 
数 zx 一 1] 和 y=0, 使 得 a 二 az 十 by。 如 果 60, M) EXTENDED-EUCLID 首先 计算 出 满足 4d' = 
gcd(b, amodd) All 

d' = bx'+(amodb)y’ (31.17) 
的 (d', x’, y >; 对 过 程 EUCLID 来 说 ， 在 这 种 情况 下 ， 有 d=gcd(a, b) =d'=gcd(b, amodb), 
为 了 得 到 满足 d=artby 的 zx 和 y， 利 用 等 式 d=d AKG. 8) 来 改写 式 (31. 17): 
d =lr'+(a—bla/b))y' = ay'+b(2' —|a/bly’) 

AH, HA r= y 和 y= r —la/b]y 时 ， 就 可 满足 等 式 d= 二 az 十 by， 从 而 证 明了 过 程 
EXTENDED-EUCLID 的 正确 性 。 

由 于 在 EUCLID 中 ， 所 执行 的 递归 调用 次 数 与 EXTENDED-EUCLID 中 所 执行 的 递归 调用 
次 数 相等 ， 因 此 ，EUCLID 与 EXTENDED-EUCLID 的 运行 时 间 相 同 ， 两 者 相差 不 超过 一 个 常数 
因子 ， 即 对 a>b>0. 递归 调用 的 次 数 为 OC lg b). 


练习 

31. 2-1 证 明 ; 由 式 (31. 11) 和 式 (31. 12) 可 推 得 式 (31. 13). 

31. 2-2 计算 调用 过 程 EXTENDED-EUCLID(899，493) 的 返回 值 为 (&，z，y)。 

31.2-3 WEH: 对 所 有 整数 oa, kin, 

gcd(a,n) = gcd(a+ knn) 

31.2-4 仅 用 常数 大 小 的 存储 空间 ( 即 仅 存储 常数 个 整数 值 ) 把 过 程 EUCLID 改写 成 迭代 形式 。 

31. 2-5 如 果 a>b>0, 证 明 : EUCLID(a, DABAFA 1 十 logyb 次 递归 调用 。 把 这 个 界 改 进 
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为 1 十 log, (b/gcd(a，5))。 


31.2-6 过程 EXTENDED-EUCLID(Fu ，F) 返 回 什么 值 ? 证 明 答案 的 正确 性 ，。 


939 


31.2-7 利用 递归 等 式 gcd(as ，al ，…，w, ) 一 gcd(ao，gcd(al ，…，aw)) 定 义 多 于 两 个 变量 的 
gcd 函数 。 说 明 gcd 函数 的 返回 值 与 其 参数 次 序 无 关 。 同 时 说 明 如 何 找 出 满足 gcd(ao， 
Ais """， au) 一 0oZo 十 ai Hes Fann 的 整数 zo， Tis °°° Xno 证 明 所 给 出 的 算法 执行 除 
法 运算 的 次 数 为 O(n 十 lg (max{ao，a1，*……，a,)))。 

31.2-8 把 2 个 整数 al ，…，a, 的 最 小 公 倍 数 定 义 为 cm(al，as，…，a,)， 即 每 个 a; 的 倍数 中 
的 最 小 非 负 整数 。 说 明 如 何 使 用 (具有 两 个 自 变量 的 )gcd 函数 作为 子 程序 才能 高 效 计算 
出 lcm(al ，az ，…，a，) 。 

31.2-9 EBH: m, m, m An 是 两 两 互 质 的 当 且 仅 当 

gcd(mnz nam) = gedCn n snan) = 1 

更 一 般 地 ， WEHR: nms ms s m 两 两 互 质 ， 4AM n; 中 导出 的 | lek | 对 整数 互 为 质 
BX 


31.3 MZA 

可 以 把 模 运 算 非 正式 地 与 通常 的 整数 运算 一 样 看 待 ， 如 果 执 行 模 n 运算 ， 则 每 个 结果 值 x 都 
由 集合 {0，1，…，n 一 1} 中 的 某 个 元 素 所 取代 ， 该 元 素 在 模 的 意义 下 与 x 等 价 ( 即 用 xmodn 来 
取代 z)。 如 果 仅 限于 运用 加 法 、 减 法 和 乘法 运算 ， 则 用 这 样 的 非 正式 模型 就 足够 了 。 模 运算 模 
型 最 适合 于 用 群 论 结构 来 进行 描述 ， 下 面 就 给 出 更 为 形式 化 的 模型 。 

有 限 群 

群 (S， 人 由) 是 一 个 集合 S 和 和 定义 在 S 上 的 二 进 制 运算 由 ， 该 运算 满足 下 列 性 质 ， 

1. 封闭 性 : 对 所 有 a, DES, Aa@deEs., 

2. 单位 元 : 存在 一 个 元 素 eE S， 称 为 群 的 单位 元 ， 满 足 对 所 有 a€S, e 由 a 一 a 由 e 王 a。 

3. BAB: 对 所 有 a，p，cES， 有 (a 由 0 站) 中 c=a 由 (2 由 c)。 

4. Pic: 对 每 个 a€ S， 存 在 唯一 的 元 素 E S， 称 为 a 的 逆 元 ， 满 足 a 四 0=0 Dae, 

例如 ， 考 察 一 个 熟知 的 在 加 法 运算 下 整数 Z 所 构成 的 群 (Z， 十 ): 0 是 单位 元 ，ea 的 道 元 为 
一 a。 如 果 群 (S， 全 ) 满 足 交 换 律 ， 即 对 所 有 a, bES, aDb=b a， 则 它 是 一 个 交换 群 9 。 
如 果 群 (S， 申 ) 满 足 | S| 二 ce， 则 它 是 一 个 有 限 群 。 

由 模 加 法 与 模 乘 法 所 定义 的 群 

通过 对 模 n 运 用 加 法 与 乘法 运算 ， 可 以 得 到 两 个 有 限 交 换 群 ， 其 中 是正 整 数 。 这 些 群 基于 
31.1 节 中 定义 的 整数 模 n 所 形成 的 等 价 类 。 

我 们 需要 合适 的 二 元 运算 来 定义 乙 上 的 群 ， 该 运算 可 以 通过 重新 定义 普通 的 加 法 运算 与 乘 
法 运算 得 到 。Z, 上 的 加 法 与 乘法 运算 很 容易 定义 ， 因 为 两 个 整数 的 等 价 类 唯一 决定 了 其 和 或 积 
的 等 价 类 。 也 就 是 说 ， 如 果 a=a' (mod n) fl bD=b' (mod n), ALA 

a+ b= a' 十 和 (mod n) 
= a'b' (mod n) 
因此 ， 定 义 模 n 加 法 与 模 n 乘法 如 下 (分 别 用 十 , 和 “。，, 表示 ): 
| [a], Hb] = [a+b], (31. 18) 
La], *:Lol,= La], 

(Z, 上 的 减法 可 类 似 定 义 为 Laj, 一 ,L5j; 二 La 一 5];， 但 下 面 将 会 看 到 ， 除 法 的 定义 要 复杂 一 些 ,) 


O ”原文 直译 应 为 阿 贝 尔 群 ， 和 交换 群 同 义 。 一 一 译 者 注 
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这 些 事实 说 明 在 Z, 中 进行 计算 时 ， 可 以 很 方便 地 使 用 每 个 等 价 类 的 最 小 非 负 元 素 作为 其 代表 ， 
这 种 方法 也 具有 一 般 性 。 我 们 对 这 些 代表 元 素 像 整 数 那样 执行 加 法 、 减 法 与 乘法 ， 但 每 个 结果 x 
都 由 其 所 对 应 类 的 代表 元 素 代 蔡 ( 即 用 xz mod n 来 代替 )。 

运用 该 模 n 加 法 的 定义 ， 定 义 模 n 加 法 群 (Z,， 十 ,)， 它 的 规模 为 | Z, | 二 n。 图 31-2(a) 给 出 
TE CZ, FORZAR. 





”图 31-2 两 个 有 限 群 ， 其 等 价 类 由 其 代表 元 素 表示 。(a) 群 (Zc， 十 。)。 
(b) 群 (Zis ，。 15) 


定理 31. 12 系统 (Z,， 十 ,) 是 一 个 有 限 交 换 群 。 

WEAR 式 (31. 18) 表 明 (Z,， 十 ;) 是 封闭 的 。 由 十 满足 交换 律 与 结合 律 可 以 推出 十 , 满足 交换 
律 与 结合 律 : 

CCa], +,[6],) HEJ = Lato], Hic], = [Ce 十 已 十 中 ,= [ae 十 (8 十 c)]， 
= alto l= bale CLb lat el) 
[a], Lb] = Lat+6], = Lb+ a], = [b], +e, 

(ZZ ， 十 ,) 的 单位 元 是 0( 即 [0j,)。 元 素 aC Bla], A OME) Hacc aLa] Rina), 
因为 [aj, 十 ,[ 一 aj, 二 La 一 aj], 二 [0j,。 = 

运用 模 nn 乘法 的 定义 ， 可 以 定义 模 n 乘法 群 (Z* ，…,)。 该 群 中 的 元 素 是 bin 互 质 的 元 
素 组 成 的 集合 Z: 

Z: = {[a], € Z, : gcd(a,n) = 1} 
为 了 表明 Z; 是 良 定义 的 ， 注 意 到 ， 对 0<a<n 以 及 所 有 整数 上 ， 有 4 三 (a 十 kn) (mod nn) 。 因 此 根 
据 练习 31. 2-3， 因 为 gcd(a, nn) 二 1， 所 以 对 所 有 整数 &，gcd(a 十 &n，n) 二 1。 因 为 [a],==[a 十 kn: 
kEZ}， 所 以 集合 Z 是 良 定 义 的 ,下面 是 这 种 群 的 一 个 例子 : 

De fe Ae oe is: 
其 中 定义 在 群 上 的 运算 是 模 15 乘法 运算 。( 这 里 把 元 素 [a]s 表 示 为 a。 例 如 ， 把 L7]s 表 示 为 7。) 
图 31-2¢b) aN T EFC, * 15). PIM, Æ Zs, 8° 11=13¢mod 15) 。 该 群 的 单位 元 为 1。 

定理 31. 13 系统 (Zi ，。,) 是 一 个 有 限 交 换 群 。 

WEAR ”定理 31.6 说 明 (Z; ，。…,) 是 封闭 的 。 和 定理 31. 12 证 明 过 程 中 对 十 , 的 证 明 类 似 ， 可 以 
证 明 。, 也 满足 交换 律 和 结合 律 。 其 单位 元 为 L1j;。 为 了 证 明道 元 的 存在 ,， 设 4 是 中 的 一 个 元 
素 ， 并 设 (d，zx，) 为 EXTENDED-EUCLID(a，nn) 的 输出 结果 ， 则 4 二 1， 因 为 aEZ* ,而 且 

| ax+ny =1 (31. 19) 
或 者 等 价 地 ， 





ax = 1 (mod n) 


因此 ，[z], La], 对 模 乘法 的 着 元 。 进 一 步 ， 因 为 等 式 (31. 19) 说 明了 zz 和 的 最 小 正 线性 组 


| 
| 


940 


941 


552 。 第 七 部 分 算法 问题 选编 


942 


943 


合 必 然 是 1， 所 以 断言 [xj, EZ 。 因 此 由 定理 31. 2 推出 acd(z, M=1, KFS 
留 到 推论 31. 26, 国 

作为 计算 乘法 逆 元 的 一 个 例子 ， 设 =5 且 n=11, N) EXTENDED-EUCLID(a，n) 返 回 
(d，Zz，y) 一 (1， 一 2，1)， 于 是 1 王 5。( 一 2) 十 11。1。 因 此 [一 2]; ( 即 19 1) 5], 的 乘法 
PIC. 

为 了 方便 起 见 ， 在 本 章 的 后 面部 分 遇 到 群 (Z.， 十 ,) 和 (Z: ，。,) 时 ， 仍 然 用 代表 元 素来 表示 
等 价 类 ， 并 且 分 别 用 通常 的 运算 记号 十 和 。 (或 并 置 ， 故 a5 二 a，5) 来 表示 运算 十 , 和 “。,。 另 外 ， 
模 n 等 价 也 可 以 用 Z 中 的 等 式 说 明 。 例 如 ， 下 列 两 种 表示 等 价 : 

az 三 b(mod n) 
Lal, eale] = LO], 
为 了 方便 表示 ， 当 从 上 下 文 能 看 出 所 采用 的 运算 时 ， 有 时 仅 用 S RERS, ©. Aa AA 
ZZ. 分 别 来 表示 群 (Z， 十 ,) 和 (Zr ，…,)。 

一 个 元 素 a 的 (乘法 ) 道 元 表示 为 (a ! modn)。Z* 中 的 除法 由 等 式 a/b=ab (mod n ÆN. 
例如 ， 在 中， 有 7 三 13(mod15)， 因 为 7。13=91 三 1(mod15)。 这 样 就 有 4/7=4 - 13= 
7(mod 15) 。 l 

=n TT (1 一 二 ) (31. 20) 


piph RR Hp ln p 


其 中 p 能 整除 的 任意 素数 (如 果 n 是 素数 ， 则 也 包括 本身)。 在 此 不 对 此 公式 作出 证 明 。 从 直 
观 上 看 ， 开 始 时 有 一 张 个 余数 组 成 的 表 {0，1，…，n 一 1}， 然 后 对 于 每 个 能 整除 的 素数 p， 
在 表 中 划 掉 所 有 zp 的 倍数 。 例 如 ， 由 于 45 的 素 约 数 为 3 和 5， 所 以 


$(45) = 45(1-+)(1-=) = (£) (4) = 24 


如 果 p ERK, 则 Z; 一 人 1， Baray p—1}, 并 且 


l 
= 1——] = »p-1 31.2] 
Kp) 一 如 (1 一 方 ) =p (31. 21) 
如 果 n 是 合 数 ， 则 $n) 过 n 一 1， 尽 管 它 可 以 表示 为 
$n) > a a (31. 22) 
ex In Inn + 一 一 一 
In Inn 


其 中 "之 3， 此 时 y=0. 577 215 664 9… 是 欧 拉 常数 。 当 ">5 时 ， 一 个 更 简单 的 (也 更 松弛 ) 的 下 界 
是 


NY o (31. 23) 
6 ln Inn 
式 (31. 22) 中 的 下 界 事实 上 是 最 好 的 ， 因 为 
lim inf R = e” (31. 24) 
reco Nn/lnlnn 


子 群 

如 果 (S， 四 ) 是 一 个 群 ，S SS， 并 且 (S ， 四 ) 也 是 一 个 群 ， 则 (S ， 四 ) 称 为 (S，@) 的 子 群 。 
例如 ， 在 加 法 运算 下 ， 偶 数 形成 一 个 整数 的 子 群 。 下 列 定 理 提 供 了 识别 子 群 的 一 个 有 用 工具 。 

定理 31. 14( 一 个 有 限 群 的 非 空 封闭 子 集 是 一 个 子 群 ) 如 果 (S，@ 四 ) 是 一 个 有 限 群 ，S 是 S 的 
任意 一 个 非 空子 集 并 满足 对 所 有 a，pES ， 有 a 四 pbES， 则 (S ， 略 ) 是 (S， 由 ) 的 一 个 子 群 。 

证 明 证 明 过 程 留 作 练习 31. 3-3。 a 

例如 ， 集 合 (0，2，4，6} 形 成 Z 的 一 个 子 群 ， 因 为 它 是 非 空 的 ， 而 且 在 十 运算 下 具有 封闭 
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性 ( 即 在 十 下 它 是 封闭 的 )。 

下 列 定理 对 子 群 的 规模 作出 了 一 个 非常 有 用 的 限制 ， 证 明 在 此 上 略 去 。 

定理 31. 15( 拉 格 朗 日 定理 ) WRS, ODA-TARA, (S, OAS, O)M-AFH, 
则 |S | 是 | S| 的 一 个 约 数 。 

对 一 个 群 S 的 子 群 S ， 如 果 SAS, MPH S' 称 为 群 S 的 真子 群 。31. 8 节 中 对 Miller-Rabin 
素数 测试 过 程 的 分 析 将 用 到 下 面 的 推论 。 

推论 31. 16 ”如果 SS 是 有 限 群 S 的 真子 群 ， 则 | S | 委 |S|/2。 

由 一 个 元 素 生 成 的 子 群 

定理 31. 14 给 出 了 一 种 用 于 生成 有 限 群 (S， 人 @) 的 子 群 的 有 趣 方法 : 选择 一 个 元 素 <， 根 据 
群 上 的 运算 取出 由 a 能 生成 的 所 有 元 素 。 具 体 地 ， 对 & 之 1 定义 a” 如下: 


a = Waada®. Ds 


让 
例如 ， 如 果 取 群 Z 中 的 元 素 a=2, Fra, a, oH 
2,4,0,2,4,0,2,4,0,.. 
ERE ZF, Aa” =kamodn, EZ 中 ， 有 a =a modn, Ha 生成 的 子 群 用 (a) 或 (l(a)， 人 @) 
来 表示 ， 其 定义 如 下 : 
(a) = {a® sk > 1} 
我 们 称 a ERTE), WA a 是 (a) 的 生成 元 。 因 为 S 是 有 限 集 ， 所 以 4a) 是 S 的 有 限 子 集 , È 
可 能 包含 S 由 的 所 有 元 素 。 由 由 满足 结合 律 可 知 ， 
a 中 a? = os qt) 
ico) ASE 根据 定理 31.14, (aE SKATE. Hi, EZ, A 
(0) = {0} 
(1) = 10515.253 4455) 
(2) = {0,2,4} 
类 似 地 , 在 如 中 ， 有 
(1) = {1} 
(2) = {1,2,4} 
: (3) = {1,2,3,4,5,6) 
TERE S 中 a 的 阶 定义 为 满足 a” =e 的 最 小 正 整数 :， 用 ord(a) 来 表示 。 
定理 31. 17 对 任意 有 限 群 (S， 儿 ) 和 任意 aES， 一 个 元 素 的 阶 等 于 它 所 生成 子 群 的 规模 ， 
BP ord(a) 一 | (a) | 。 
WEAR i t=ord(a), AW a? =e FAM RELH a =a Q a? =a”, WK 之 与 则 对 某 
个 J<i Ha? = 二 a”。 因 此 ,在 a® 后 面 不 会 出 现 新 元 素 ， 于 是 (4a) 二 {a ， 2? >, a}, WMH 
| (a) | Şt. 为 了 证 明 (a) | >t, R 我 们 证 明 序 列 人 中 的 元 素 各 不 相同 。 假设 不 成 
立 ， 即 对 某 个 满足 1] 委 ;< 7 委 上 的 ; 和 7 Aa? =a, BAX RDO, Aa” =a 。 但 这 说 明 
gD = Qi =e, Ay ita jt, 而 ;是 满足 a” =e 的 最 小 正 值 ， 这 样 就 产生 了 矛盾 
因此 ， 序 列 a a, e, a®? 中 的 每 个 元 素 都 是 不 同 的 ，| (a) | 宇 t。 于 是 得 出 结论 
ord(a) = | a)’ . m 
推论 31. 18 序列 a, a, = LAMP, HAMA t=ord(a), PP a =a” 4 AW 
4 i=j (mod 1). 
对 所 有 整数 ir EM a He, 且 定 义 a” 为 a"™“?， 其 中 t= 二 ord(a)， 与 上 述 推 论 一 致 。 
推论 31. 19 如 果 (S， @) 是 具有 单位 元 HAMA, 则 对 所 有 ae S, 
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证 明 由 拉 格 朗 日 定理 可 知 ，ord(a) | |S|， 因 此 |S| 寺 0(modz)， 其 中 t=ord(a)。 所 以 


人 ES E 


练习 


31.3-1 MHZ, HME ，。…;) 的 运算 表 。 通 过 找 这 两 个 群 的 元 素 间 的 一 一 对 应 关系 a, 
满足 at b=c(mod 4) 4 HAL 4 ala) * a(b)=alc) (mod 5)， 来 证 明 这 两 个 群 是 同 构 的 。 
31.3-2 列举 出 刀 和 ws 的 所 有 子 群 。 
31.3-3 证 明定 理 31. 14。 
31.3-4 证明 : WR p 是 素数 且 e 是 正 整数 ， 则 
Cp’) 一 (pC—1) 
31.3-5 WEHR: Wie n> 1 MER aE, MA falx) =ar mod n 所 定义 的 函数 f。: ZZ; 是 
Z; 的 一 个 置换 。 


31.4 求解 模 线 性 方程 


现在 来 考虑 求解 下 列 方程 的 问题 : 
ax = b(mod n) (31. 25) 
Ep a>, 2>0. RABARBA EATE. Bl, 31.7, RIK EAE RSA 公 钥 加 密 系 
统 中 ， 作 为 寻找 密 钥 过 程 的 一 部 分 。 假 设 已 知 a, b 和 77， 和 希望 找 出 所 有 满足 式 (31. 25) 的 对 模 > 
的 z 值 。 这 个 方程 可 能 没有 解 ， 也 可 能 有 一 个 或 多 个 这 样 的 解 。 

令 (a) 表 示 由 a 生成 的 ,的 子 群 。 由 于 (4) 二 {a”: 2>0}={axmodn; z>0}， 所 以 当 且 仅 
“ole (ait, 方程 (31. 25) 有 一 个 解 。 拉 格 朗 日 定理 (定理 31. 15) 告 诉 我 们 ，| (a) | 必定 是 nn 的 
约 数 。 下 列 定理 准 确 地 刻画 了 (a) 的 特性 。 

定理 31. 20 ”对 任意 正 整 数 a fen, wRd=gcdla, n), IÆ ZF, 

(a) = (d) = {0,d,2d,°**,((n/d) — 1)d} (31. 26) 
因此 ， 
| <a) | = n/d 

证 明 首先 证 明 de (a)。 注 意 到 EXTENDED-EUCLID(a，m) 可 生成 整数 c A y, HB 
ax'+ny'=d, Alt az'’=d(modn), PFU dE (a). MAB, dzZ, ha 的 一 个 倍数 。 

由 于 dE€ 《a)， 所 以 4 的 所 有 倍数 均 属于 4a;， 这 是 因为 a 的 倍数 的 倍数 其 本 身 仍然 是 a 的 倍 
数 。 所 以 ，la) 包 含 了 集合 {0，d，2d，…，((n/qd) 一 1)d} 中 的 每 一 个 元 素 。 也 就 是 说 ，(d) 和 (a)。 

现在 来 证 明 (aS(d)。 如 果 mmE (a)， 则 对 某 个 整数 z， 有 m= 二 ax mod n， 所 以 对 某 个 整数 
y， 有 m= 二 az 十 ny。 然 而 ，d|a 且 d |n， 所 以 由 式 (31.4) 有 4d|m。 因 此 ,mE€ (qd)。 

由 以 上 这 些 结论 ， 得 到 (a) = 二 (4d 。 注 意 到 在 0 和 ?一 1 之 间 ( 包 括 0 和 ?一 1) 恰 有 ?yd 个 da 的 
倍数 ， 这 说 明了 | (a) | =n/d. m 

推论 31.21 SAMY d|b it, J4 ar=blmodn t} T kt rH, XE d=gedla, n), 

WEAR ”当日 仅 当 [65]E€ (4) 时 ， 方程 az=b(mod n) 有 人 解 。 由 定理 31. 20， 这 等 同 于 

(6modn) € {0,d,2d,°*:,((n/d) — 1)d} 
如 果 O<b<n, WHAMMY d|b it, bE WRL, KEAFONMABBRE a 的 倍数 。 如 果 
6 二 0 或 5 宇 n， 则 观察 到 dlo 当 且 仅 当 a | (0 mod n) 时 成 立 ， 可 得 推论 ， 这 是 由 于 5 和 65 mod n 可 
以 由 ?2 的 倍数 区 分 开 ， 而 其 本 身 是 4 的 倍数 。 a 
推论 31.22 JR ar=blmod n) 或 者 对 模 n 有 dad 个 不 同 的 解 ， 或 者 无 解 ， 这 里 d=gcdla, n). 
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WEAR 如果 ar=b(mod n) 有 一 个 解 ， 则 bE (a)。 根 据 定 理 31.17, ord(a)=|(a)|, MAHL 
31. 18 和 定理 31. 20 意味 着 ， 对 i 二 0，1，…， 序 列 ai mod n 是 周期 性 的 ， 其 周期 为 | (a) | =n/d. 
如 果 bE 《a)， 则 对 i 二 0，1，…，n 一 1,，。 在 序列 ai mod n 中 恰好 出 现 & 次 ， 因 为 当 ; 从 0 增加 到 
n—lif, KEX n/d 的 一 组 值 (a) 恰 好 重复 了 dk, 这 4 个 满足 az modx 一 的 位 置 的 下 标 zx， 就 是 
方程 ax=b(mod n) 的 解 。 图 
定理 31.23 4d=gcdla, n, 假设 对 某 些 整数 xz 和 ， 有 d= 二 az' 十 ny (例如 EXTENDED- 
EUCLID 所 计算 出 的 结果 )。 如 果 d|5， 则 方程 az 三 b(mod n) 有 一 个 解 的 值 为 z。， 这 里 
: zo = x (b/d) mod n 
证 明 有 
ax, = ax (b/d) (mod n) 
=d(b/d)(modn) (KH ar’ =d(modn)) 
= b(mod n) a 
因此 29 ax=b(mod 2) 的 一 个 解 。 
定理 31.24 假设 方程 ax=b(mod n) 有 解 ( 即 & il， 这 里 qd 一 gcd(CC，72))， 且 zo 是 该 方程 
的 任意 一 个 解 。 因 此 ， 该 方程 对 模 n 恰 有 d 个 不 同 的 解 ， 分 别 为 Xi 二 zo 十 i(n/d)， 这 里 i= 
Oy ly td 1s 
证 阴 因为 n/d>0 并 且 对 于 t= ys d=1], 有 O0<i(n/d)<n, 所 以 对 模 Ns 值 xo» 
XxX1，……，ZXu_1 都 是 不 相同 的 。 因 为 z 是 az=b( mod nn) 的 一 个 解 ， 故 有 ax, mod n=b(modn). A 
此 ， 对 i 二 0，1，…，d 一 1， 有 
~ ax; modn = a(x, + in/d) mod n 
= (ax, tain/d) mod n 
= azo modn (HA d|a 意味 着 ain/d 是 一 个 n 的 倍数 ) 


=b (modn) 
LAA az;=b(modn), ， 故 地 也 是 一 个 解 。 根 据 推论 31. 22 WA, D ax=b(modn) RA d ME, 
因此 Hos Tis °°*%9 Zi 必定 是 方程 的 全 部 解 。 图 


现在 已 经 为 求解 方程 ax=b(mod n) 完 成 了 数学 上 的 必要 准备 ， 下 列 算法 可 输出 该 方程 的 所 
有 人 解 。 输 入 a 和 为 任意 正 整 数 ，2 为 任意 整数 。 
MODULAR-LINEAR-EQUATION-SOLVER(a,b,n) 
1 (d,z',y)=EXTENDED-EUCLID(a,n) 
2 ifd|b 
3 Zo 一 Z (b/d) mod n 
4 for i=0 tod—1 
5 print(z») +i(n/d)) mod n 
6 


else print“no solutions” 


作为 一 个 说 明 该 过 程 中 操作 的 例子 ， 考 察 方程 142=30(mod 100) GB, a=14, 6=30, 
"一 100) 。 在 第 1 行 中 调用 EXTENDED-EUCLID, 得 到 (d,， xz’, y)=(2, —7, 1). AW 2/30, 
所 以 执行 第 3~5 行 。 在 第 3 行 ,计算 出 z= 二 (一 7)(15) mod 100 二 95。 第 4~5 行 的 循环 输出 这 两 
个 解 95 和 45。 

过 程 MODULAR-LINEAR-EQUATION-SOLVER 的 工作 方式 如 下 。 第 1 行 计算 出 d= 
gcd(a, n) 及 两 个 值 zx 和 y, WE d Sar tny, AKH zx 是 方程 cz 三 dCmod n) 的 一 个 解 。 
如 果 a 不 能 整除 6， 则 由 推论 31. 21 可 知 ， 方程 az=b(mod MRE. P 2 行 检查 是 否 有 dlod; 
如 果 没 有 ， 则 第 6 行 报告 方程 无 解 。 否 则 ， 第 3 行将 根据 定理 31. 23， 计 算出 方程 ax 寺 b《mod n) 
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的 一 个 解 mm 。 已 知 一 个 解 后 ， 和 定理 31. 24 说 明 ， 通 过 加 上 对 模 n 等 于 (n/q) 的 倍数 ， 可 以 得 到 其 
他 qd 一 1 个 解 。 第 4~5 行 的 for 循环 输出 所 有 d 个 解 ， 从 zw 开始， 每 两 个 解 之 间 模 n 相差 (n/d)。 

MODULAR-LINEAR-EQUATION-SOLVER 执行 O(lgn 十 gcd(a，n)) 次 算术 运算 ， 因为 
EXTENDED-EUCLID 需要 执行 O(lgz) 次 算术 和 运算， 并且 第 4 一 5 行 for 循环 中 的 每 次 迭代 均 要 执 
行 常数 次 算术 运算 。 

定理 31. 24 的 下 述 推论 给 出 了 几 个 非常 有 趣 的 特例 。 

推论 31. 25 ”对 任意 7 二 1， 如 果 gcedla, N=1, WA ar=b(mod n) HH 有 唯一 解 。 M 

mR 5 二 1， 则 要 求 的 xz 是 a 对 模 n 的 乘法 逆 元 ， 这 是 一 种 常见 的 重要 有 趣 情 形 。 

推论 31. 26 对 任意 nn 二 1， 如 果 gcdl(a，n) 二 1]， 那 么 方程 azx 夺 1(modn) 对 模 n 有 唯一 解 ， SF 
则 方程 无 解 。 = 

由 于 推论 31.26, 在 a 和 n 互 质 时 ， 可 以 用 记号 a modn RRA a 对 模 n HRB. WR 
gcd(a, n)=1, WAKE axz=1 (mod n) 的 唯一 解 就 是 EXTENDED-EUCLID 所 返回 的 整数 zx， 因为 
方程 

gcd(a,n) = 1 = ax + ny 

意味 着 ax=1(modn), Ast, 2M EXTENDED-EUCLID 可 以 高 效 地 计算 出 a™ mod n, 


练习 

31.4-1 找 出 方程 35x 圭 10(mod 50) 的 所 有 解 。 

31.4-2 证明; 只 要 gcdla, N=1, AE ax=ay(mod n) 就 意味 着 z 反 y(Cmod n)。 通 过 一 个 gcd 
Ca, MSL 情况 下 的 反例 ， 证 明 条 件 gcd(a，n) 二 1 是 必要 的 。 

31. 4-3 ”考察 下 列 对 过 程 MODULAR-LINEAR-EQUATION-SOLVER 的 第 3 行 的 修改 : 
3 z=x (b/d) mod (n/d) 
能 否 正确 运行 ? 解释 能 或 者 不 能 的 原因 。 


“31.4-4 令 p 为 一 个 素数 ， 且 SAOD =E fot firt t+ f mod pp) 是 一 个 1 次 多 项 式 ， 其 系数 f: 是 


从 世 得 到 的 。 如 果 f(a)=0(mod p), MWK aE MRA f HB. WEA: 如 果 a 是 f 的 一 
个 零 元 ， 则 对 某 个 一 1 KOS ela), A f(x) 持 (x 一 a)g(x) (mod p)。 通 过 对 it 进 
行 归 纳 来 证 明 ， 如 果 p ERA, t 次 多 项 式 f(z) 对 模 p 至 多 有 :个 不 同 的 零 元 。 


31.5 中 国 余数 定理 


大 约 在 公元 100 年 ， 中 国 数学 家 孙子 解决 了 这 个 问题 : 找 出 所 有 整数 z， 它 们 被 3，5 和 7 除 
时 ， 余数 分 别 为 2，3 和 2。 一 个 这 样 的 解 为 zx 一 23， 所 有 的 解 是 形 如 23 十 105&(& 为 任意 整数 ) 的 
整数 。 “中 国 余数 定理 ?提出 ， 对 一 组 两 两 互 质 的 模 数 (如 3，5 和 7) 来 说 ， 其 取 模 运算 的 方程 组 
与 对 其 积 ( 如 105) 取 模 运 算 的 方程 之 间 存 在 着 一 种 对 应 关系 。 

中 国 余 数 定理 有 两 个 主要 应 用 。 设 整数 n AR A n= nm, PAF ;两 两 互 质 。 
首先 ， 中 国 余数 定理 是 一 个 描述 性 的 结构 定理 ， 它 用 等 同 于 角 卡 儿 积 Zy XZ, Xo XZ, 的 结 
构 描述 了 ,的 结构 ， 其 中 第 i 个 分 量 定 义 了 对 模 n; 的 分 量 方 式 加 法 与 乘法 运算 。 其 次 ， 这 种 描述 
有 助 于 设计 出 高 效 的 算法 ， 因 为 处 理 系统 中 的 每 个 系统 可 能 比 处 理 模 n 运算 效率 更 高 (从 位 操 
作 次 数 看 )。 

定理 31. 27( 中 国 余 数 定 理 ) 令 1 一 721722 nN, 其 中 因子 Nn 两 两 互 质 。 考虑 以 下 对 应 关 系 : 

A<> (a sazs*** sap) (31. 27) 
KW aCZ,, a EZ, MEX i=1, 2, =, k, 


a; = a mod n; 
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因此 ， 映 射 (31. 27) 是 一 个 在 乙 与 笛 卡 儿 积 ,XX… XZ, 之 间 的 一 一 对 应 ( 双 射 )。 通 过 在 合 
适 的 系统 中 对 每 个 坐标 位 置 独立 地 执行 操作 ， 对 Z, 中 元 素 所 执行 的 运算 可 以 等 价 地 作用 于 对 应 
的 元 组 。 也 就 是 说 ， 如 果 


a> (a 9Q2 s**a) 


b> (bi ,bs,*** sbh) 
那么 
(a+b) modn<((a, +6,) mod nı ,***, (a, +5,) mod n,) (31. 28) 
(a— b) mod n (Ca; — b,) mod n 5***5 (a, — bi) mod n, ) (31. 29) 
(ab) mod n +> (a,b, mod nı 5***5a,b, mod n; ) (31. 30) 


证 明 ”两 种 表示 之 间 的 变换 是 相当 直接 的 。 从 a 转换 为 (ca a ，…，w) 十 分 简单 ， 仅 需 执 
行 次 模 运算 。 
从 输入 (ai， A23 °°" 4 ) 算 出 a 要 复 琳 一 点 。 从 定义 m; =n/n; XA} F ty 2 Ot k) FF aR 
于 是 m ÆR T ni 以 外 的 所 有 7 的 乘积 : M; 一 721 Nz °**?N;—1 N41 °° Ne o 接着 ， 对 ;一 1，2，…A， 定义 
ci = m;m:! mod n;) (31. 31) 
等 式 (31. 31) 总 是 良 定义 的 : 因为 m; 和 nn; 互 质 (根据 定理 31.6)， 推 论 31. 26 PRUE m; modni 存 在 。 
最 后 ， 作为 wa， C2，“”， Qi 的 函数 ， 计算 a 的 方式 如 下 : 

4 三 (aicl 十 Qzcz + *** + ac) (mod n) (31. 32) 
现在 证 明 对 i 三 ]，2,，**…,k， 等 式 (31. 32) 能 保证 a=a; (mod 7;)。 注意 ， 如 果 7 天 2 则 mj; = 
O(mod n;)， 这 意味 着 =m =0(mod n;)。 而 且 注 意 到 ， 由 等 式 (31. 31) 知 ，c; 夺 1(mod n;)。 因 此 
得 到 这 个 既 中 看 又 中 用 的 对 应 关系 

cit>(0 0，… 0 1,0，……)0) 
这 是 一 个 除了 在 第 i 个 坐标 上 为 1 外 其 余 坐 标 均 为 0 的 向 量 。 因 此 ， 在 某 种 意义 上 ，c 构 成 了 这 
种 表示 的 “ 基 ”。 所 以 对 每 个 i:， 有 
a= aic; (mod n;) 
=am,(m;' mod n;) (mod n;) 
= q; (mod n;) 
这 正 是 我 们 希望 证 明 的 : X i=1, 2, +, k, MA a; 计 算 a BAERS T W EARR a= 
a;(mod ni) 的 结果 a。 由 于 能 进行 双向 变换 ， 所 以 这 种 对 应 关系 是 一 一 对 应 。 最 后 ， 由 于 对 任何 xz 
Ali=1, 2, «+, k, @ xmodn,=(z mod n) mod n;， 所 以 根据 练习 31.1-7， 可 以 直接 推出 
式 (31. 28) 一 (31. 30) 成 立 。 i 
下 面 的 推论 将 在 本 章 的 后 面 用 到 。 
推论 31. 28 te Kn, 1722 9， °°"9 n 两 两 互 质 ， EL 7 一 7 Nz °** Ny » 则 对 任意 整数 ay, A29 °°", 
4 ， 关 于 未 知 量 工 的 联 立 方程 组 
| x =a;(mod n;),i = 1,2,°*",k 
对 模 n 有 唯一 解 。 
推论 31.29 wR m, m, s MABAM, n=nm-m, 则 对 所 有 整数 工 和 a， 
x = a(mod n;) 
(AP i=1, 2, +, D4 ARY 
\ x = a(mod n) 
作为 中 国 余数 定理 应 用 的 例子 ， 假 设 已 给 出 两 个 方程 : 
| a = 2(mod 5) 
a = 3(mod 13) 
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那么 a =2, m =m 一 5，a4z 一 3， H n =m =13, 而 且 由 于 7 一 7 m 一 6095， 所 以 我 们 希望 算出 
amod65。 因 为 13 一 三 2(mnod5) 和 5 三 8(Cmod 13)， 所 以 有 


以 及 


cl = 13(2 mod 5) = 26 
co = 5(8 mod 13) = 40 


a =? ¢ 26+3 + 40 (mod 65) 
三 52 十 120 (mod 65) 
三 42 (mod 65) 


图 31-3 是 对 模 65 的 中 国 余数 定理 的 说 明 。 





图 31-3 XF m =5 Am =13 中 国 余数 定理 的 一 个 说 明 。 对 这 个 例子 ， 
cı =26, c2: =40, 在 第 ; 行 第 7 列 显示 的 是 对 模 65 的 a 的 值 ， 使 
得 a mod 5=i 和 a mod 13=j. ER, BOWE 0 列 的 值 为 0。 
类 似 地 ， 第 4 行 第 12 列 包含 64( 等 价 于 一 1) 。 因 为 ca =26, 往 
下 移动 一 行 让 a 增加 26. AH, co = 40 表示 往 右 移动 一 列 ， 
让 a 增加 40。 让 a 增加 1 对 应 于 沿 着 对 角 线 往 右 下 移动 ， 从 底 
端 折 返 到 顶端 ， 以 及 从 右 端 折返 到 左 端 


因此 ， 如 有 果 要 执行 模 n 运算， 则 既 可 以 直接 对 模 n 进行 计算 ,为 了 方便 ， 也 可 以 分 别 对 模 n 
变换 表示 后 的 模 n; 进 行 计算 。 这 两 种 计算 是 完全 等 价 的 。 


练习 

31. 5-1 
31. 5-2 
31. 5-3 


31. 5-4 


31.6 


找 出 所 有 解 ， 使 方程 z=4 (mod 5) Al r=5(mod 11) 同 时 成 立 。 
找 出 被 9，8， 7 除 时 ， 余数 分 别 为 l, 2, 3 的 所 有 整数 x. 
论证 : 在 定理 31. 27 的 定义 下 ， 如 果 gcdla, nn) 二 1， 则 

(a™ mod n)«>( (at mod n), (az! mod n: )，… (az! mod n,)) 
在 定理 31. 27 的 定义 下 ， 证明 :; 对 于 任意 的 多 项 式 f， 方 程 f(x) 夺 0(mod n) 的 根 的 个 数 
等 于 f(x) 硅 0(mod ni)，f(x) 夺 0(mod n;)，*…，f(x) 夺 0(mod nn) 中 每 个 方程 根 的 个 数 
的 积 。 


TRUR 


正如 我 们 经 常 考虑 一 个 对 模 n 的 已 知 元 素 a 的 倍数 一 样 ， 现 在 考虑 对 模 n 的 a A 
列 ， 其 中 a€ Z; : 


a’ „a! ya’ sa: se (31. 33) 


模 n。 从 0 开始 编号 ， 序 列 中 的 第 0 个 值 为 a modn=1, 第 i 个 值 为 a modn。 例 如 ， 对 模 7，3 


AeA 


0 ] 2 3 4 9 6 7 8 9 10 11 


3mod7 1 3 2 6 4 5 1 3 2 6 4 5 … 
而 对 模 7，2 RA 
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2:mod7 1 2 4 1 2 4 1 2 4 1 2 4 e 


EARTH, Oa) ARH a 反复 相 乘 生成 的 Z* 的 子 群 ， 令 ord, (a) (对 模 n，a 的 阶 ) 表 示 a 在 
Z 中 的 阶 。 例 如 , Æ Z P, (2)={1, 2, 4}, ord (2) 一 3。 用 欧 拉 phi 函数 $n) 的 定义 作为 
Z 的 规模 (参见 31. 3 节 ) ， 就 可 以 将 推论 31. 19 转化 为 用 Z 表示 ， 从 而 得 到 欧 拉 定 理 ， 再 具体 
用 Z 表示 (其 中 p 是 素数 )， 就 得 到 费 马 定理 。 
定理 31. 30( 欧 拉 定 理 ) AFAA nol, d” =l (mod n) 对 所 有 aCZ, 都 成 立 。 加 
定理 31. 31( 费 马 定 理 ) 如 果 旋 是 素数 ， 则 a 和 三 1(mod p) MA aE 都 成 立 。 954 
证 明 根据 等 式 (31. 21), WR p PRR, Wd p)=p-1. a 
HF O0¢Z,, MHC Z, PRT 0 以 外 的 每 一 个 元 素 都 适用 。 然 而 ， 对 所 有 aEZ ， 如 
R p 是 素数 ， 则 有 a’=almod p). 
如 果 ord,《g) 二 |Z; | WHR n, Z 中 的 每 个 元 素 都 是 g HME. He 是 Z 的 一 个 原 根 
或 生成 元 。 例 如 ， 对 模 7，3 是 一 个 原 根 , 但 2 不是。 如 果 Z* 包含 一 个 原 根 ， 就 称 群 Z* 是 循环 
的 。 下 列 定理 是 由 Niven A Zuckerman 265 首先 证 明 的 ， 在 此 上 略 去 其 证 明 过 程 。 
定理 31. 32 对 所 有 的 素数 力 >2 和 所 有 正 整数 e， 使 得 Z ZARB n>1 的 值 为 2，4，p 
和 2p. | = 
如 果 g 2Zi 的 一 个 原 根 且 a 是 Z PRENK, WEE—A z, 14 g =almodn), XA 
z 称 为 对 模 n 到 基 g 上 的 a 的 一 个 离散 对 数 或 指数 ， 将 这 个 值 表示 为 ind,,s (a)。 
定理 31. 33( 离 散 对 数 定理 ) ”如 果 g 是 ZZ 的 一 个 原 根 ， 则 当 且 仅 当 等 式 c=ylmod $8(n)) 成 
立时 ， 有 等 式 g =g (mod 2) MZ. 
证 明 首先 假设 z=y(mod $n))， 则 对 某 个 整数 有 z= 二 y 十 kp$(n)。 因 此 ， 
g = pe (mod n) 
= g’ (pg?) (modn) 
= g’ e 1! (mod n) (根据 欧 拉 定理 ) 
| = g’ (mod n) 
RZ, (RR g?=zg" (mod n)。 因 为 g 的 寡 的 序列 生成 (8 中 的 每 一 个 元 素 ， 且 | (g)| =a, Ee 
31. 18 ERE e 的 寡 的 序列 是 一 个 周期 为 %(z) 的 周期 序列 。 所 以 ， 如 果 e7=e"(modn), MMA 
x= y(mod $(n)). = 
现在 关注 以 一 个 素数 的 戎 为 模 的 1 的 平方 根 。 下 面 的 定理 将 用 在 31.8 节 中 讨论 的 素数 测试 [955 
算法 中 。 
定理 31.34 如果 力 是 一 个 奇 素数 且 e 之 1， 则 方程 
az’ = 1(mod p’) (31. 34) 
仅 有 两 个 解 ， 即 c= 1 和 Zz 一 一 1。 
证 明 方程 (31. 34) 等 价 于 
| (z 一 1)(z 十 1) 
由 于 p>2, Æ pl (zx 一 1) 或 p| (zx 十 1), 但 它们 不 同时 成 立 。( 否 则 ， 由 性 质 (31. 3)，p 也 能 整除 
它们 的 差 (zx 十 1) 一 (zx 一 1) 一 2。) 如 果 pt(z—1), WW gcd(p*，z 一 1) 二 1， 而 且 由 推论 31.5， 有 
pl (zx 十 1)。 辽 就 是 说 ，z 夺 一 1(mod p), XER, WR ptt), W gcd(p:，z 十 1)= 二 1， 而 且 
推论 31. 5 BORE p| (x 一 1)， 所 以 z==1(mod p). Atk, a=—1(mod p), 或 者 z=1(modp)。 M 
如 果 一 个 数 zx 满足 方程 x 三 1(mod n), 但 z 不 等 于 以 x 为 模 的 1 的 两 个 “平凡 ”平方 根 : 1 或 
一 1， 则 z 是 一 个 以 n 为 模 的 1 的 非 平凡 平方 根 。 例 如 ，6 是 以 35 为 模 的 1 的 非 平 凡 平 方 根 。 下 
面 给 出 定理 31. 34 的 一 个 推论 ， 它 将 用 于 31.8 节 中 讨论 的 Miller-Rabin 素数 测试 过 程 的 正确 性 
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证 明 。 

推论 31.35 如 果 对 模 n 存 在 1 的 非 平凡 平 方 根 ， 则 n 是 合 数 。 

证 明 根据 定理 31. 34 的 道 否 命题 ， 如 果 对 模 存在 1 的 非 平 几 平方 根 ， 则 ”不 可 能 是 奇 素 
BME TRB. WMR 也 三 1(mod2)， 则 zx 三 1(mod 2)， 故 1 的 所 有 对 模 2 的 平方 根 都 是 平凡 
W. BE, n 不 能 是 素数 。 最 后 ， 为 了 使 1 的 非 平凡 平方 根 存在 ， 必 有 n>]. AW, n VE 
是 合 数 。 E 

用 反复 平方 法 求 数 的 寡 

数论 计算 中 经 常 出 现 一 种 运算 ， 就 是 求 一 个 数 的 寡 对 另 一 个 数 的 模 运算 ， 也 称 为 模 取 宕 。 更 
明确 地 说 ， 和 希望 有 一 种 高 效 的 方法 来 计算 a modn 的 值 ， 其 中 a,， b 为 非 负 整 数 ，n 是 一 个 正 整 
数 。 在 许多 素数 测试 程序 和 RSA 公 钥 加 密 系 统 中 ， 模 取 窒 运算 是 一 种 很 基本 的 运算 。 采 用 65 的 
二 进 制 表示 ， 反 复 平 方法 可 以 高 效 地 解决 这 个 问题 。 

956 Blore Opis ots bry bo Feb Wak il Fem (AIH AAN A & 十 1 位 长 ， b, HRR AAA, 
bo 为 最 低 有 效 位 )。 随 着 c 的 值 从 0 到 2 成 倍增 长 ， 下 列 过 程 最 终 计算 出 a mod n, 


MODULAR-EXPONENTIATION(a, 5,7) 
c=0 
d=1 
jet( ,bi_1 ,°° sbo) be the binary representation of b 
for ¿=k downto 0 

c=2c 

‘d=(d +d) modn 

if b== 1 

c=c+1 
9 d=(d* a) modn 

10 return d 


在 每 次 迭代 中 ， 第 6 行 平方 操作 的 使 用 解释 了 “反复 平方 ”这 个 名 称 的 由 来 。 举 一 个 例子 ， 对 
a 二 7，6 二 560， 以 及 n= 二 561， 这 个 算法 计算 图 31-4 中 给 出 的 对 模 561 的 序列 的 值 ， 所 用 到 的 指 
数 序列 出 现在 表格 以 c 标示 的 行 中 。 


| i} 9 


on OD oO Fe WwW N FF 





pli 
c| l 2 4 8 17 35 70 140 280 
di 7 49 157 526 160 241 298 166 67 
31-4 4%a=7, b=560= (1000110000), n=561 AY, MODULAR-EXPONENTIATION 
计算 a’ (mod n) 的 结果 。 数 值 在 每 次 for 循环 执行 后 显示 。 最 终结 果 为 1 


这 个 算法 并 不 真 的 需要 变量 <， 只 是 用 它 使 得 下 面 两 部 分 的 循环 不 变 : 

LER 4 一 9 FTH for 循环 的 每 次 迭代 之 前 ， 

l.c 的 值 与 b 的 二 进 制 表示 的 前 缀 (名 ， Oris tts Dia 相同 ， 且 

2.d=a‘ mod n, 

下 面 使 用 这 个 循环 不 变 式 : 

初始 化 :最初 ，i 二 &， 使 得 前 缀 (6 ，6;-1，…，6i+1) 是 空 的 ， 这 对 应 于 c=0. WI, d=1= 

a° mod n, 

保持 : 令 c 和 d' 表 示 在 for 循环 的 一 次 迭代 的 结束 处 Md 的 值 ， 因 此 ， 它 们 是 下 一 次 迭代 
前 的 值 。 每 次 迭代 更 新 c 二 2c( 如 果 6; 二 0) 或 者 c= 二 2c 十 1( 如 果 5: 二 1)， 使 得 c 在 下 一 次 迭代 之 前 
是 正确 的 。 如 果 65=0， 则 4d'=4? modn= (a)? modn=a" modn=a modn, #b,=1, Wd’ = 
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= qt} 


d’a mod n= (a‘)*a mod n= mod n 二 a mod n。 无 论 哪 种 情况 ， 在 下 一 次 迭代 之 前 ， 都 有 d= 
a‘ mod n, 

终止 ， 在 终止 时 ， 1 一 一 1。 因此 ， c=), AA c BA b i zea ATA o » Bris °°" by > A 
1. KA, d=a modn=a’ mod n, 

如 果 输 入 a, 5 与 n 都 是 8 位 的 数 ， 则 需要 的 算术 运算 的 总 次 数 是 0O06) ， 并 且 需 要 的 位 操作 
的 总 次 数 是 O(B’)。 


练习 


31.6-1 Bik, BER ZL 中 每 个 元 素 的 阶 。 找 出 最 小 的 原 根 g， 并 画 出 一 张 表 ， 对 所 有 
xrELy » 给 出 相应 的 indi, (x) 的 值 。 

31. 6-2 ” 写 出 一 个 模 取 大 算法 ， 要 求 该 算法 检查 2 的 各 位 的 顺序 为 从 右 向 左 ， 而 非 从 左 向 右 。 

31.6-3 ”假设 已 知 pa), 说 明 如 何 运 用 过 程 MODULAR-EXPONENTIATION， 对 任意 aE Zi, 
计算 出 a mod nn 的 值 。 


31.7 RSA 公 钥 加 密 系统 


通过 公 钥 加 密 系 统 ， 可 以 对 传输 于 两 个 通信 和 单位 之 间 的 消息 进行 加 密 ， 即 使 窃听 者 窃听 到 
被 加 密 的 消息 ， 也 不 能 对 其 进行 破译 。 公 钥 加 密 系统 还 能 让 通信 的 一 方 ， 在 电子 消息 的 末尾 附加 
一 个 无 法 伪造 的 “数字 签名 ”。 这 种 签名 是 纸 质 文件 上 的 手写 签名 的 电子 版 本 。 任 何人 都 可 以 轻松 
地 核对 签名 ， 但 却 不 能 伪造 它 ， 如 果 这 一 消息 中 的 任何 位 有 所 变化 ， 整 个 签名 就 失去 了 效力 。 因 
此 ， 数 字 签名 可 以 为 签名 者 身份 和 其 签署 的 信息 内 容 提供 证 明 。 对 于 电子 签署 的 商业 性 合同 、 电 
子 支票 、 电 子 购 货 单 和 其 他 一 些 各 方 希望 进行 认证 的 电子 信息 来 说 ， 这 是 一 种 理想 的 工具 。 

RSA 公 钥 加 密 系 统 主要 基于 以 下 事实 : 寻求 大 素数 是 很 容易 的 ， 但 要 把 一 个 数 分 解 为 两 个 
大 素数 的 积 却 相当 困难 。31. 8 节 描述 了 一 个 能 有 效 地 找 出 大 素数 的 过 程 ， 而 31. 9 节 将 讨论 大 整 
数 的 分 解 问题 。 

公 钥 加 密 系统 

在 一 个 公 钥 加 密 系 统 中 ， 每 个 参与 者 都 拥有 一 把 公 钥 和 一 把 密 钥 。 每 把 密 钥 都 是 一 段 信息 。 
例如 ， 在 RSA 加 密 系统 中 ， 每 个 密 钥 均 由 一 对 整数 组 成 。 在 密码 学 中 常 以 参与 者 “Alice” 和 
“Bob” 作 为 例子 : 用 PA 和 Ss 分 别 表 示 Alice 的 公 钥 和 密 钥 ， 用 Ps 和 Sg 分 别 表 示 Bob 的 公 钥 和 
密 钥 。 

每 个 参与 者 均 自己 创建 公 钥 和 密 钥 。 密 钥 需 要 保密 ,但 公 钥 则 可 以 对 任何 人 透露 ， 甚 至 可 以 
公之于众 。 事 实 上 ， 假 设 每 个 参与 者 的 公 钥 都 能 在 一 个 公开 目录 中 看 到 ， 这 样 通常 是 很 方便 的 ， 
这 使 得 任何 参与 者 都 可 以 容易 地 获得 任何 其 他 参与 者 的 公 钥 。 

公 钥 和 密 钥 指定 了 可 用 于 任何 信息 的 函数 。 设 D 表 示人 允许 的 信息 集合 。 例 如 ，D 可 能 是 所 有 
有 限 长 度 的 位 序列 的 集合 。 在 最 简单 、 最 原始 的 公 钥 加 密 设想 中 ， 要 求 公 钥 与 密 钥 指 定 一 种 从 中 
到 其 自身 的 一 一 对 应 的 函数 。 对 应 Alice 的 公 钥 P4 的 函数 用 PO) 表示 ， 对 应 她 的 密 钥 $4 的 函数 
表示 成 Ss()， 因 此 PLOS Ss() 函 数 都 是 中 的 排列 。 假 定 已 知 密 钥 Ps 或 Ss， 可 以 有 效 地 计算 出 
函数 PLOR SaO. 

系统 中 任何 参与 者 的 公 钥 和 密 钥 都 是 一 个 “匹配 对 ”， 它 们 指 SEM BRA RR. RE 
说 ,对 任何 消息 MED， 有 

| M = S,(P4(M)) (31. 35) 
M = P,(S,(M)) (31. 36) 
IOS, SEITE PAȘI SAA MAE 最 后 仍然 得 到 消息 M. 


958 


959 
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在 公 钥 加 密 系 统 中 ， 要 求 除了 Alice 外 ， 没 人 能 在 较 实 用 的 时 间 内 计算 出 函数 Ss()。 对 于 送 
给 Alice 加 密 邮 件 的 保密 性 与 Alice 的 数字 签名 的 有 效 性 ， 以 下 假设 十 分 关键 : Alice 必须 对 Sa 保 
密 ; 如 果 她 不 能 做 到 这 一 点 ， 就 会 失去 她 的 唯一 性 ， 并 且 加 密 系 统 也 不 能 把 唯一 性 赋予 她 。 假 设 
即使 每 个 人 都 知道 Ps， 并 且 能 够 有 效 地 计算 出 S40) 的 反 函 数 Pa()， 依 然 要 保证 只 有 Alice 能 够 
计算 出 Se()。 为 了 设计 一 个 可 行 的 公 钥 加 密 系 统 ， 必 须 解 决 以 下 问题 : 如 何 创建 一 个 系统 ， 在 
该 系统 中 可 以 公开 其 变换 PaA() ， 而 不 至 于 因此 而 公开 其 相应 的 逆 变 换 Sa () 的 计算 方法 。 这 项 任 
务 看 起 来 很 可 怕 ， 然 而 我 们 将 看 到 如 何 去 完 成 它 。 
在 一 个 公 钥 加 密 系 统 中 ， 加 密 的 工作 方式 如 图 31-5 所 示 。 假 定 Bob 要 给 Alice 发 送 一 条 加 密 
的 消息 M， 使 得 该 消息 对 于 窃 密 者 像 一 串 无 意义 的 乱码 。 发 送 消息 的 方案 如 下 : 
。 Bob 取得 Alice 的 公 钥 Pa (根据 一 个 公开 的 目录 或 直接 向 Alice RO. 
。 Bob 计算 出 相应 于 M 的 密 文 C 二 Pa (CM)， 并 把 C 发 送 给 Alice, 
。 当 Alice 收 到 密 文 C 后 ， 她 运用 自己 的 密 钥 SA 恢复 原始 信息 : Sa (O= S, (Pa (MD) 二 MM。 
由 于 SOM Pa() 互 为 反 函 数 ， 所 以 Alice 能 够 根据 C 计算 出 M。 因 为 只 有 Alice 能 够 计算 出 
SO, MUERA Alice 能 根据 C 计算 出 M。 因 为 Bob 运用 POX} M 进行 加 密 ， 所 以 只 有 Alice 
可 以 理解 接收 的 消息 。 


Bob Alice 


加 密 解密 





图 31-5 ” 公 钥 系统 的 加 密 过 程 。Bob 使 用 Alice HAH Pa 来 加 密 消息 M， 然 后 通过 信道 传送 结果 密 
文 C= 二 Pa (MD 给 Alice。 一 个 截获 传送 密 文 的 窃 密 者 得 不 到 关于 M 的 信息 。Alice 收 到 C, 
并 且 使 用 密 钥 来 解密 ， 以 得 到 最 初 消 息 M 一 SA(C) 


类 似 地 ， 在 公 钥 系统 的 设想 中 可 以 很 容易 地 实现 数字 签名 。( 有 其 他 方式 可 以 解决 构造 数字 
签名 的 问题 ， 但 在 这 里 我 们 不 讨论 。) 假 设 现在 Alice 希望 把 一 个 数字 签署 的 答复 M 发 送 给 Bob. 
数字 签名 方案 的 过 程 如 图 31-6 所 示 。 


Alice Bob 





信道 
图 31-6” 公 钥 系 统 的 数字 签名 过 程 。Alice 将 她 的 数字 签名 oc 二 Ss CM ) 附 加 到 消息 M 上 ， 来 对 消息 


M' 答 名。 她 将 消息 /签名 对 UM ，o) 发 送 给 Bob，Bob 通过 检查 等 式 M =P, (c) 来 验证 它 。 
如 果 等 式 成 立 ， 则 他 接受 (UM ，o) 作 为 Alice 已 经 签名 的 一 个 消息 


e Alice 运用 她 的 密 钥 S\ 和 等 式 c 一 SaCM ) 计 算出 信息 M 的 数字 签名 o- 

。 Alice 把 消息 /签名 对 UM ，o) 发 送 给 Bob。 

e 当 Bob 收 到 GM ，o) 时 ， 他 可 以 利用 Alice 的 公 钥 ， 通 过 验证 等 式 M 二 Pa(o) 来 证 实 该 消 
息 的 确 是 来 自 Alice。( 假 设 M' 包 含 Alice 的 名 字 ， 这 样 Bob 就 知道 应 该 使 用 谁 的 公 钥 。) 
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如 果 等 式 成 立 ， 则 Bob 可 以 得 出 消息 M 确实 是 Alice 签名 的 结论 。 如 果 等 式 不 成 立 ， 那 
么 Bob 就 得 出 结论 ， 要 么 是 信息 M' 或 数字 签名 o 因 传输 错误 而 损坏 ,， 要么 信息 对 
(M', 中 是 一 个 故意 的 伪造 。 
因为 一 个 数字 签名 既 证 明了 签署 者 身份 ， 也 证 明了 签署 的 信息 内 容 ， 所 以 它 是 对 文件 末尾 的 手 
写 签名 的 一 种 模拟 。 
数字 签名 必须 可 被 任何 能 取得 签署 者 的 公 钥 的 人 所 验证 。 一 条 签署 过 的 信息 可 以 被 一 方 确 
认 后 再 传送 到 其 他 可 以 验证 签名 的 各 方 。 例 如 ， 这 条 消息 可 能 是 Alice 发 给 Bob 的 一 张 电子 支 
票 。Bob 确认 了 支票 上 Alice 的 签名 后 ， 就 可 以 把 这 张 支票 送 交 银行 ， 而 银行 也 可 以 对 签名 进行 
验证 ， 然 后 调拨 相应 的 资金 。 
签署 的 信息 未 必 是 加 密 的 ， 该 信息 可 以 是 “公开 的 ”， 没 有 受到 保护 。 如 果 把 上 述 有 关 加 密 和 
签名 的 两 种 方案 结合 起 来 使 用 ， 就 可 以 创建 出 同时 被 签署 和 加 密 的 消息 ， 签 署 者 首先 把 其 数字 
签名 附加 在 消息 的 后 面 ， 然 后 再 用 他 预定 的 接收 者 的 公 钥 对 最 终 的 消息 /签名 对 进行 加 密 。 接 收 
者 用 其 密 钼 对 收 到 的 消息 进行 解密 ， 以 同时 获得 原始 消息 和 数字 签名 。 然 后 ， 接 收 者 可 以 用 签署 
者 的 公 钥 对 签名 进行 验证 。 相 应 的 纸 质 文件 系统 的 实现 过 程 为 ， 对 文件 签名 后 ， 将 文件 封 人 一 个 
纸 质 信封 内 ， 该 信封 只 能 由 预定 的 接收 者 打开 。 
RSA 加 密 系统 
在 RSA 公 钥 加 密 系 统 中 ， 一 个 参与 者 按 下 列 过 程 创建 他 的 公 钥 和 密 钥 ; 
1. 随机 选取 两 个 大 素数 p 和 gq， 使 得 pAq, PIN, BM p Me 可 能 各 有 1024 位 。 
2. 计算 n= pa. 
3. 选取 一 个 与 $n) DAM e， 其 中 由 等 式 (31. 20), 6) SF-DG-). 
4. 对 模 $4n)， 计 算出 e 的 乘法 逆 元 4 的 值 。( 推 论 31. 26 保证 4 存在 且 唯 一 。 给 定 e。 Mga), 
可 以 利用 31.4 节 中 的 方法 计算 de) 
5. 将 对 P= 二 (e，n) 公 开 ， 并 作为 参与 者 的 RSA AHA. 
6. 使 对 S== Cd， 保密， 并 作为 参与 者 的 RSA 密 钥 。 
对 于 这 个 方案 ， 域 人 为 集合 乙 。 为 了 变换 与 公 钥 P= (e， 四 相关 的 消息 M， 计 算 


P(M) = M’ mod n (31. 37) 
ITERS S= (da，7) 相 关 的 密 文 C， 计 算 
SCC) = C*modn (31. 38) 


这 两 个 等 式 对 加密 与 签名 是 通用 的 。 为 了 创建 一 个 签名 ， 签 署 人 把 其 密 钥 应 用 于 待 签 署 的 消息 ， 
而 不 是 密 文中 。 为 了 确认 签名 ， 将 签署 人 的 公 钥 应 用 在 签名 中 ， 而 非 加 密 的 消息 中 。 

我 们 可 以 运用 31. 6 节 中 描述 的 过 程 MODULAR-EXPONENTIATION， 来 实现 上 述 公 钥 与 
密 钥 的 有 关 操 作 。 为 了 分 析 这 些 操作 的 运行 时 间 ， 假 定 公 钥 (e， 刀 和 密 钥 (d，7) 满 足 lge 王 CC1)， 
lgd 和 8,， 且 lg” 和 86。 然后 ， 应 用 公 钥 需要 执行 O(1) 次 模 乘 法 运算 和 0(08: ) 次 位 操作 。 应 用 密 钥 需 
要 执行 OC(B8) 次 模 乘 法 运算 和 OCB ) 次 位 操作 。 

定理 31. 36(RSA 的 正确 性 ) RSA 等 式 (31.37) 和 (31. 38) 定 义 了 满足 等 (31. 35) Fe (31. 36) 4 
Z, #1) E, 

iE AA 根据 等 (3L 37) 和 (31. 38)， 对 任意 MEZ,， 有 

P(S(M)) = S(P(M)) =M” (modn) 
因为 e 和 4a BR K=O L)(q-)D WARE BIIC, ATURE PEM k, A 
ed =1+k(p—1)(q—-1) 

但 是 ， 如 果 则 有 
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RMea = MMPH EDP (mod p) 
= M((M mod p)! XA (mod p) 
= M(1)*? (mod p) (根据 定理 31. 31) 
= M (mod p) 
并 且 ， 如 果 M=0 (mod p), WME M*=M(mod p). 。 因 此 ， 对 所 有 M, 
M” = M(mod p) 


类 似 地 ， 对 所 有 M, A 
MXM2 = M(mod q) 
因此 ， 根 据 中 国 余数 定理 的 推论 31. 29， 对 所 有 M， 有 
M” = M(mod n) = 

RSA 加 密 系 统 的 安全 性 主要 来 源 于 对 大 整数 进行 因 式 分 解 的 困难 性 。 如 果 对 方 能 对 公 钥 中 
的 模 n 进行 分 解 ， 就 可 以 根据 公 钥 推导 出 密 钥 ， 这 是 因为 对 方 和 公 钥 创建 者 以 同样 的 方法 使 用 
因子 p 和 和 gq。 因此， 如 果 能 够 轻易 地 分 解 大 整数 ， 也 就 能 够 轻易 地 打破 RSA 加 密 系 统 。 这 一 命 
题 的 逆 命 题 是 ， 如 果 分 解 大 整数 是 困难 的 ， 则 打破 RSA 也 是 困难 的 。 经 过 20 年 的 研究 ， 人 们 
还 没有 发 现 比 分 解 模 nn 更 容易 的 方法 来 打破 RSA 加 密 系统 。 并 且 正 如 我 们 将 在 31. 9 节 中 所 见 ， 
对 大 整数 进行 分 解 的 困难 程度 令 人 惊异 。 通 过 随机 地 选取 两 个 1024 位 的 素数 并 求 出 它们 的 积 ， 
就 可 以 创建 出 一 把 无 法 用 现行 技术 在 可 行 的 时 间 内 “破解 2 的 公 钥 。 在 数论 算法 的 设计 方法 还 缺 
乏 根 本 突破 的 情况 下 ， 细 心地 遵循 所 推荐 标准 来 执行 ，RSA 加 密 系 统 可 以 为 实际 应 用 提供 高 度 
的 安全 性 。 

然而 ， 为 了 通过 RSA 加 密 系 统 实现 安全 性 ， 应 该 在 很 长 ( 数 百 位 乃至 一 千 位 ) 的 整数 上 操作 ， 
以 防御 因 式 分 解 技术 可 能 的 进步 。2009 年 ，RSA 模 数 通常 是 在 768 到 2048 位 的 范围 内 。 要 建立 
这 样 大 小 的 模 数 ， 必 须 能 够 有 效 地 找 出 大 素数 。31. 8 市 将 讨论 这 个 问题 。 

为 了 提高 效率 ， 通 常 运用 一 种 “混合 的 ”或 “ 密 钥 管 理 ” 模 式 的 RSA， 来 实现 快速 的 无 公 钥 加 
密 系统 。 在 这 样 一 个 系统 中 ， 加 密 密 钥 与 解密 密 钥 是 相同 的 。 如 果 Alice 希望 私下 把 一 条 长 消息 
M 发 送 给 Bob， 她 从 快速 无 公 钥 加 密 系统 中 选取 一 把 随机 密 钥 K， 然 后 运用 K 对 M 进行 加 密 ， 
得 到 密 文 C。 这 里 ，C 和 M 一 样 长 ,但 K 相当 短 。 然 后 ， 她 利用 Bob 的 公开 RSA 密 钥 对 K 进行 
me. AA KRA, POE Ps(K) 的 速度 也 很 快 ( 比 计算 Ps (MD) 的 速度 快 很 多 )。 然 后 ， 她 把 
(C，Ps(K)) 传 送 给 Bob, Bob 对 Ps(K) 解 密 后 得 到 KK， 然 后 再 用 K 对 C 进行 解密 ， 得 到 M。 

类 似 地 ， 可 以 使 用 一 种 混合 的 方法 来 提高 数字 签名 的 执行 效率 。 在 这 种 方法 中 ， 使 RSA 与 
一 个 公开 的 抗 冲突 散 列 函数 刀 相 结合 ， 这 个 函数 是 易于 计算 的 ， 但 是 对 这 个 函数 来 说 ， 要 找 出 两 
条 消息 MAM’, ACM = 二 AhCM )， 在 计算 上 是 不 可 行 的 。h(M) 的 值 是 消息 M 的 一 个 短 ( 如 
256 位 )“ 指 纹 ”。 如 果 Alice 希望 签署 一 条 消息 M， 她 首先 把 函数 疡 作用 于 M 得 到 指纹 h(M)， 然 
后 用 她 的 密 钥 加密 hCM)。 她 将 CM，S4(hCM) ) 作 为 她 签署 的 M 的 版 本 发 送 给 Bob。Bob 可 以 通 
过 计算 hM), HK Ps 应 用 于 收 到 的 Sa(hCM)) 验 证 其 是 否 等 于 h(MW) 来 验证 签名 的 真实 性 。 因 
为 没有 人 能 够 创建 出 两 条 具有 相同 指纹 的 消息 ， 所 以 在 计算 上 不 可 能 既 改 变 了 签署 的 消息 ， 又 
保持 了 签名 的 合法 性 。 

最 后 ， 我 们 注意 到 利用 证 书 可 以 更 轻松 地 分 配 公 钥 。 例 如 ， 假 设 存在 一 个 “可 信 的 权威 ”了 
每 个 人 都 知道 他 的 公 钥 。Alice 可 以 从 工 获 取 一 条 签署 的 消息 (她 的 证 书 )， 声 明 ” Alice 的 公 钥 是 
P4A”。 由 于 每 个 人 都 知道 Pr， 所 以 这 个 证 书 是 “自我 认证 ”。Alice 可 以 将 她 的 证 书包 含 在 签名 信 
息 中 ， 使 得 接收 者 可 以 立即 得 到 Alice 的 公 钥 ， 以 验证 她 的 签名 。 因 为 她 的 密 钥 是 被 工 签署 的 ， 
所 以 接收 者 知道 Alice 的 密 钥 确 实 是 Alice 本 人 的 密 钥 。 
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31.7-1 考虑 一 个 RSA 密 钥 集合 ， 其 中 p= 二 11，g 二 29，n 二 319，e 二 3。 在 密 钥 中 用 到 的 d 值 应 
当 是 多 少 ? 对 消息 M=100 加 密 后 得 到 什么 消息 ? | 
31.7-2 WB: 如 果 Alice 的 公开 指数 e SF 3, HAMARES Alice 的 秘密 指数 4， 其 中 
0 二 4d 之 $n) ， 则 对 方 能 够 在 关于 的 位 数 的 多 项 式 时 间 内 对 Alice 的 模 n 进行 分 解 。( 尽 
管 不 用 证 明 下 列 结论 ， 但 你 也 许 会 对 下 列 事 实感 兴趣 : 即使 条 件 e==3 MER, LRG 
论 仍然 成 立 。 参 见 Miller[255].) 
* 31.7-3 证 明 在 如 下 意义 中 ，RSA 是 乘法 的 : 
P,(M,) P,(M,) 三 PCMAM:) (mod n) 
AFIT SSE: 如 果 对 方 有 一 个 过 程 ， 对 ZR Pa. EREA Hh 
解密 出 其 中 的 百 分 之 一 ， 则 他 可 以 运用 一 种 概率 性 算法 ， 以 较 大 概率 为 每 一 条 用 PA 加 
密 的 信息 进行 解密 。 


“31.8 素数 的 测试 

在 本 节 中 ， 我 们 要 考虑 寻找 大 素数 的 问题 。 首 先 讨论 素数 的 密度 ， 接 着 讨论 一 种 似乎 可 行 ， 
但 不 完全 可 行 的 测试 素数 的 方法 ， 然 后 介绍 一 种 由 Miller 和 Rabin 发 现 的 有 效 的 随机 素数 测试 
算法 。 
素数 的 密度 

在 很 多 应 用 领域 ， 如 密码 学 中 ， 需 要 找 出 大 的 “随机 素数。 幸运 的 是 ， 大 素数 并 不 少 ， 因 此 
测试 适当 的 随机 整数 ， 直 至 找到 素数 的 过 程 是 可 行 的 。 素 数 分 布 函数 Cn) 描述 了 小 于 或 等 于 
的 素数 的 数目 。 例 如 x(10) 一 4， 因 为 小 于 或 等 于 10 的 素数 有 4 个 ， 分 别 为 2，3，5，7。 素 数 定 
理 给 出 了 xn) 的 一 个 有 用 近似 。 

定理 31. 37( 素 数 定理 ) 

lim n(n) =| 


ro n/ Inn 

即使 对 于 较 小 的 >， 近 似 计算 式 w Inn 也 可 以 相当 精确 地 给 出 Cn) 的 估计 值 。 例 如 ， 当 
n=10° RY, 其 误差 不 超过 6%, XE x(n) =508 475 34, H n/ Inn482 54942, (对 数论 研究 者 来 
Bi, 10° 是 一 个 小 数字 。) 

我 们 可 以 把 随机 选取 一 个 整数 >， 并 判断 它 是 否 为 素数 这 一 过 程 视 为 伯 努 利 试验 ( 见 C.4 
节 )。 通 过 素数 定理 ， 成 功 ( 即 一 个 随机 选取 的 整数 ”是 素数 ) 的 概率 为 1/ Inn。 这 种 几何 分 布 说 
明 ， 为 了 获得 一 次 成 功 需要 多 少 次 试验 ， 而 由 于 等 式 (C. 32)， 试 验 的 期 望 值 近似 为 nn。 因此， 
为 了 找 出 一 个 长 度 与 相同 的 素数 ， 要 检查 在 n 附近 随机 选取 的 大 约 Inn 个 整数 。 例 如 ， 为 了 找 
出 一 个 1024 位 长 的 素数 ， 大 约 需 要 测试 n2710 个 随机 选取 的 1024 位 长 的 整数 的 素性 。( 当 
然 ， 通 过 只 选择 奇数 ， 就 可 以 把 这 个 数字 减少 一 半 。) 

在 本 节 的 余下 部 分 ， 将 要 考虑 确定 一 个 大 的 奇数 ”是 否 为 素数 的 问题 。 为 了 表示 上 的 方便 ， 
假定 具有 下 列 素数 分 解 因子 : 

! N= Pi prep" (31. 39) 
这 里 r=1, bi» Pz» °t’, b-Æn 的 素数 因子 ， Hes; C29 °°" 9 e Fe IE AL. “AMY ”一 1 并 且 
a 一 1 时 ，m 是 素数 。 

解决 这 个 素数 测试 问题 的 一 种 简便 方法 是 试 除 。 试 着 用 每 个 整数 2，3，…，[Wnj 分 别 去 除 n。 

(大 于 2 的 侦 数 可 以 跳 过 。) 很 容易 看 出 ，n 是 素数 当 且 仅 当 没有 一 个 试 除数 能 整除 nx。 假定 每 次 试 





| 
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除 需 要 常数 时 间 ， 则 最 坏 情况 运行 时 间 是 OWn), AE n KREA. (AMF, mR nK 
示 成 8 位 的 二 进 制 数 ， 则 e= lg (xn 十 1)1|， 因 此 Vn 二 BC(2 名 ),) 因 此 ， 只 有 当 n 很 小 或 n 恰好 有 小 素 
数 因 子 时 ， 试 除法 才能 较 好 地 执行 。 当 试 除法 可 以 执行 时 ， 它 的 优点 是 不 仅 能 确定 ”是 素数 还 是 
合 数 ， 而 且 当 是 合 数 时 ， 它 能 确定 出 的 一 个 素数 因子 。 

在 本 节 中 ,我们 所 感 兴趣 的 仅仅 是 确定 一 个 指定 的 数 n EDERA; 如果 是 一 个 合 数 ， 将 
不 考虑 找 出 其 素数 因子 。 正 如 将 在 31. 9 节 中 看 到 的 那样 ， 计 算 一 个 数 的 素数 因子 分 解 的 计算 开 
销 是 很 高 的 。 令 人 惊讶 的 是 ， 确 定 一 个 数 是 否 是 素数 ， 要 比 确 定 一 个 合 数 的 素 因 子 分 解 容易 
得 多 。 

伪 素 数 测试 过 程 

现在 来 考察 一 种 “几乎 可 行 ” 的 素数 测试 方法 ， 事 实 上 ， 对 于 很 多 实际 应 用 ， 这 种 方法 已 经 足 
够 好 了 。 后 面 还 将 改进 这 种 方法 ， 以 消除 其 中 的 小 缺陷 。 令 Zr 表示 Z, PRES ICR : 
Zt = {1,2,.…,n— 1) 
如 果 n ZAR, My Z =Z 0 | 

WR n 是 一 个 合 数 ， 且 

a”™! = 1(modn) (31. 40) 

Wa n 是 一 个 基 为 a 的 伪 素 数 。 费 马 定理 (定理 31. 31) 意 味 着 如 果 n ERA, MX Z+ 中 的 每 一 
个 a，7? 都 满足 等 式 (31. 40)， 因 此 ， 如 果 能 找 出 任意 的 a€ ZZ ， 使 得 ”不 满足 等 式 (31.40)， 那 
么 nn 就 当然 是 合 数 。 令 人 惊讶 的 是 ， 它 的 逆 命 题 也 几乎 成 立 ， 因 此 ， 对 于 素数 测试 ， 这 一 标准 几 
平 是 完美 的 。 对 a 二 2， 测 试看 n 是 否 满 足 等 式 (31. 40)。 如 果 不 满足 ， 则 通过 返回 COMPOSITE 
声明 n 是 合 数 。 否 则 ， 返 回 PRIME, HW ”是 素数 (实际 上 ， 此 时 我 们 所 知道 的 只 是 ”或 者 是 素 
数 ， 或 者 是 基于 2 的 伪 素 数 )。 

下 列 过 程 就 是 用 这 种 方法 测试 n 的 素性 过 程 。 它 使 用 了 31.6 节 中 的 MODULAR- 
EXPONENTIATION H. BEWA n 是 一 个 大 于 2 的 整数 。 


PSEUDOPRIME(n) 

1 if MODULAR-EXPONENTIATION(2,n—1,2)41(mod n) 
2 return COMPOSITE // definitely 

3 else return PRIME // we hope! 


这 个 过 程 可 能 会 产生 错误 ， 但 是 只 有 一 种 类 型 。 也 就 是 说 ， 如 果 它 判定 ”是 合 数 ， 那 么 结果 
总 是 正确 的 。 然 而 ， 如 果 它 判定 n BRM, MARAK n BET 2 的 伪 素 数 时 过 程 才 会 出 错 。 

这 个 过 程 出 错 的 概率 有 多 大 ? 机 会 非常 少 。 在 小 于 10 000 的 nn 值 中 ， 只 有 在 其 中 22 MBE 
会 产生 错误 。 最 靠 前 的 四 个 这 样 的 值 分 别 为 341，561，645 和 1105。 我 们 不 证 明 它 ， 然 而 当 
p-~coe 时 ， 该 过 程 对 随机 选取 的 8 位 数 进行 测试 ， 错 误 的 概率 趋 于 0。 如 果 像 Pomerance[ 279 ] 那 
样 ， 能 更 精确 地 估计 给 定 规模 的 基于 2 的 伪 素 数 的 个 数 ， 就 可 以 得 到 被 上 述 过 程 判定 为 素数 的 一 
个 随机 选取 的 512 位 数 ， 是 基于 2 的 伪 素 数 的 概率 不 到 1/10”， 而 被 上 述 过 程 判 定 为 素数 的 一 个 
随机 选取 的 1024 位 数 ， 是 基于 2 的 伪 素 数 的 概率 不 到 1/10”。 因 此 ， 如 果 只 是 尝试 为 某 个 应 用 
找到 一 个 大 素数 ， 可 以 通过 随机 选取 大 的 数字 ， 直 到 它们 其 中 之 一 使 得 PSEUDOPRIME 返回 
PRIME， 这 在 所 有 实际 使 用 中 几乎 永远 不 会 出 错 。 但 是 当 测 试 素数 的 数字 不 是 随机 选取 时 ， 就 
需要 一 个 更 好 的 方法 来 进行 素数 测试 。 后 面 将 会 看 到 ， 如 果 稍 微 巧 妙 一 点 ， 再 加 上 一 些 随机 性 ， 
就 会 得 到 一 个 在 所 有 输入 情况 下 都 工作 良好 的 素数 测试 程序 。 

遗憾 的 是 ， 我 们 不 能 完全 通过 选取 另外 一 个 基数 (例如 a 一 3) 检查 等 式 (31. 40) 的 方法 ， 来 消 
除 所 有 的 错误 ， 因 为 对 所 有 aE ZZ ， 总 存在 满足 等 式 (31. 40) 的 合 数 n, CNEA Carmichael 
数 。( 注 意 到 当 gcd(Cae，7) 二 1( 也 就 是 当 aZ ) 时 ， 等 式 (31. 40) 不 成 立 ， 然 而 如 果 n 只 有 大 素数 
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因子 ， 很 难 通 过 寻找 这 样 的 a 来 说 明 n 是 合 数 ,) 前 三 个 Carmichael 数 是 561, 1105 和 1729. 
Carmichael 数 极 少 ; 例如 ， 在 小 于 100 000 000 的 数 中 ， 只 有 255 个 Carmichael 数 。 练 习 31. 8-2 
解释 了 这 种 数 很 少 的 原因 。 

下 一 步 来 说 明 如 何 对 素数 测试 方法 进行 改进 ， 使 得 测试 过 程 不 会 把 Carmichael 数 当成 素数 。 

Miller-Rabin 随机 性 素数 测试 方法 

Miller-Rabin 素数 测试 方法 对 简单 测试 过 程 PSFUDOPRIME 做 了 两 点 改进 ， 克 服 了 其 中 存 
在 的 问题 ， 

。 它 试验 了 多 个 随机 选取 的 基 值 >， 而 非 仅 仅 一 个 基 值 。 

。 当 计算 每 个 模 取 朝 的 值 时 ， 在 最 后 一 组 平方 里 ， 寻 找 一 个 以 ”为 模 的 1 的 非 平 凡 平方 根 。 
如 果 发 现 一 个 ， 终 止 执行 并 输出 结果 COMPOSITE, 31. 6 节 的 推论 31. 35 证 明了 用 这 种 
方法 检测 合 数 的 正确 性 。 

下 面 是 Miller-Rabin 素数 测试 的 伪 代 码 。 输 入 n>2 是 一 个 等 待 素性 测试 的 奇数 ，* 是 从 Z 中 
随机 选取 的 要 进行 试验 的 基 值 的 个 数 。 代 码 运 用 随机 数 生成 程序 RANDOM; RANDOM(1, 
n 一 1) 返 回 一 个 满足 la<n—1 的 随机 选取 的 整数 4a。 代码 中 还 使 用 一 个 辅助 过 程 WITNESS, 
当 且 仅 当 a 为 合 数 的“ 证据 ”时 ( 即 用 a 来 证 明 ( 其 证 明 方 法 将 在 后 面 给 出 )n 为 合 数 是 可 能 的 )， 
WITNESS(a, nn) 为 TRUE。 测 试 WITNESS(a，n) 是 一 个 对 作为 过 程 PSEUDOPRIME 基础 (用 a==2) 
的 测试 

ar zÆ 1(modn) 
的 扩展 ， 但 是 更 加 有 效 。 a nd WITNESS 的 构造 过 程 ， 然 后 展示 如 何 把 它 应 用 于 
Miller- Rabin 素数 测试 过 程 。 令 n 一 1 二 2m， 其 中 t 宇 1 H 是 奇数 ; 即 ”一 1 的 二 进 制 表 示 是 奇数 
u 的 二 进 制 表示 后 面 跟 上 恰好 2 MẸ. A, a =la) (mod n)， 所 以 可 以 通过 先 计算 a" mod 
n， 然 后 对 结果 连续 平方 t+ 次 来 计算 a”* modn。 

WITNESS(a,n) 

1 let ¢ and u be such that t2=1,u is odd, and n—1=2% 

2 2)»=MODULAR-EXPONENTIATION(a,u57) 

3 fori:=1 tot 

4 Sah mod n 

5 if z;==1 and z;-,;41 and z;-;4~n—1 

6 i return TRUE 

7 if 2,41 

8 ‘return TRUE 

9 return FALSE 


这 个 WITNESS 的 伪 代 码 通过 首先 在 第 2 行 计算 值 m =a" mod n， 然 后 在 第 3~6 行 的 for 循 
环 的 一 行 中 对 结果 平方 t 次 ， 来 计算 a™' mod No 通过 在 1 上 归纳 ’ 计算 的 序列 Los Tis °°*s zx: 的 
值 满足 等 式 xz; 三 a “Cmodn)(i=0, 1, =+, 2), AUSH, 2, =a"! (mod n)。 然 而 ， 每 当 在 第 
4 行 后 执行 一 个 平方 步 又， 如 果 第 5 一 6 行 检测 到 1 的 一 个 非 平凡 平方 根 是 刚 被 发 现 的 ， 则 循环 
可 能 提前 结束 。 如 果 这 样 ， 则 算法 终止 并 返回 TRUE。 如 果 r= (mod n) 所 计算 的 值 不 等 于 
1， 则 第 7~8 行 返回 TRUE， 就 像 在 这 个 情况 中 PSEUDOPRIME 返回 COMPOSITE。 如 果 在 第 
6 行 或 第 8 行 没有 返回 TRUE， 则 第 9 行 返回 FALSE。 

现在 来 论证 如 果 WITNESS(a, nE TRUE, WAT LAA a 作为 证 据 构造 出 ”是 合 数 的 证 明 。 

如 果 WITNESS 从 第 8 行 返回 TRUE, MECZEM =a modn#l, Ril, WR n BR 
数 ， 则 根据 费 马 定理 (定理 31. 31) ， 对 任何 ae Zi, a= (mod MRA. Al, n 不 可 能 为 素 
数 ， 并 且 等 式 a"? mod xz 天 1 证 明了 这 一 事实 。 
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如 果 WITNESS 从 第 6 行 返回 TRUE， 则 它 已 经 发 现 zx;_1 是 一 个 以 为 模 的 1 的 非 平凡 平方 
根 ， 因 为 x;_1 关 士 1(modn), 但 z,=27-)=1(modn), HE 31. 35 WIL n 是 合 数 时 ， 才 可 能 
存在 以 n ARR 1 的 非 平 凡 平方 根 ， 因 此 说 明 xz;_! 是 以 为 模 的 1 的 非 平凡 平方 根 ， 也 就 证 明了 
n 是 合 数 。 

这 样 就 完成 了 有 关 WITNESS 正确 性 的 证 明 。 如 果 调 用 WITNESS, nikel TRUE, Njn 
必 为 合 数 ， 并 且 根 据 证 据 a 以 及 程序 返回 值 为 TRUE 的 原因 (从 第 6 行 还 是 第 8 行 返 回 ) ， 可 以 
很 容易 确定 n 是 合 数 。 

在 这 里 ， 我 们 以 序列 关 二 (xo。，zi1，…，Z,) 的 函数 形式 简短 地 展示 WITNESS 的 行为 的 另 一 
种 描述 ， 稍 后 在 分 析 Miller-Rabin 素数 测试 的 效率 时 ， 会 发 现 它 很 有 有 用。 注意， 如 果 对 某 个 
ONG 7 =I Zi 一 1， 则 WITNESS 可 能 不 会 计算 序列 的 余下 部 分 。 然而 如 果 计 算 ， ny Xit+19 Lit29 °°*s 
Zz, 的 值 都 将 是 1， 并 且 我 们 考虑 序列 X 中 的 这 些 位 置 都 是 1。 有 四 种 情况 : 

1.X 一 (…，d)， 其 中 d 关 1: 序列 X 不 是 以 1 结尾 。 从 第 8 行 返回 TRUE; a fen 为 合 数 的 
证 据 ( 由 费 马 定理 ) 。 

2.X 一 (1，1，…，1): 序列 X 全 都 是 1。 返 回 FALSE，a 不 是 ”为 合 数 的 证 据 。 

3.X 一 (…， 一 1，1，…，1): 序列 X 以 1 结尾 而且 最 后 一 个 非 1 的 数 等 于 一 1。 返 回 
FALSE, a 不 是 ”为 合 数 的 证 据 。 

4.X 一 (…，d，1，…，1)， 其 中 dA+l: 序列 X 以 1 结尾 ， 但 最 后 一 个 非 1 的 数 不 是 一 1。 

从 第 6 行 返回 TRUE; a 是 ”为 合 数 的 证 据 ， 因 为 & 是 一 个 1 的 非 平凡 平方 根 。 

现在 检查 利用 WITNESS 的 MILLE-RABIN 素数 测试 过 程 。 再 一 次 ， 假 设 ” 是 一 个 大 于 2 的 
奇数 。 


MILLER-RABIN(n, s) 
1 forj;=1 tos 


2 a=RANDOM(1,2—1) 

3 if WITNESS(a,n) 

4 return COMPOSITE / definitely 

5 return PRIME // almost surely 


过 程 MILLE-RABIN 是 为 了 证 明 nn 是 合 数 所 进行 的 概率 性 搜索 。 主 循环 (从 第 1 行 开始 ) 从 
Zr 中 挑选 ;个 a 的 随机 值 (第 2 行 )。 如 果 所 挑选 的 一 个 a 值 是 为 合 数 的 证 据 ， 则 过 程 MILLE- 
RABIN 在 第 4 行 返回 COMPOSITE。 这 样 的 结果 总 是 正确 的 ， 由 WITNESS 的 正确 性 证 明 可 以 
看 出 。 如 果 在 * 次 试验 中 没有 发 现 证 据 ， 则 MILLE-RABIN 假定 这 是 因为 证 据 不 存在 ， 因 此 假 
设 ”为 素数 。 我 们 将 看 到 如 果 s 足够 大 ， 则 这 个 输出 结果 很 可 能 是 正确 的 ， 但 也 存在 这 样 一 种 微 
小 的 可 能 性 ， 即 过 程 在 选择 a 时 运气 不 佳 ， 因 为 过 程 虽 然 没 有 发 现 证 据 ， 但 证 据 却 确实 存在 。 

为 了 说 明 MILLE-RABIN 的 操作 过 程 ， 邻 ?为 Carmichael 数 561， 使 得 ”一 1 王 560 一 24。35， 
一 4， 一 35。 假 定 过 程 选 择 a=7 作为 基 ，31.6 节 的 图 31-4 说 明 WITNESS 计算 t =a” = 
241(mod 561) ， 因 此 计算 序列 X=(241，298，166，67，1)。 所 以 ， 在 最 后 一 次 平方 步 又 中 发 现 
了 一 个 1 的 非 平凡 平方 根 ， 因 为 2° =67(modn), a®=1(modn), Alb, a=7 是 ”为 合 数 的 证 
据 ，WITNESS(7，n) 返 回 TRUE， 因 而 MILLE-RABIN 返回 COMPOSITE, 

如 果 是 一 个 8 位 数 ， 则 MILLE-RABIN 需要 执行 0(s8) 次 算术 运算 和 OCsB’ ) 次 位 操作 ， 因 
为 从 渐 近 意义 上 说 ， 它 需要 执行 的 工作 仅 是 s KR RSH. 

MILLE-RABIN 素数 测试 的 出 错 率 

如 果 MILLE-RABIN 返回 PRIME， 则 它 仍 有 一 种 很 小 的 可 能 性 会 产生 错误 。 然 而 ， 不 像 
PSEUDOPRIME， 出 错 的 可 能 性 并 不 依赖 于 n: 对 该 过 程 也 不 存在 坏 的 输入 。 相 反 ， 它 取决 于 : 
的 大 小 和 在 选取 基 值 a 时 “抽签 的 运气 ”。 另 外 ， 由 于 每 次 测试 都 比 简单 地 检查 等 式 (31. 40) 更 严 
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格 ， 因 此 从 总 的 原则 上 ， 对 随机 选取 的 整数 n， 其 出 错 率 应 该 是 很 小 的 。 下 列 定理 阐述 了 一 个 更 
精确 的 论点 。 

定理 31.38 ”如果 nn 是 一 个 奇 合 数 ， 则 n 为 合 数 的 证 据 的 数目 至 少 为 (n 一 1)/2。 

WEAR ”证 明 过 程 说 明了 非 证 据 的 个 数 最 多 为 (n 一 1)/2， 意 味 着 定理 成 立 。 

首先 ， 我们 断言 任何 非 证 据 都 必须 是 Z 的 一 个 成 员 。 为 什么 呢 ? 考虑 任意 的 非 证 据 ao € 
必须 满足 a '=1Cmodn), MAE, ae a” 和 圭 l1(mod n)。 因 此 ， 方 程 ax 圭 1(mod n) 有 一 个 
解 ， 即 a"”?。: 由 推论 31.21 可 知 ，gcd(a，n) |1， 这 反 过 来 意味 着 gcdla, n=1, A, a È Z 
的 一 个 成 员 ， 所 有 的 非 证 据 都 属于 Z- 

为 了 完成 证 明 ， 要 说 明 不 只 是 所 有 的 非 证 据 都 包含 在 内， 而 且 它 们 都 包含 在 Z 的 一 个 
真子 群 B 中 (回顾 一 下 ， 如 果 BEZ 的 一 个 子 群 但 B 不 等 于 Z; ， 则 B 是 2 的 一 个 真子 群 )。 
根据 推论 31.16, | B|<S| Z |/2。 因 为 |Z;* | 二 nn 一 1-， 所 以 得 到 |B| 志 (nm 一 1)/2。 因 此 ， 非 证 
据 的 个 数 至 多 是 (n 一 1)/2， 所 以 证 据 的 数目 必须 至 少 有 (n 一 1)/2，。 

下 面 说 明 如 何 找 出 一 个 Z* 的 包含 所 有 非 证 据 的 真子 群 B。 具 体 分 两 种 情况 。 

情况 1: 存在 一 个 ce ZZ ， 使 得 

| x” 'F1(mod n) 
IER, n 不 是 一 个 Carmichael 数 。 如 我 们 先前 所 注意 到 的 ， 因 为 Carmichael 数 极 少 ， 情 况 1 
是 由 “实际 ”所 产生 的 主要 情况 (例如 ， 这 里 nn 已 经 被 随机 选取 ， 而 且 被 测试 其 素数 性 )。 

$ B={bEZ; : 0 二 1(mod n)}。 显 然 ，B 是 非 空 的 ， 因 为 1€ B。 因 为 B 在 模 n 的 乘法 下 
是 封闭 的 ， 所 以 由 定理 31.14，B 是 2 的 一 个 子 群 。 注 意 ， 每 个 非 证 据 都 属于 B， 因 为 一 个 非 
证 据 a 满足 4"! 三 1(modn)。 因 为 <EZ; 一 B， 所 以 B 是 Z* 的 一 个 真子 群 。 

情况 2: 对 所 有 的 zE ZZ; ， 

az” = 1(modn) (31. 41) 
换 名 话说， n 是 一 个 Carmichael 数 。 这 个 情况 实际 上 非常 少 。 然 而 ， 正 如 现在 要 说 明 的 ， 
MILLE-RABIN 测试 (不 同 于 伪 素 数 测试 ) 可 以 有 效 地 确定 Carmichael 数 的 合 数 性 。 

在 这 种 情况 下 ，n 不 可 能 是 一 个 素数 寡 。 为 搞 清 楚 为 什么 ， 反 之 我 们 假设 x 二 zr， 其 中 p 是 一 个 
素数 ，e 二 1。 按 如 下 方式 推导 出 矛盾 。 因 为 假设 是 奇数 ， 故 p 也 必须 是 奇数 。 定 理 31. 32 意味 着 Z 
是 一 个 循环 群 : 它 包含 一 个 生成 元 g, 1848 ord, (g) =| ZF | =) =p 1—-1/p) =(@—- Dp OM 
公式 来 自 等 式 (31. 20)) 。 根 据 式 (31. 41) ， 有 g”! 圭 1(mod n)。 则 离散 对 数 定理 (定理 31. 33， 取 
y= ee 1=0(mod ¢(n)), 或 者 

(p—1)p |p —1 
这 对 e>1 是 一 个 矛盾 ， 因为 (p 一 1)p”' 可 以 被 素数 pp 整除 ,但 是 p' 一 1 不能。 因此 ,nn 不 是 一 个 
RUE 

因为 奇 合 数 m TRIE — ARCA, BRUTE ESHA —P BL ma ne» Eh on Hm BAC 1 的 奇数 
且 互 质 。( 有 多 种 方法 来 做 这 个 分 解 ， 选 择 哪 一 种 并 没有 关系 。 例 如 ， 如 果 n= ph pepr, Wa 
以 选择 mn 二 ph， 而 一 py pept a) 

回顾 一 下 ， 定义 t 和 u 使 得 n—1=2u, 其 中 tæl, u 是 奇数 ， 且 对 于 输入 Qs 过 程 
WITNESS 计算 序列 

| X = (gar ,a “ye, a2") 
(所 有 的 计算 都 是 根据 模 n 计 算 的 )。 

如 果 vEZ; » fE{0, 1, +, t} H v?“=—1(modn), WHER (vo, PADS. WH 
受 的 对 是 肯 EFTER, AA u 是 奇数 ; 可 以 选择 v==n 一 1 和 7 一 0， 使 得 (一 1，0) 是 一 个 可 接受 
对 。 现 在 挑选 最 大 可 能 的 ;})， 使 得 存在 一 个 可 接受 对 (vw，;)， 调 整 v 使 得 (v，j) 是 一 个 可 接受 


971 


973 


570 。 第 七 部 分 算法 问题 选编 


xt. + 

B= {x € Z? :x? “=+ i(modn)} 
因为 B 在 模 的 乘法 下 是 封闭 的 ， 故 它 是 2 的 一 个 子 群 。 因 此 ， 由 定理 31.15, | Bl 整除 | 个 |. 
每 一 个 非 证 据 都 必定 是 如 的 成 员 ， 因 为 由 一 个 非 证 据 产 生 的 序列 X 必须 或 者 全 部 为 1， 或 者 在 第 
j 个 位 置 之 前 ， 包 含 一 个 一 1( 根 据 7 BRKE). Rl, 7 ) 是 可 接受 的 ， 其 中 a 是 一 个 非 证 
据 ， 则 根据 我 们 选择 7 UDR, VA jj.) 

WE, MA v 的 存在 性 说 明 存 在 一 个 wEZi 一 B,， 且 因此 BEZ 的 一 个 子 群 。 因 为 
"三 一 1(mod n)， 根 据 中 国 余数 定理 的 推论 31. 29， 有 "三 一 1(mod nm )。 根 据 推论 31. 28， 存 
在 一 个 w， 同 时 满足 

w= v(mod n) 
w = 1(mod n) 
因此 ， 
w*“=— ] (mod n) 
w?“ = 1 (mod m) 
由 推论 31.29, w"#llmodm) ERE w™Al(modn), 而 且 w* 关 一 1(mod nn) 意味 着 w** 关 一 1 
(mod n)。 因 此 ， 得 出 w?*4t1(modn), MU wB. 

接 下 来 还 要 证 明 wE Z, o 首先 分 别 对 模 ny 和 模 722 进行 处 理 。 对 模 Ni s 注意 到 由 T vE Li, 
有 gcd(v, n =1, MUA gcdlv, m)=1; 如 果 w 与 n 没有 任何 公约 数 ， 它 当然 不 会 与 n, 有 任何 
ZARB. AA w=v(modn), Pre gcd(w，nn) 二 1。 对 模 n。， 观 察 到 w=1(mod n;) 意 味 着 gcd 
(w，ns) 二 1。 结 合 这 些 结 果 ， 利 用 推论 31. 6， 它 意味 着 gcd(w， nmw)= 二 gcd(w，n) 二 1。 也 就 是 
wE Z, o- 

Au, wEZi—B, 而 且 以 BÆ Z 的 一 个 真子 群 的 结论 完成 情况 2. 

在 两 种 情况 中 的 任何 一 个 ， 我 们 看 出 为 合 数 的 证 据 的 数目 都 至 少 为 (n 一 1)/2。 Bi 

定理 31. 39 PRAM n> fo EHRs, MILLER-RABIN(n, s) BREZA, 

证 明 利用 定理 31.38， 可 以 看 到 如 果 nn 是 合 数 ， 则 每 次 执行 第 1 一 4 行 的 for Em, ZIM n 
为 合 数 的 证 据 z 的 概率 至 少 为 1/2。 只 有 当 MILLER-RABIN 运气 太 差 ， 在 主 循环 总 共 ;次 迭代 
中 ， 每 一 次 都 没 能 发 现 ”为 合 数 的 证 据 时 ， 过 程 才 会 出 错 。 而 这 种 每 次 都 错过 发 现 证 据 的 概率 至 
多 为 2 。 国 

如 果 n 是 素数 ，MILLER-RABIN 总 是 输出 PRIME， 而 如 果 ”是 合 数 ，MILLER-RABIN 输 
出 PRIME 的 概率 至 多 为 2 一 。 

然而 ， 当 对 一 个 大 随机 整数 ”应 用 MILLER-RABIN 时 ， 为 了 正确 地 解释 MILLER-RABIN 
的 结果 ， 我 们 需要 考虑 是 素数 的 优先 概率 。 假 设 固定 了 一 个 长 度 位 数 8， 并 且 随 机 选择 了 一 个 
长 度 为 8 位 的 整数 来 检测 优先 级 。 令 A 表示? 是 素数 的 事件 。 由 素数 定理 (定理 31. 37)，n 是 素 
数 的 概率 接近 

Pr{A} ~ 1/ Inn + 1. 443/8 
4> B #78 MILLER- RABIN 返回 PRIME 的 事件 ， 我 们 有 Pr{8|A} 二 0( 或 者 等 价 地 ，Pr{B|A})) 
和 Pr{B|A}<2-' (RAS tree, Pr{B|A}>1—-27). 
然而 在 MILLER-RABIN 返回 PRIME 的 情况 下 ，n 是 素数 的 概率 Pr{A1B} 的 值 是 多 少 呢 ? 
通过 贝 叶 斯 定理 的 变形 (等 式 (C. 18))， 有 
r{A}Pr{B|A 1 
A= EINAT: T N ~ T+2"Cinn—D 
在 s 超 过 lg(1lnn 一 1) 之 前 ， 这 个 概率 不 超过 1/2。 直 观 上 ， 为 了 得 到 信心 (由 于 不 能 找到 是 合 数 
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的 证 据 )， 来 克服 对 于 是 合 数 的 优先 偏好 ， 需 要 很 多 原始 测试 。 对 于 一 个 有 hp=1024 位 的 数 ， 
原始 测试 大 约 需 要 
lg( Inn—1) ~ lg (8/1. 443) ~ 9 
次 。 在 任何 情况 下 ， 对 几乎 所 有 可 以 想象 到 的 应 用 ， 选 取 s=50 应 该 是 足够 的 。 
事实 上 情况 要 更 好 。 如 果 通 过 对 随机 选取 的 大 奇 整数 应 用 MILLER-RABIN 来 找 出 大 素数 ， 
ae o 值 (如 3) 也 未 必 导 致 错误 的 结论 (在 此 不 做 证 明 )。 因 为 对 一 个 随机 选取 的 奇 合 数 
n 为 合 数 的 非 证 据 的 预计 数目 可 能 要 比 (n 一 1)/2 少 得 多 。 
然而 ， 如 果 整 数 ?不 是 随机 选取 的 ， 则 运用 改进 过 的 定理 31. 38， 所 能 证 明 的 最 佳 结 论 是 非 
证 据 数 目 至 多 为 (n 一 1)/4。 并 且 ， 确 实 存在 整数 x， 使 得 非 证 据 的 数目 就 是 (n 一 1)/4。 


练习 
31. 8-1 WR: 如 果 一 个 奇 整数 n> 1 不 是 素数 或 素数 的 宪 ， 则 存在 一 个 以 n AR 1 的 非 平凡 
平方 根 。 
* 31. 8-2 AY ERKE ER ARAA PIER: 对 所 有 aE Z, 
a” = 1(mod n) 
其 中 n= p} pep, HAMEMA 
ACn) = Icm( PC pi ) ,pl pF )) (31. 42) 


证 明 ACM SC). WMR AMS n—-1, WAR n WH Carmichael 数 。 最 小 的 Carmichael 数 为 
561=3 »• 11 ¢ 17; XE, ACn) =1lem(2, 10, 16) = 80, EA VBR 560, EAA 
Carmichael 数 必 须 既 是 “无 平方 数 ”( 不 能 被 任何 素数 的 平方 所 整除 ) ， 又 是 至 少 三 个 素数 
的 积 。( 因 此 ，Carmichael 数 不 是 很 常见 .) 

31. 8-3 证明: 如 果 工 是 以 为 模 的 1 的 非 平凡 平方 根 ， 则 gcd(x 一 1， nA gcd(Cz 十 1，72) 都 是 n 
的 非 平凡 约 数 。 


31.9 ”整数 的 因子 分 解 


假设 希望 将 一 个 整数 ”进行 因子 分 解 ， 也 就 是 分 解 为 素数 的 积 。 通 过 上 一 节 所 讨论 的 素数 测 
试 ， 可 以 知道 ”是否 是 合 数 ， 但 它 并 不 能 指出 n 的 素数 因子 。 对 一 个 大 整数 n 进行 因子 分 解 ， 似 
乎 要 比 仅 确定 n 是 素数 还 是 合 数 困难 得 多 。 即 使 用 当今 的 超级 计算 机 和 现行 的 最 佳 算法 ， 要 对 任 
意 一 个 1024 位 的 数 进行 因子 分 解 也 还 是 不 可 行 的 。 

Pollard 的 rho 启发 式 方法 

对 小 于 R 的 所 有 整数 进行 试 除 ， 保 证 完全 获得 小 于 RP 的 任意 数 的 因子 分 解 。 下 列 过 程 用 相 
同 的 工作 量 ， 就 能 对 小 于 R 的 任意 数 进行 因子 分 解 ( 除 非 运气 不 佳 )。 由 于 该 过 程 仅 仅 是 一 种 启 
发 性 方法 , :因此 既 不 能 保证 其 运行 时 间 也 不 能 保证 其 运行 成 功 ， 尽 管 该 过 程 在 实际 应 用 中 非常 
有 效 。POLLARD-RHO 过 程 的 另 一 个 优点 是 ， 它 只 使 用 固定 量 的 存储 空间 。( 如 果 愿 意 ， 可 以 很 
容 多 地 在 一 个 可 编程 的 车 上 计算 化 上 实现 POLLARD-RHO， 来 找 出 小 数 的 因子 。) 

POLLARD-RHO(n) 

1 i=] 

2 2,=RANDOM(0,n—1) 
a: ba, 
4 k=2 
5 while TRUE 
6 ,| i=i+l 
7 


: z=(z? 1—1) modn 
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8 d=gcd(y— zin) 
9 if d#1 and dÆn 
10 print d 
11 ifi == k 
12 y=; 


13 k=2k 


其 执行 过 程 如 下 。 第 1~2 行 把 i 初始 化 为 1， 把 zl 初始 化 为 ,中 一 个 随机 选取 的 值 。 第 5 
行 开 始 的 while 循环 将 一 直 进 行 迭代 ， 来 搜索 的 因子 。 在 while 循环 的 每 一 次 迭代 中 ， 第 7 行 运 
用 递归 式 

x; = (x4, — 1) modn (31. 43) 
计算 无 穷 序 列 
的 ar EE Te a (31. 44) 
中 z; 的 下 一 个 值 ， 其 中 i 的 值 在 第 6 行 中 进行 相应 的 增加 。 为 了 清楚 ， 伪 代码 中 使 用 了 下 标 变量 
Zi， 但 即使 去 掉 所 有 的 下 标 ， 程 序 也 以 同样 的 方式 执行 ， 因 为 仅 需 要 保留 最 近 计 算出 的 x; 值 。 经 
过 这 个 修改 ， 此 过 程 只 使 用 了 一 个 常量 的 存储 空间 。 

程序 不 时 地 把 最 近 计 算出 的 xz; 的 值 存 人 变量 y 中 。 具 体 来 说 ， 存 储 的 值 是 那些 下 标 为 2 FE 
的 变量 
第 3 行 保存 值 m ， 每 当 ;一 上 时 ， 第 12 行 就 保存 值 xx。 第 4 行将 变量 & 初 始 化 为 2， 并且 每 当 第 
12 行 更 新 ys 第 13 行 就 将 上 的 值 加 倍 。 因此 ， & 值 的 序列 为 1，2，4，8，…， 并 且 总 是 给 出 要 
存 人 y 的 下 一 个 值 的 Xk 的 下 标 。 

第 8 一 10 行 尝 试用 存 人 y 的 值 和 x; 的 当前 值 找 出 的 一 个 因子 。 特 别 地 ， 第 8 行 计算 出 最 大 
公约 数 d 二 gcd(y 一 x;，n)。 如 果 第 9 行 中 发 现 了 4 是 2” 的 非 平 凡 约 数 ， 则 第 10 行 输出 a 的 值 。 

最 初 ， 这 一 寻找 因子 分 解 的 过 程 似乎 有 点 神秘 。 但 是 注意 ，POLLARD-RHO 绝 不 会 输出 错 
误 的 答案 ; 它 输 出 的 任何 数 都 是 n 的 非 平凡 约 数 。 尽 管 POLLARD-RHO 可 能 不 输出 任何 信息 ， 
也 没有 保证 它 能 输出 约 数 。 不 过 ， 我 们 将 看 到 ， 我 们 有 充分 的 理由 预计 ，POLLARD-RHO 在 
while 循环 大 约 执行 @(Yp) 次 迭代 后 ， 会 输出 一 个 n 的 因子 p。 因 此 ， 如 果 PRAM, WEKA 
经 过 mn“ 次 的 更 新 后 ， 可 以 预计 该 过 程 已 经 找到 足够 多 的 约 数 ， 这 是 由 于 除了 可 能 有 的 最 大 的 一 
个 素 因 子 外 ，n 的 每 一 个 素 因 子 p 均 小 于 Vn。 

分 析 一 下 要 经 过 多 久 ， 模 nn 的 随机 序列 中 才 会 重复 出 现 一 个 值 ， 就 可 以 了 解 这 个 过 程 的 性 
能 。 由 于 乙 是 有 限 的 ， 并 且 序 列 (31. 44) 中 的 每 一 个 值 仅仅 取决 于 前 一 个 值 ， 所 以 序列 (31. 44) 
最 终 将 产生 自身 重复 。 一 旦 运算 到 达 一 个 zx;， 使 得 对 某 个 二 i 有 zi 二 zx;， 则 我 们 处 在 一 个 回路 
中 ， 因 为 tiS Trs Ta: = Ls FF. RIERA H “rho 启发 式 方法 ”的 原因 就 在 于 (如 
图 31-7 所 示 ) 序 列 Lis Tzs: °°, Zi-1 可 以 画 成 rho(p) 的 “ 尾 ”， 而 回路 Ti» Lj+19 “""， 2 可 以 画 成 
rho 的 “ 体 ”。 

下 面 考虑 一 个 问题 ，zx; 的 序列 发 生 重复 需要 多 久 ? 实际 上 ， 这 个 问题 的 答案 并 不 是 我 们 恰好 
需要 的 ， 但 我 们 将 会 看 到 如 何 修改 这 个 论点 。 为 了 进行 估算 ， 假 定 函 数 

f(x) = (x? — 1) mod n 
像 一 个 “随机 ?函数 那样 进行 计算 。 当 然 ， 它 并 不 是 一 个 真正 的 随机 函数 ， 但 由 这 个 假设 所 得 的 结 
论 ， 与 我 们 对 POLLARD-RHO 行为 的 观察 是 一 致 的。 因而 ， 可 以 把 每 个 zx; 视 为 按 在 Z, 上 均匀 分 
布 的 方式 从 乙 , 中 独立 选取 的 。 根 据 5. 4. 1 节 中 对 生日 悖 论 的 分 析 ， 在 序列 出 现 回 路 之 前 预计 要 
执行 的 步 数 为 Wn). 
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> 996 —>310 
814 396 
| / X x! 
x, 177 84 3] 
x, 1186 120 x6 N 11 
x, 1194 339 a x! 26 47 
595 «— 1053 
Xa 63 ar 
f ! Va xh 
X; 8 | X5 8 x 
~ mod 1387 = mod 19 Ea mod 73 
(a) (b) (c) 


图 31-7 Pollard 的 rho 启发 式 方法 。(a) 由 递归 式 z+l 王 (好 一 1) mod 1387 所 产生 的 值 ， 从 zi 二 2 开始 。 
1387 的 素数 因子 分 解 是 19。73。 粗 箭头 指出 在 因子 19 被 发 现 之 前 所 执行 的 迭代 步 又 。 细 箭头 
指出 在 迭代 中 未 到 达 的 值 ， 来 画 出 “rho” 的 形状 ， 阴 影 数值 是 由 POLLARD-RHO 保存 的 > 的 
值 。 因 子 19 是 在 到 达 c= 177 时 被 发 现 的 ， 此 时 计算 gcd(63 一 177，1387) 王 19。 第 一 个 要 重 
BW) x SE 1186, (RAST 19 是 在 这 个 数值 重复 之 前 被 发 现 的 。(b) 相 同 递归 式 产 生 的 值 ， 
模 19。(a) 给 出 的 每 个 值 x; 对 模 19 来 说 等 于 这 里 显示 的 cio WA, c =63 和 zi 二 177 都 等 于 
6, 模 19。(c) 相 同 递归 式 产生 的 值 ， 模 73。(a) 给 出 的 每 个 值 xz;， 对 模 73 来 说 等 于 这 里 显示 的 
心 。 由 中 国 余数 定理 ，(a) 中 每 个 结 点 对 应 于 一 对 结 点 ， 即 (b) 中 和 (c) 中 的 一 个 


现在 根据 要 求 进 行 适 当 修 改 。 令 p 是 满足 gcd(p，n/p)==1 的 2” 的 一 个 非 平凡 因子 。 例 如 ， 
WÈ n WATIN n= pt ptp MEAR p EN pit. GIR e =1, M p 就 是 n 的 最 小 
素数 因子 ， 这 是 一 个 可 以 牢记 的 好 例子 。) | 
序列 (zi) 包含 一 个 相应 的 对 模 p 的 序列 (x;)， 其 中 对 所 有 i A 
| 4 =x; mod p 977 
更 进一步， 因为 是 仅 使 用 算术 操作 (平方 和 减法 ) 对 模 nn 定义 的 ， 所 以 将 看 到 可 以 用 zi 来 
计算 zin; 序列 从 模 p 的 角度 看 是 从 模 的 角度 看 的 一 个 较 小 版 本 : 
Zi 一 za mod p 
= f,(2;) mod p 
= ((z? — 1) mod n) mod p 
| = (x? — 1) mod p (根据 练习 31. 1-7) 
| = ((x; mod p)? — 1) mod p 
| = ((z;)* — 1) mod p 
: = f,(x;) 
因此 ， 虽然 没有 显 式 地 计算 序列 (zf 但 这 个 序列 是 良 定 义 的 ， 而 且 与 序列 (zx;)， 有 相同 的 递归 式 。 


EZMA, 可 以 发 现在 序列 (xi) 重复 出 现 之 前 ， 预 计 执行 的 步 数 是 BCVz) 。 如 果 
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Mn, p 是 一 个 小 数 ， 则 序列 (zi) 的 重复 可 能 比 序列 (zx;) 的 重复 要 快 得 多 。 事 实 上 ， 只 要 序 
列 (z;) 中 的 两 个 元 素 仅 对 模 p 等 价 ， 而 不 对 模 n 等 价 ， 序 列 (z;) 就 发 生 重 复 。 图 31-7(b) 和 (c) 说 
明了 这 一 点 。 

令 t 表 示 (zi) 序 列 中 第 一 个 重复 出 现 的 值 的 下 标 ， 并 且 u> 表示 这 样 产生 的 循环 回路 的 长 
E. ERE, t u> 是 对 所 有 i20, WERE z+; 二 ziw4; 的 最 小 值 。 根 据 上 面 的 论证 ，t 和 
u 的 期 望 值 都 是 CVD) o 注意 ， 如 果 ZrHi 一 HH 则 p| (Tii re) 因此 ， 

gcdCzi 一 Zi nol 

因此 ， 只 要 POLLARD-RHO 把 使 得 k>t 的 任何 值 x; 存 人 变量 y， 则 y mod p 总 在 对 模 p 的 
回路 中 (如 果 把 一 个 新 值 存 为 y， 则 该 值 也 在 对 模 p 的 回路 中 ,) 最 终 ,& 将 被 赋予 一 个 大 于 的 
值 ， 然 后 过 程 就 在 不 改变 y 值 的 情况 下 ， 沿 着 模 为 p 的 回路 完成 整个 一 次 循环 。 当 zx;“ 遇 到 ”之 
前 存储 的 对 模 p 的 y 值 时 ， 即 z; 硅 y(mod p) 时 ， 就 发 现 了 的 一 个 因子 。 

假定 发 现 的 因子 是 因子 p, 但 偶尔 也 可 能 是 p 的 倍数 。 由 于 t 和 w 的 期 望 值 都 是 8(Yp)， 所 
以 产生 因子 p 所 要 求 的 期 望 执 行 步 数 为 OVD). 

该 算法 不 会 如 期 执行 ， 原 因 有 两 条 。 第 一 ， 对 于 运行 时 间 的 启发 式 分 析 并 不 严格 ， 对 模 p 
的 值 的 回路 有 可 能 要 比 Vp 大 得 多 。 在 这 种 情况 下 ， 虽 然 算法 的 执行 正确 ， 但 其 执行 速度 要 比 期 
望 低 得 多 。 在 实际 应 用 中 ， 这 似乎 还 可 以 讨论 。 第 二 ， 这 一 算法 得 出 ”的 约 数 可 能 总 是 平凡 因子 
1 或 n。 例如， 假设 n= 二 pq， 这 里 p 和 9g 为 素数 。 可 能 会 发 生 如 下 情况 : KF pte 和 zx 的 值 与 关 
于 9 的 t Au 的 值 相等 ， 所 以 因子 p 和 因子 g 总 是 在 相同 的 gcd 运算 中 被 呈现 。 由 于 两 个 因子 同 
时 被 呈现 ， 因 此 也 就 呈现 出 无 用 的 平凡 因子 pq 二 x。 这 在 实际 应 用 中 似乎 没 意 义 。 如 果 需 要 ， 可 
以 用 一 个 不 同形 式 的 递归 式 ra = (x? —c) modn 来 重新 开始 运行 该 启发 式 过 程 。( 值 c==0 和 c==2 
应 该 被 避免 ， 其 原因 这 里 不 作 说 明 ， 但 对 其 他 值 没有 问题 。) 

当然 ， 上 述 分 析 过 程 是 启发 式 的 ， 而 不 是 严格 的 ， 因 为 递归 式 并 不 真是 “随机 的 ”。 然 而 ， 这 
个 过 程 可 以 在 实际 应 用 中 良好 地 运行 ， 并 且 似 乎 和 我 们 在 上 面 的 启发 式 分 析 中 所 说 明 的 一 样 有 
效 。 它 是 一 种 找 出 大 整数 的 小 素数 因子 的 可 供 选 择 的 方法 。 为 了 对 一 个 8 位 合 数 ” 完 全 分 解 因 
子 ， 仅 需 找 出 所 有 小 于 Lz22 的 素数 因子 就 可 以 了 ， 因 此 ， 可 以 期 望 POLLARD-RHO 需 执行 的 算 
术 运 算 至 多 为 m= 二 2 次 ， 位 操作 至 多 为 mn%B =2 8, POLLARD-RHO 最 具 吸 引力 的 特点 就 
是 它 可 以 在 期 望 的 @(Vp) 次 算术 运算 内 ， 找 出 的 一 个 小 因子 p. 


练习 


31.9-1 在 图 31-7(a) 所 示 的 执行 过 程 中 ， 过 程 POLLARD-RHO 在 何 时 输出 1387 的 因子 73? 

31.9-2 ”假设 给 定 函 数 f: ZZ, 一 2, 和 一 个 初 值 XoE Zz。 定义 a= fla), i=1, 2,0, SrA 
u>0 EWE Lei Leul 50, 1, O RME. Æ Pollard 的 rho 算法 的 术语 中 ,1 为 
rho 的 尾 的 长 度 ， 是 rho 的 回路 的 长 度 。 试 写 出 一 个 计算 t 和 的 值 的 有 效 算法 ， 并 分 
析 其 运行 时 间 。 

31.9-3 ”为 了 发 现形 如 p 的 数 ( 其 中 是 素数 ，e>1) 的 一 个 因子 ，POLLARD-RHO 要 执行 多 少 步 ? 


“31.9-4 POLLARD-RHO 的 缺点 之 一 是 ， 在 其 递归 过 程 的 每 一 步 ， 都 要 计算 一 个 gcd。 然 而 ， 可 


以 对 gcd 的 计算 进行 批 处 理 : 通过 累计 一 行 中 数 个 连续 的 zx; 的 积 ， 然 后 在 gcd 计算 中 使 
用 该 积 而 不 是 zx;。 请 详细 描述 如 何 实现 这 一 思想 ， 为 什么 它 是 可 行 的 ， 以 及 在 处 理 一 个 
B 位 数 n 时 ， 所 选取 的 最 有 效 的 批 处 理 规模 是 多 大 ? 

思考 题 

33-1 (二 进 制 的 gd 算法 ) 与 计算 余数 的 执行 速度 相 比 ， 大 多 数 计算 机 执行 减法 运算 、 测 试 一 


31-2 


31-3 


31-4 
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个 二 进 制 整数 的 奇偶 性 运算 以 及 折 半 运算 的 执行 速度 都 要 更 快 些 。 本 题 所 讨论 的 二 进 制 

gcd 算法 中 避免 了 欧 几 里 得 算法 中 对 余数 的 计算 过 程 。 

a. WEAR: 如 果 a 和 2 都 是 偶数 ， 则 ecd(a, 65) 二 2。gcd(a/2，65/2)，。 

b. GEA: 如 果 a 是 奇数 ,5 是 偶数 ， 则 gcdla, b)=gedla, b/2). 

c TER: 如 果 a 和 6 都 是 奇数 ， 则 ecd(a, b)=ged((a—b)/2, b). 

d. 设计 一 个 有 效 的 二 进 制 gcd 算法 ,输入 整数 为 a 和 6(a 宇 5b)， 并 且 算 法 的 运行 时 间 为 
Og a) 。 假 定 每 个 减法 运算 、 测 试 奇偶 性 运算 以 及 折 半 运算 都 能 在 单位 时 间 内 执行 。 

(对 欧 几 里 得 算法 中 位 操作 的 分 析 ) 

a. 考虑 用 普通 的 “ 纸 和 笔算 法 来 实现 长 除法 的 运算 : 用 a 除 以 6， 得 到 商 g 和 余数 r+。 证 
AA: 这 种 算法 需要 执行 O((1 十 lg olge 0 次 位 操作 。 

b. ÆN pla, 5 二 (1 十 lg a) (1 十 lg b). 证明， 过 程 EUCLID 在 把 计算 gcd(a,，5) 的 问题 转 

化 为 计算 gcd(b, a mod 5) 的 问题 时 ， 所 执行 的 位 操作 次 数 至 多 为 c Cu(a，6) 一 

py(b，a mod 5b))， 其 中 c>0 为 某 一 个 足够 大 的 常数 。 

证 明 : EUCLID(a， 通常 需要 执行 Ola, ARARE; 当 其 输入 为 两 个 8 位 数 时 ， 

需要 执行 的 位 操作 次 数 为 0(82 ) 。 

(关于 斐 波 那 契 数 的 三 个 算法 ) 在 已 知 的 情况 下 ， 本 题 对 计算 第 ”个 斐 波 那 契 数 下 ,的 三 

种 算法 的 效率 进行 了 比较 。 

假定 两 个 数 的 加 法 、 减 法 和 乘法 的 代价 都 是 O(1) ， 与 数 的 大 小 无 关 。 

a. 证 明 : 基于 递归 式 (3. 22) 计 算 五 ,的 直接 递归 方法 的 运行 时 间 为 n 的 短 。( 例 如 ，27. 1 节 
的 FIB 程序 。) 

b. 试 说 明 如 何 运 用 记忆 法 在 O(n) 的 时 间 内 计算 F,. 

c 试 说 明 如 何 仅 用 整数 加 法 和 乘法 运算 ， 就 可 以 在 Og n) 的 时 间 内 计算 F,。( 提 示 : 考 


虑 矩阵 
be 
AE OE.) 


d 现在 假设 对 两 个 8 位 数 相 加 需要 9( 肪 时间， 对 两 个 8 位 数 相 乘 需 要 OCF ) 时 间 。 如 果 这 
样 更 合理 地 估计 基本 算术 运算 的 代价 ， 这 三 种 方法 的 运行 时 间 又 是 多 少 ? 
(二 次 余数 ) 设 忆 是 一 个 奇 素数 。 如 果 关于 未 知 量 z 的 方程 一 aCmod p) 有 解 ， 则 数 
aC 就 是 一 个 二 次 余数 。 
a. 证 明 : 对 模 p， 恰 有 (p 一 1)/2 个 二 次 余数 。 
b. 如 果 是 素数 ， 对 a€ Z; ,定义 勒 让 德 符号 ( 乡 )， 若 a 是 对 模 p 的 二 次 余数 ， 则 它 等 
Fl; 否则 它 等 于 一 1。 证 明 : MR e€Z;, M 
= a’?-Y/2 (mod p) 


给 出 一 个 有 效 的 算法 ,使 其 能 确定 一 个 给 定 的 数 a 是 否 是 对 模 p 的 二 次 余数 。 分 析 所 给 
算法 的 效率 。 

c 证 明 : 如 果 p 是 形 如 4& 十 3 的 素数 ， 且 “是 中 一 个 二 次 余数 ， 则 at! mod p 是 对 模 
p 的 a 的 平方 根 。 找 出 一 个 以 p 为 模 的 二 次 余数 a 的 平方 根 需 要 多 长 时 间 ? 

d 试 描述 一 个 有 效 的 随机 算法 ， 找 出 一 个 以 任意 素数 p 为 模 的 非 二 次 余数 ， 也 就 是 指 Z; 
中 不 是 二 次 余数 的 成 员 。 所 给 出 的 算法 平均 需要 执行 多 少 次 算术 运算 ? 
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本 章 注 记 

Niven 和 Zuckerman[ 265 提供 了 有 关 基 本 数论 的 优秀 介绍 。KnuthL210j 中 包含 了 找 出 最 大 公约 数 
的 算法 ， 以 及 其 他 基本 数论 算法 的 一 个 很 好 的 讨论 。BachL30j 和 RieselL295 ] 提 供 了 更 多 计算 数论 的 最 
新 调查 。DixonL91 给 出 了 因子 分 解 和 素数 测试 的 一 个 概论 。Pomerancel 280 编辑 的 会 议 文集 包含 了 数 
篇 优秀 的 综述 文章 。 在 最 近 ，Bach 和 ShallitL31. 提 供 了 计算 数论 基础 的 一 个 特别 的 概论 。 

KnuthL210j 讨 论 了 欧 几 里 得 算法 的 来 源 。 它 出 现在 希腊 数学 家 欧 几 里 得 在 公元 前 300 年 所 
写 的 4 几何 原本 》 的 第 7 册 中 的 命题 1 和 命题 2。 欧 几 里 得 的 描述 可 能 来 源 于 大 约 公 元 前 375 年 的 
Eudoxus 的 一 个 算法 。 欧 几 里 得 的 算法 可 以 说 是 最 早 的 非 平 凡 算法 ;只 有 古 埃 及 人 所 知 的 一 个 乘 
法 算法 可 以 与 之 匹敌 。ShallitL3124J 编 所 了 欧 几 里 得 算法 的 分 析 历 史 。 

Knuth 将 中 国 余数 定理 (定理 31. 27) 的 一 个 特殊 情况 归功 于 中 国 数学 家 孙子 ， 他 生活 在 约 公 
元 前 200 年 到 公元 200 年 (这 个 日 期 很 不 确定 )。 相 同 的 特殊 情况 是 由 约 公 元 100 年 的 希腊 数学 家 
Nichomachus 所 给 出 的 。 在 1247 年 它 被 秦 九 韶 一 般 化 。 中 国 余数 定理 由 L. Euler 在 1734 年 以 最 
完整 的 方式 做 了 最 后 的 陈述 和 证 明 。 

在 这 里 展示 的 随机 素数 测试 算法 归功 于 MillerL255j 和 RabinL289j; 在 常数 因子 内 ， 它 是 已 
知 的 最 快速 的 随机 素数 测试 算法 。 定 理 31. 39 的 证 明和 稍微 采 纳 了 Bach[29] 提 出 的 建议 。 
MILLER-RABIN 的 一 个 更 强 结果 的 证 明 由 Monier[258，259j 给 出 。 很 多 年 以 来 ， 随 机 化 在 得 到 
一 个 多 项 式 时 间 的 素数 测试 算法 时 是 必要 的 。 然 而 ， 在 2002 Æ, Agrawal, Kayal 和 Saxemal 4] 
给 出 的 多 项 式 时 间 的 素数 测试 算法 震惊 了 世界 。 直 到 那 时 之 前 ， 已 知 的 最 快 的 确定 性 素数 测试 
算法 是 来 自 Cohen 和 LenstraL73]。 在 ”输入 下 ， 它 在 (lgz“see 时 间 内 运行 ， 只 是 稍微 超 多 项 
式 。 尽 管 如 此 ， 为 了 实用 ， 随 机 素数 测试 算法 依然 更 高 效 和 更 受 人 喜欢 。 

找 出 大 的 “随机 ”素数 的 问题 在 Beauchemin, Brassard, Crepeau, Goutier 和 Pomerancel 36 | 的 一 
篇 论文 中 有 好 的 讨论 。 

公 钥 加 密 系 统 的 概念 归功 于 Diffie 和 Hellman[ 87], RSA 加 密 系 统 于 1977 年 由 Rivest, 
Shamir 和 AdlemanL296 提出 。 从 那 时 开始 ， 密 码 学 领域 开始 茵 勃发 展 。 我 们 对 RSA 加 密 系 统 的 
了 解 已 经 加 深 ， 而 现代 的 实现 明显 改进 了 展示 在 这 里 的 基本 技术 。 男 外 ， 许 多 新 技术 已 经 发 展 ， 
证 明 加 密 系 统 是 安全 的 。 例 如 ，Goldwasser 和 MicaliL142j] 说 明 随 机 化 在 安全 的 公 钥 加 密 方 案 的 
设计 中 是 一 个 有 效 的 工具 。 对 于 签名 方案 ，Goldwasser、Micali 和 RivestL 143 | 展示 了 一 个 数字 签 
名 方案 ， 其 中 每 一 种 可 想象 到 的 伪造 行为 可 以 证 明 与 因子 分 解 一 样 困难 。Menezes、van 
Oorschot 和 Vanstone| 254 | 提供 了 应 用 密码 学 的 一 个 概况 。 

整数 因子 分 解 的 rho 启发 式 方法 是 由 PollardL2774 提 出 的 。 展 示 在 书 中 的 版 本 是 Brent[L56j 所 
提议 的 一 个 变形 。 

对 大 数 因子 分 解 的 最 佳 算法 来 说 ， 其 运行 时 间 是 大 致 呈 指 数 增长 的 (等 待 分 解 的 数 n 的 长 度 
的 立方 根 ) 。 一 般 数 域 的 筛选 因子 分 解 算 法 可 能 是 对 于 一 般 的 大 输入 最 高 效 的 算法 (前 者 是 由 
Buhler, Lenstra 和 PomeranceL 57j] 提 出 的 ， 旨 在 对 数 域 筛选 因子 分 解 算法 进行 扩展 ， 后 者 是 由 
PollardL278j 和 Lenstra 等 人 L232j 提 出 的 ， 并 由 CoppersmithL77j] 以 及 其 他 人 加 以 改善 .) 虽 然 很 难 
给 出 这 个 算法 的 严格 分 析 ， 但 在 合理 的 假设 下 ， 我 们 可 以 得 到 工 (1/3，72)75 的 一 个 运行 时 间 
ftiit, EH Lle, n)=e (ln Inn) “ 

椭圆 曲线 方法 是 由 Lenstra 233] h, ENTERRA Rie TEE Ak, AA, 5 
Pollard 的 rho 方法 一 样 ， 它 可 以 相当 快速 地 找到 一 个 小 素数 因子 p。 使 用 这 个 方法 ， 找 到 p 的 时 
BHEL, py?to, 
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字符 串 匹 配 


在 编辑 文本 程序 过 程 中 ， 我 们 经 常 需要 在 文本 中 找到 某 个 模式 的 所 有 出 现 位 置 。 典 型 情况 
是 ， 一 段 正在 被 编辑 的 文本 构成 一 个 文件 ， 而 所 要 搜寻 的 模式 是 用 户 正 在 输入 的 特定 的 关键 字 。 
有 效 地 解决 这 个 问题 的 算法 叫做 字符 串 匹 配 算法 ， 该 算法 能 够 极 大 提高 编辑 文本 程序 时 的 响应 
效率 。 在 其 他 很 多 应 用 中 ， 字 符 串 匹配 算法 用 于 在 DNA 序列 中 搜寻 特定 的 序列 。 在 网 络 搜索 引 
擎 中 也 需要 用 这 种 方法 来 找到 所 要 查询 的 网 页 地 址 。 

字符 串 匹配 问题 的 形式 化 定义 如 下 : 假设 文本 是 一 个 长 度 为 的 数组 T[1. .x]， 而 模式 是 一 
个 长 度 为 m 的 数组 P[1..m]， 其 中 m 二 nx， 进一步 假设 P 和 TT 的 元 素 都 是 来 自 一 个 有 限 字母 集 > 
的 字符 。 例 如 ， 忆 二 {0，1) 或 者 总 二 {a，b，…，z}。 字 符 数组 P 和 通常 称 为 字符 串 。 

如 图 32-1 所 示 ， 如 果 O<s<n—m, 并且 TLs+1..s+tm]=PL1..m](E in R TLs 十 7 = 
PL], HP 1<j<m), MAREK PP 在 文本 工 中 出 现 ， 且 偏 移 为 5( 或 者 等 价 地 ， 模 式 PP 在 文本 
本 中 出 现 的 位 置 是 以 s 十 1 AA). WME PET PARE s WH, MAR s 是 有 效 偏 移 ， BM, 
称 它 为 无 效 偏 移 。 字 符 串 匹 配 问题 就 是 找到 所 有 的 有 效 偏 移 ， 使 得 在 该 有 效 偏 移 下 ， 所 给 的 模式 
P 出 现在 给 定 的 文本 工 中 。 


MAT 








图 32-1 字符 串 匹 配 问 题 的 一 个 例子 ， 在 该 例子 中 ， 我 们 试图 找到 模式 P=abaa 在 文本 
T 二 abcabaabcabac 中 所 有 出 现 的 位 置 。 模 式 只 在 这 个 文本 中 出 现 一 次 ， 在 偏 移 
s=3 处 ， 因 此 我 们 称 s 为 有 效 偏 移 。 用 竖 线 连接 了 每 一 个 模式 中 的 字符 和 与 其 
对 应 的 文本 中 的 字符 ， 所 有 匹配 的 字符 都 被 涂 上 了 阴影 


除了 在 32. 1 节 将 要 复习 的 朴素 算法 外 ， 本 章 中 的 每 个 字符 串 匹 配 算法 都 基于 模式 进行 了 预 
处 理 ， 然 后 找到 所 有 有 效 偏 移 ;我们 称 第 二 步 为 “匹配 ?。 图 32-2 给 出 了 本 章 中 每 个 算法 的 预 处 
理 时 间 和 匹配 时 间 。 每 个 算法 的 总 运行 时 间 是 预 处 理 时 间 和 匹配 时 间 的 和 。32. 2 节 描 述 了 一 种 
由 Robin 和 Karp 发 现 的 一 种 有 趣 的 字符 串 匹 配 算法 。 尽 管 这 种 算法 在 最 坏 情况 下 的 运行 时 间 
96((" 一 mm 十 1)z) 并 不 比 朴素 算法 好 ， 但 就 平均 情况 和 实际 情况 来 说 ， 该 算法 效果 要 好 得 多 。 这 
种 算法 也 可 以 很 好 地 推广 ， 用 以 解决 其 他 的 模式 匹配 问题 。32. 3 节 描 述 一 种 字符 串 匹 配 算法 ， 
该 算法 通过 构造 一 个 有 限 自动 机 ， 专 门 用 来 搜寻 所 给 的 模式 PP 在 文本 中 出 现 的 位 置 。 这 种 算法 
需要 Om| E | ) 的 预 处 理 时 间 ， 但 是 仅仅 需要 8B@(n) 的 匹配 时 间 。32. 4 节 介 绍 与 其 类 似 但 是 更 加 
巧妙 的 Knuth-Morris-Pratt( 或 KMP) 算 法 ; 该 算法 的 匹配 时 间 同 样 为 O(n), 但 是 它 缩短 了 预 处 
EHTE, A Om). 


预 处 理 时 间 匹配 时 间 
朴素 算法 0 O((n-m+1)m) 


Rabin-Karp O(m) O((n-m+1)m) 
有 限 自动 机 算法 O(m 之]) O(n) 
Knuth-Morris-Pratt ©(m) O(n) 


图 32-2 ”本 章 的 字符 串 匹 配 算法 及 其 预 处 理 时 间 和 匹配 时 间 
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符号 和 术语 

我 们 用 > “来 表示 包含 所 有 有 限 长 度 的 字符 串 的 集合 ， 该 字符 串 是 由 字母 表 之 中 的 字符 组 
成 。 在 本 章 中 ， 我 们 只 考虑 有 限 长 度 的 字符 串 。 长 度 为 零 的 空 字符 串 用 es 表示 ， 也 属于 之 ” 。 一 
个 字符 串 z 的 长 度 用 |z | 来 表示 。 两 个 字符 串 x 和 yy 的 连结 (concatenation) 用 zy 表示 ， 长 度 为 
[zj 十 |y| ， 由 z 的 字符 后 接 y 的 字符 构成 。 

如 果 对 某 个 字符 串 yE 之 有 zx 二 wy， 则 称 字 符 串 w 是 字符 串 z 的 前 缀 ， 记 作 wC., EA 
到 如 果 wCz， 则 |w| 志 |z|。 类 似 地 ， 如 果 对 某 个 字符 串 y 有 z= 二 yw， 则 称 字符 串 w 是 字符 串 
r HRR, WE wir. MARR, WE wIr, Wlwl<|cl. PM, RNA abC abcca 和 
cca abcca。 空 字符 串 e 同时 是 任何 一 个 字符 串 的 前 级 和 后 级 。 对 于 任意 字符 串 zx 和 yy 以 及 任意 
字符 a， 当 且 仅 当 raya 时 ， 我 们 有 coy. BER, CHIMERA. PHYS BAR 
将 会 用 到 。 

引 理 32. 1( 后 缀 重 琶 引 理 ) 假设 z，y 和 >z 是 满足 zz 和 yz 的 字符 串 。 如 果 |z| 委 |y|， 
那么 Iy; wR |r| Sly], PAyoz; 如 果 |z| 二 |y| ， 那 么 =y. i 

WEAR 见 图 32-3 中 的 图 示 证 明 。 





(a) (b) (c) 


图 32-3 引 理 32. 1 的 图 形 证 明 。 假 定 z 了 zx 和 y 了 zx。 图 的 三 个 部 分 分 别 说 明 引 理 的 三 
种 情况 。 坚 线 连 接 字符 串 的 匹配 区 域 ( 用 阴影 表示 )。(a) 如 果 |z| 科 |y|， 
Waeoy. bMElclSlyl, Mydz. @MRlcl=lyl, M r=y m 


为 了 使 符号 简洁 ， 我 们 把 模式 Pll... ml Ak FS AAR TR PLL . klit t P;。 因 此 
Po=e, P,=P=Pl1..m]. 与 此 类 似 ， 我 们 把 文本 工 中 由 个 字符 组 成 的 前 缀 记 为 TT。 采用 这 
种 记号 ， 我 们 能 够 把 字符 串 匹 配 问题 表述 为 : 找到 所 有 偏 移 s《0 志 sn 一 m)， 使 得 PIT mo 

在 我 们 的 伪 代 码 中 ， 把 比较 两 个 等 长 字符 串 是 否 相 等 的 操作 当做 操作 原 语 。 如 果 字 符 串 比 
较 是 从 左 到 右 进行 的 ， 并 且 当 过 到 一 个 字符 不 匹配 时 ， 比 较 操作 终止 ， 则 可 以 假设 在 这 样 的 一 个 
检测 中 所 花费 的 时 间 是 关于 已 匹配 成 功 字符 数目 的 线性 函数 。 更 准确 地 说 ， 假 设 检测 “z 王 三 六 
需要 时 间 OCHI), HP t EEC: 和 xzCy 的 最 长 字符 串 z 的 长 度 。( 我 们 用 8(t 十 1) 而 不 是 
8@(z)， 是 为 了 更 好 地 处 理 t=0 的 情况 ;尽管 第 一 个 字符 比较 时 就 不 匹配 ， 但 是 在 运行 这 个 比较 
操作 时 仍然 花费 了 一 定 的 时 间 。) 


32.1 朴素 字符 串 匹配 算法 


朴素 字符 串 匹配 算法 是 通过 一 个 循环 找到 所 有 有 效 偏 移 ， 该 循环 对 n—m+1 个 可 能 的 * 值 进 
行 检测 ， 看 是 否 满足 条 件 PL1. .m]=TLs+1..s+m]. 
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NAIVE-STRING-MATCHERCT, P) 
1 n=T. length 
m= P. length 


if PL1..m] == T[st+l..stm] 


2 
3 fors = 0ton—m 
4 
5 print “Pattern occurs with shift”s 


图 32-4 描绘 的 朴素 字符 串 匹 配 过 程 可 以 形象 地 看 成 一 个 包含 模式 的 “模板 "治文 本 滑动 ， 同 
时 对 每 个 偏 移 都 要 检测 模板 上 的 字符 是 否 与 文本 中 对 应 的 字符 相等 。 第 3 一 5 行 的 for 循环 考察 
每 一 个 可 能 的 偏 移 。 第 4 行 的 测试 代码 确定 当前 的 偏 移 是 否 有 效 ; 该 测试 隐 含 着 一 个 循环 ， 该 循 
环 用 于 逐个 检测 对 应 位 置 上 的 字符 ， 直 到 所 有 位 置 都 能 成 功 匹配 或 者 有 一 个 位 置 不 能 匹配 为 止 。 
第 5 行 用 于 打印 输出 每 一 个 有 效 偏 移 s。 


了 ae aļejaļaļeje]  [aļleļlajaj» 


(a) (b) 
| 


图 32-4 ”朴素 字符 串 匹配 对 模式 P 一 aab 和 文本 T=acaabe 的 操作 。 可 以 把 已 想象 成 一 个 沿 着 正文 滑动 
的 “模板 >。(a) 一 (d) 为 4 个 连续 的 朴素 字符 捉 匹 配 。 图 中 竖 线 连接 相应 匹配 区 域 (阴影 部 分 )， 
折线 连接 先 错误 匹配 的 字符 ， 如 果 是 的 话 。 在 位 移 ;一 2 时 ， 找 到 匹配 的 模式 ， 见 图 (0) 


在 最 坏 情 况 下 ， 朴 素 字 符 串 匹配 算法 运行 时 间 为 OC((n 一 m 十 1)m)。 例 如 ， 在 考察 文本 字符 
BB a” (一 串 由 ”个 a 组 成 的 字符 串 ) 和 模式 a” 时 ， 对 偏 移 ;的 nn 一 m 十 1 个 可 能 值 中 的 每 一 个 ， 在 
第 4 行 中 比较 相应 字符 的 隐 式 循环 必须 执行 m 次 来 确定 偏 移 的 有 效 性 。 因 此 ， 最 坏 情况 下 的 运 
行 时 间 是 @((n 一 m 十 1)m)， 如 果 m= 二 Ln/2J， 则 运行 时 间 是 @( 守 ) 。 由 于 不 需要 预 处 理 ， 朴 素 字 
符 串 匹配 算法 运行 时 间 即 为 其 匹配 时 间 。 

我 们 将 会 看 到 ，NAIVE-STRING-MATCHER 并 不 是 解决 字符 串 匹 配 问题 的 最 好 过 程 。 事 
实 上 ， 在 本 章 中 ， 我 们 将 会 发 现 Knuth-Morris-Pratt 算法 在 最 坏 情况 下 比 朴 素 算法 好 得 多 。 这 种 
朴素 字符 串 匹配 算法 效率 不 高 ， 是 因为 当 其 他 无 效 的 * 值 存在 时 ， 它 也 只 关心 一 个 有 效 的 * 值 ， 
而 完全 忽略 了 检测 无 效 * 值 时 获得 的 文本 的 信息 。 然 而 这 样 的 信息 可 能 非常 有 用 。 人 例如， 如果 
P 王 aaab 并 且 我 们 发 现 s=0 是 有 效 的 ， 由 于 TL4]= 一 6， 那么 偏 移 1、2 或 3 都 不 是 有 效 的 。 在 后 续 
章节 中 ， 我 们 将 考察 能 够 充分 利用 这 部 分 信息 的 几 种 方法 。 


练习 | 

32.1-1 试 说 明 当 模式 P=0001， 文 本 T=000010001010001 时 ， 朴 素 字 符 串 匹配 所 执行 的 比较 。 

32. 1-2 假设 在 模式 P 中 所 有 字符 都 不 相同 。 试 说 明 如 何 对 一 段 n 个 字符 的 文本 工 加 速 过 程 
NAIVE-STRING-MATCHER 的 执行 速度 ， 使 其 运行 时 间 达 到 O(n)。 

32. 1-3 ”假设 模式 P 和 文本 是 长 度 分别 为 m 和 nn 的 随机 选取 的 字符 串 ， 其 字符 分 别 来 自 含 有 < 
PTCRW FBR Ua={0, 1, +, d—-1}, Hh 4d 宇 2。 证 明 朴素 算法 第 4 行 中 隐 含 的 循 
环 所 执行 的 字符 比较 的 预计 次 数 为 : 

<2(n—m+1) 


(n—m-+1) 3 -5 < 
直到 这 次 循环 结束 。 a N 当 有 一 个 字符 不 匹配 或 者 整个 模式 已 


被 匹配 时 ， 朴 素 算法 将 终止 字符 比较 .) 因 此 ， 对 任意 随机 选取 的 字符 串 ， 朴 素 算法 都 是 
有 效 的 。 
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32. 1-4 假设 允许 模式 已 中 包含 一 个 间隔 符 心 ， 它 可 以 和 任意 字符 串 匹配 (甚至 可 以 和 长 度 为 0 
的 字符 串 匹 配 ) 。 例 如 ， 模 式 abObaOc 在 文本 cabccbacbacab 中 的 出 现 为 
c ab co ba cha c ab 
ab © ba © ce 


一 一 


ab © ba © c 
注意 ， 间 隔 符 可 以 在 模式 中 出 现任 意 次 ， 但 是 不 能 在 文本 中 出 现 。 给 出 一 个 多 项 式 时 间 
算法 ， 以 确定 这 样 的 模式 书 是 否 在 给 定 的 文本 了 中 出 现 ， 并 分 析 算 法 的 运行 时 间 。 


32.2 Rabin-Karp 算法 


在 实际 应 用 中 ，Rabin 和 Karp 所 提出 的 字符 串 匹配 算法 能 够 较 好 地 运行 ， 并 且 还 可 以 从 中 归纳 出 
相关 问题 的 其 他 算法 ， 比 如 二 维 模式 匹配 。Rabinr-Karp 算法 的 预 处 理 时 间 是 @(”z) ， 并 且 在 最 坏 情况 
下 ， 它 的 运行 时 间 为 @((n 一 m 十 1)m) 。 基 于 一 些 假 设 ， 在 平均 情况 下 ， 它 的 运行 时 间 还 是 比较 好 的 。 

该 算法 运用 了 初等 数论 概念 ， 比 如 两 个 数 相对 于 第 三 个 数 模 等 价 。 如 果 想 要 了 解 相 关 的 定 
义 ， 请 参照 31. 1 THAR. 

为 了 便于 说 明 ， 假 设 之 二 {0，1，2，…，9}， 这 样 每 个 字符 都 是 十 进 制 数字 。( 在 通常 情况 
下 ， 可 以 假定 每 个 字符 都 是 以 d 为 基数 表示 的 数字 ， 其 中 d= | > | ) 我 们 可 以 用 长 度 为 的 十 进 
制 数 来 表示 由 个 连续 的 字符 组 成 的 字符 串 。 因 此 ， 字 符 串 31 415 对 应 着 十 进 制 数 31 415。 假 如 
输入 的 字符 既 可 以 看 做 是 图 形 符号 ， 也 可 以 看 做 是 数字 ， 那 么 在 本 节 中 我 们 会 发 现 ， 运 用 我 们 的 
标准 文本 字体 ， 把 它们 表示 为 数字 会 更 加 方便 。 

给 定 一 个 模式 PL.. m], 假设 表示 其 相应 的 十 进 制 值 。 类 似 地 ， 给 定 文本 TL1. .nj]， 假设 
t 表示 长 度 为 m 的 子 字 符 串 TLs 十 1.. s 十 mj 所 对 应 的 十 进 制 值 ， 其 中 s=0, 1, «+, nom, 
然 ， 只 有 在 TLs 十 1.. s 十 mj 二 PL1. .mj 时 ，z, 二 p。 如 果 能 在 时 间 Om AHAH pÉ, HEAR 
间 8@( 一 m 十 1) 内 计算 出 所 有 的 (BES, ， 那 么 通过 比较 p 和 每 一 个 zt, 值 ， 就 能 在 OCm) + O(n— 
m 十 1) 二 B@(n) 时 间 内 找到 所 有 的 有 效 偏 移 s。( 目 前 ， 暂 不 考 虚 pA t 值 可 能 很 大 的 问题 。) 

我 们 可 以 运用 霍 纳 法 则 (参见 30. 1 节 ) 在 时 间 8(Cm) 内 计算 出 D: 

p = Plm]j 二 10C(P[m 一 1 十 10C(P[fm 一 2j] 十 … 十 10CP[2] 十 10P[1])…)) 
类 似 地 ， 也 可 以 在 8Cm) 时 间 内 根据 TLL .mj 计算 出 的 值 。 

为 了 在 时 间 8@(n 一 m) 内 计算 出 剩余 的 值 th, ts ts tms RIT REA ATE AR t 计 

算出 上 + ， 因 为 


c ab ccbac ba C ab 
Se SS — ad 


tay = 100, — 10 T[s+1D) +Tlstm+1] (32. 1) 
减 去 10" 了 TLs 十 1 就 从 上 中 去 掉 了 高 位 数字 ， 再 把 结果 乘 以 10 就 使 得 数字 向 左 移动 一 个 数位 ， 
然后 加 上 TLs 十 m 十 1j， 则 加 入 一 个 适当 的 低位 数字 。 例 如 ， 如 果 m=5 并 且 t.=31415, MAR 
们 希望 能 够 去 掉 高 位 数字 TLs 十 1]= 二 3， 并 且 加 入 新 的 低位 数字 (假设 是 TLs 十 5 十 1 二 2)， 从 而 获 
得 : 

tı = 10(31415 — 1000. 3) +2 = 14152 

如 果 能 够 预先 计算 出 常数 10” (用 31. 6 节 中 介绍 的 技术 ， 就 可 以 在 Odg m) 的 时 间 内 完成 这 一 
计算 过 程 ， 但 对 于 这 个 应 用 ， 一 种 简便 的 运行 时 间 为 OG) 的 算法 就 足够 完成 任务 )， 则 每 次 执 


日 写 @(n 一 m 十 1) 而 不 是 @(n 一 m)， 是 因为 ;具有 7n 一 m 十 1 个 不 同 的 值 。“ 十 1” 是 为 了 突显 m=n 时 的 渐 近 意义 ， 
单 计 算 t 的 值 需 8(1) 时 间 ， 而 不 是 OCR. 
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行 式 (32. 1) 的 计算 时 ， 需 要 执行 的 算术 运算 的 次 数 为 常数 。 因 此 ， 可 以 在 时 间 8(m) 内 计算 出 p， 
在 时 间 Q(n—m+1) 内 计算 出 所 有 Loo bis tos °°%s Lim 的 值 。 因而 可 以 用 9(7) 的 预 处 理 时 间 和 © 
(n 一 m 十 1) 的 匹配 时 间 找 到 所 有 模式 PLL .mj 在 文本 TL. .nj 中 出 现 的 位 置 。 

到 目前 为 止 ， 我 们 有 意 回避 的 一 个 问题 是 : 和 的 值 可 能 太 大 ， 导 致 不 能 方便 地 对 其 进行 操 
fe. WER PO m 个 字符 ， 那 么 关于 在 pCm 数 位 长 ) 上 的 每 次 算术 运算 需要 “常数 ”时 间 这 一 假设 就 不 
合理 了 。 幸 运 的 是 ， 我 们 可 以 很 容易 地 解决 这 个 问题 ， 如 图 32-5 所 示 : 选取 一 个 合适 的 模 g 来 计算 p 
All, 的 模 。 我 们 可 以 在 Bm) 的 时 间 内 计算 出 模 g 的 p 值 ， 并 上 且 可 以 在 8 一 m 十 1) 时 间 内 计算 出 模 gq 
的 所 有 t 值 。 如 果 选 模 9 为 一 个 素数 ， 使 得 10g 恰好 满足 一 个 计算 机 字 长 ， 那 么 可 以 用 单 精度 算术 运 
算 执行 所 有 必需 的 运算 。 在 一 般 情况 下 ， 采 用 d 进 制 的 字母 表 {0，1，…，d 一 1} 时 ， 选 取 一 个 g 值 ， 
使 得 dq 人 ， 然 后 调整 递归 式 (32. 1) ， 使 其 能 够 对 模 g 有 效 ， 式 子 变 为 : 

= (d@, — Tist1 lh) + TLs+m-+1]) mod gq (32. 2) 

其 中 h=d"" (mod P m 数位 的 文本 窗口 的 高 位 数位 上 的 数字 “1” 的 值 。 





旧 的 新 的 
高 数位 偏 移 低 数 位 
\ 1 ¥ 


14152 = (31415-3 + 10000) . 10+2(mod 13) 
= (7-3 + 3) + 10+2(mod 13) 
= 8(mod 13) 





(c) 


图 32-5 RabinKarp 算法 。 每 一 个 字符 都 是 一 个 十 进 制 数 ， 并 且 对 模 13 取 余 。(a) 一 个 文 
本 字符 串 。 长 度 为 5 的 窗口 被 标 上 了 阴影 ， 标 记 阴 影 数 字 的 数值 对 模 13 取 余 的 结 
果 为 7。(b) 一 个 相同 的 文本 字符 串 ， 对 长 度 为 5 的 窗口 的 每 一 个 可 能 位 置 ， 计 算 
出 它 对 13 取 余 的 数值 。 假 定 模式 P=31415, HF 31415=7(mod 13), ， 所 以 寻找 所 
有 对 模 13 取 余 为 7 的 窗口 。 该 算法 找到 两 个 与 之 对 应 的 窗口 ， 在 图 中 用 阴影 表示 
出 来 。 第 一 个 是 在 文本 的 位 置 7 处 开始 的 ， 最 后 验证 确实 为 模式 的 出 现 。 而 第 二 
个 是 在 文本 的 位 置 13 处 开始 的 ， 但 最 终 验 证 为 伪 命 中 。(c) 已 知 前 一 个 窗口 的 值 ， 
”如 何在 常数 时 间 内 计算 出 某 个 窗口 的 值 。 第 一 个 窗口 的 值 为 31415。 去 除 高 位 数字 
| “3， 往 左 移 ( 乘 以 10)， 然 后 加 入 低位 数字 2 得 到 新 的 值 14152。 因 为 所 有 的 计算 都 
是 模 13 取 余 ， 所 以 第 一 个 窗口 的 值 是 7， 从 而 新 窗口 的 值 是 8 


但 是 基于 模 g 得 到 的 结果 并 不 完美 ， t,=p(mod q) 并 不 能 说 明 t =p. EAA, WR 
t,#p(mod 9)， 那么 可 以 断定 tp, ATE HE s 是 无 效 的 。 因 此 可 以 把 测试 三 pl(mod gq) 是 
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991 | 否 成 立 作为 一 种 快速 的 启发 式 测试 方法 用 于 检测 无 效 偏 移 s。 任 何 满足 4, =p Cod 9) 的 偏 移 * 都 
需要 被 进一步 检测 ， 看 s 是 真 的 有 效 还 是 仅仅 是 一 个 伪 命 中 点 。 这 项 额外 的 测试 可 以 通过 检测 条 
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件 PL1. .m]=TLs+1. . stm] XER, WR q 足够 大 ， 那 么 这 个 伪 命 中 点 可 以 尽量 少 出 现 ， 从 而 
使 额外 测试 的 代价 降低 。 

下 面 的 过 程 准确 描述 了 上 述 思 想 。 过 程 的 输入 是 文本 T, EA P, EAER 4( 其 典型 取 值 
为 | |) 和 素数 q. 


RABIN-KARP-MATCHERC(T,P,d,q) 


1 n= T. length 

2 m= P. length 

3 h=d™' modq 

4 p=0 

5 加 一 0 

6 fori =1tom // preprocessing 
7 p = (dp+Pli]) modq 

8 to= (dtp +T{i]) mod q 

9 fors = 0 ton—m // matching 
10 if p == 1, 

11 if PL1..m] == T[s+1..st+m] 

12 print“Pattern occurs with shift” s 

13 if s<n—m 

14 t41 =(dlt—TLs+1]h )+TLstm+1]) mod q 


RABIN-KARP-MATCHER 执行 过 程 如 下 。 所 有 的 字符 都 假设 是 4 进 制 的 数字 。 仅 为 了 说 明 
的 清楚 ， 给 上 添加 了 下 标 ， 去 除 所 有 下 标 不 会 影响 程序 运行 。 第 3 行 初始 化 m 位 窗口 中 高 位 上 的 
(hh, B4~8 行 计 算出 PLL .m]modg 的 值 p， HH TL1..m]modg 的 值 z。 第 9 一 14 行 的 for 
循环 迭代 便利 了 所 有 可 能 的 偏 移 *， 保 持 如 下 的 不 变量 : 

第 10 行 无 论 何 时 执行 ， 者 有 = 二 TEs 十 1.. gs 十 m|] mod g。 

如 果 在 第 10 行 中 有 p= 二 (一 个 “命中 点 ”)， 那 么 在 第 11 行 检测 是 否 PLL .m]=TLs+1. . stm], 
用 以 排除 它 是 伪 命 中 点 的 可 能 性 。 第 12 行 打印 出 所 有 找到 的 有 效 偏 移 。 如 果 s 二 nn 一 m( 在 第 13 
行 中 检测 )， 则 至 少 再 执行 一 次 for 循环 ， 这 时 首先 执行 第 14 行 以 保证 再 次 执行 到 第 10 行 时 循环 
不 变 式 依然 成 立 。 第 14 行 直接 利用 等 式 (32.2)， 就 可 以 在 常数 时 间 内 由 t mod q 的 值 计 算出 
t+, mod g 的 值 。 

RABIN-KARP-MATCHER 的 预 处 理 时 间 为 6(m), 在 最 坏 情 况 下 , 它 的 匹配 时 间 是 
B((n 一 m 十 1)m)， 因 为 Rabin-Karp 算法 和 朴素 字符 串 匹 配 算法 一 样 ， 对 每 个 有 效 偏 移 进 行 显 式 
验证 。 如 果 P=a"F#-H T=a", ATE n 一 m 十 1 个 可 能 的 偏 移 中 每 一 个 都 是 有 效 的 ， 则 验证 所 
需 的 时 间 为 8((n 一 m 十 1)m)。 

在 许多 实际 应 用 中 ， 我 们 希望 有 效 偏 移 的 个 数 少 一 些 ( 如 只 有 常数 c 个 )。 在 这 样 的 应 用 中 ， 
加 上 处 理 伪 命中 点 所 需 时 间 ， 算 法 的 期 望 区 配 时 间 为 O(n 一 mx 十 1) 十 cm) 二 Oln 十 m)。 减 少 模 gq 
的 值 就 如 同 从 之 "到 Z 上 的 一 个 随机 上 映射， 基于 这 个 假设 ， 可 以 对 算法 进行 启发 式 分 析 。( 参 见 
11. 3. 1 节 中 对 散 列 除法 的 讨论 ， 要 正规 证 明 这 个 假设 是 比较 困难 的 ， 但 是 有 一 种 可 行 的 方法 ， 
就 是 假设 g 是 从 适当 大 的 整数 中 随机 得 出 的 ， 我们 在 此 将 不 继续 纠缠 形式 化 的 问题 。) 然 后 我 们 能 
够 预计 伪 命 中 的 次 数 为 O(n/q)， 因 为 可 以 估计 出 任意 的 i Bea 的 余数 等 价 于 p 的 概率 为 1/g。 因 
为 第 10 行 中 的 测试 会 在 O(z) 个 位 置 上 失败 ， 且 每 次 命中 的 时 间 代 价 是 Om), Ae, Rabin- 
Karp 算法 的 期 望 运行 时 间 为 : 

O(n) + O(m(u-+ n/q)) 
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其 中 vv 是 有 效 偏 移 量 。 如 果 v 一 O(1) 并 且 gem, ， 则 这 个 算法 的 运行 时 间 是 OM). 。 也 就 是 说 ， 如 
果 期 望 的 有 效 偏 移 量 很 少 (O(1)) ， 而 选取 的 素数 g 大 于 模式 的 长 度 ， 则 可 以 估计 Rabin-Karp 算 
法 的 匹配 时 间 为 O(n 十 m)， 由 于 m 志 %， 这 个 算法 的 期 望 匹配 时 间 是 OC). 


练习 


32. 2-1 ”如 果 模 g 二 11， 那 么 当 Rabin-Karp 匹配 算法 在 文本 T=3 141 592 653 589 793 中 搜寻 模 
式 P=26 时 ， 会 遇 到 多 少 个 伪 命 中 点 ? 

32.2-2 ”如 何 扩展 Rabin-Karp 算法 ,使 其 能 解决 如 下 问题 ， 如 何在 文本 字符 串 中 搜寻 出 给 定 的 & 
个 模式 中 的 任何 一 个 出 现 ?” 起 初 假设 所 有 个 模式 都 是 等 长 的 ， 然 后 扩展 你 的 算法 以 适 
用 于 不 同 长 度 的 模式 。 

32.2-3 ” 试 说 明 如 何 扩展 Rabin-Karp 算法 用 于 处 理 以 下 问题 : 在 一 个 nXn 的 二 维 字符 数组 中 搜 
索 一 个 给 定 的 m Xm 的 模式 。( 该 模式 可 以 在 水 平方 向 和 垂直 方向 移动 ， 但 是 不 可 以 


32. 2-4 Alice 有 一 份 很 长 的 n 位 文件 复印 件 A = (a, i， QAn—-29 “""， Qo)» Bob 也 有 一 份 类 似 的 文 
件 B=(6b,_1，b,-:，*…，bo)。Alice 和 Bob 都 希望 知道 他 们 的 文件 是 否 一 样 。 为 了 避免 


传送 整个 文件 A 或 B， 他 们 运用 下 列 快速 的 概率 检查 方法 。 他 们 共同 选择 一 个 素数 > 
10007; 并 从 {0， iy: 9% q—1} 中 随机 选取 一 个 整数 To 然后 ， Alice 求 出 


A(x) = (S as’) mod q 


的 值 ，Bob 也 用 类 似 方法 计算 出 Blr). WH: RAAB, WAC) =BOD HERES 
为 1/1000; 如 果 两 个 文件 相同 ， 则 A(z) 的 值 必 定 等 于 BOW. Ger: 参见 练习 
31. 4-4。) 


32.3 ”利用 有 限 自动 机 进行 字符 串 匹配 


很 多 字符 串 匹 配 算法 都 要 建立 一 个 有 限 自动 机 ， 它 是 一 个 处 理 信息 的 简单 机 器 ， 通 过 对 文 
本 字符 串 人 醋 进 行 扫描 ， 找 出 模式 PP 的 所 有 出 现 位 置 。 本 节 将 介绍 一 种 建立 这 样 自动 机 的 方法 。 
这 些 字符 串 匹 配 的 自动 机 都 非常 有 效 : 它们 只 对 每 个 文本 字符 检查 一 次 ， 并 且 检 查 每 个 文本 字 
符 时 所 用 的 时 间 为 常数 。 因 此 ， 在 模式 预 处 理 完 成 并 建立 好 自动 机 后 进行 匹配 所 需要 的 时 间 为 
@(z) 。 但 是 ， 如 果 之 很 大 ， 建 立 自 动机 所 需 的 时 间 也 可 能 很 多 。32.4 节 将 描述 解决 这 个 问题 的 
一 种 巧妙 方法 。 

本 节 首 先 定 义 有 限 自动 机 。 然 后 ， 我 们 要 考察 一 种 特殊 的 字符 串 匹 配 自动 机 ， 并 展示 如 何 利 
用 它 找 出 一 个 模式 在 文本 中 的 出 现 位 置 。 最 后 ， 我 们 将 说 明 对 一 个 给 定 的 输入 模式 ， 如 何 构 造 相 
应 的 字符 串 匹 配 自动 机 。 

有 限 自动 机 

如 图 32-6 所 示 ， 一 个 有 限 自动 机 M 是 一 个 5 元 组 (Q，q%，A， 忆 ，58) ， 其 中 ， 

。 Q 是 状态 的 有 限 集合 。 

© g, EQ 是 初始 状态 。 

。 ACQ 是 一 个 特殊 的 接受 状态 集合 。 

。 站 是 有 限 输入 字母 表 。 

”0 是 一 个 从 QXx 之 到 Q 的 函数 ， 称 为 M 的 转移 函数 。 

有 限 自 动机 开始 于 状态 %， 每 次 读 人 输入 字符 串 的 一 个 字符 。 如 果 有 限 自 动机 在 状态 g 时 读 
ATF a, MEARE g 变 为 状态 5C(q，a) (进行 了 一 次 转移 )。 每 当 其 当前 状态 g 属于 A 时 ， 
就 说 自动 机 M 接受 了 迄今 为 止 所 读 入 的 字符 串 。 没 有 被 接受 的 输入 称 为 被 拒绝 的 输入 。 
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(a) (b) 


图 32-6 一 个 拥有 状态 集 Q 一 {0，1) 的 简单 两 状态 自动 机 ， 开 始 状态 go 一 0， 并 且 
输入 字母 表 二 {a，b}。(a) 用 表格 表示 的 转移 肾 数 5$。(b) 一 个 等 价 的 状 
态 转 换 图 。 状 态 1( 被 涂 黑 了 ) 是 唯一 的 接受 状态 。 有 向 边 代表 着 转换 。 例 
如 ， 从 状态 1 到 状态 0 的 标 有 b 的 边 表示 8(1，b) 二 0。 这 个 自动 机 接受 
那些 以 奇数 个 a 结 尾 的 字符 串 。 更 确切 地 说 ， 一 个 字符 串 z 被 接受 ， 当 
AM T= YZ, 其 中 y 二 e 或 者 y 以 一 个 b 结尾， 并 且 z=#, 这 里 & 是 奇 
数 。 例 如 ， 对 于 输入 abaaa， 包 括 初 始 状态 ， 这 个 自动 机 输入 状态 序列 为 
(0，1，0，1，0，1)?， 因 而 它 接受 这 个 输入 。 如 果 输 入 是 abbaa， 自动 机 
输入 状态 序列 为 (0，1，0，0，1，0)， 因 而 它 拒绝 这 个 输入 


有 限 自 动机 M 引入 一 个 函数 5$， 称 为 终 态 函数 ， 它 是 从 >“ 到 Q 的 函数 ， 满 足 pE M E 
扫描 字符 串 w 后 终止 时 的 状态 。 因 此 ， 当 且 仪 当 $w) EA 时，M 接受 字符 串 w。 我 们 可 以 用 转 
BS PRB AE ML $: 

$(e)=Q» 
pwa) =A pw) a), we d»*,ae 2 

字符 串 匹 配 自 动机 

对 于 一 个 给 定 的 模式 已 ， 我 们 可 以 在 预 处 理 阶段 构造 出 一 个 字符 串 匹 配 自动 机 ， 根 据 模 式 构 
造 出 相应 的 自动 机 后 ， 再 利用 它 来 搜寻 文本 字符 串 。 图 32-7 说 明了 用 于 匹配 模式 P=ababaca 的 
有 限 自动 机 的 构造 过 程 。 从 现在 开始 ， 假 定 P 是 一 个 已 知 的 固定 模式 。 为 了 使 说 明 简 洁 ， 在 下 
面 的 符号 中 将 不 指出 对 PP 的 依赖 关系 。 

为 了 详细 说 明 与 给 定 模 式 PLL .mj] 对 应 的 字符 串 匹 配 自动 机 ， 首 先 定义 一 个 辅助 也 数 o， 称 
为 对 应 P 的 后 缀 函数 。 函 数 o 是 一 个 从 "到 {0，1，…，m}y 上 的 映射， 满足 o(x) 是 工 HIP 
的 最 长 前 缀 的 长 度 : 

o(x)=max{k: P, Jz} (32. 3) 
因为 空 字 符 串 P= 是 每 一 个 字符 串 的 后 级 ， 所 以 后 级 阻 数 o 是 良 定义 的 。 例 如 ， 对 模式 P= 
ab， 有 上 (e) 王 0，c(ccaca) 一 1，a(Cccab) 王 2。 对 于 一 个 长 度 为 mm 的 模式 已 ，c(Cz) 王 mm 4AM4P I 
Z。 根 据 后 缀 函数 的 定义 : WR Iy, Wolr)<cly). 

给 定 模 式 PL1. .mj]， 其 相应 的 字符 串 匹 配 自 动机 定义 如 下 : 

。 状态 集合 Q@ 为 {0，1，…，m}。 开 始 状态 q 是 OTRAS, FFA RAIA m 是 唯一 被 接受 的 
。 对 任意 的 状态 a MF Ff a, RB RW OE CUE: 
d(q,a) = ol P,a) (32. 4) 

我 们 定义 gq, 2=o(P, a), AHKICREOBANSRA 已 匹配 的 文本 字符 串 了 的 最 长 前 
级 。 考 虑 最 近 一 次 扫描 工 的 字符 。 为 了 使 工 的 一 个 子 串 ( 以 TL 结尾 的 子 串 ) 能 够 和 P 的 某 些 前 
级 P; 匹配 ， 前 级 P, 必须 是 T; 的 一 个 后 缀 。 假 设 g 二 扩 T;)， 那 么 在 读 完 T; 之 后 ， 自 动机 处 在 状 
AS 9g。 设 计 转 移 函 数 6， 使 用 状态 数 a 表示 PP 的 前 级 和 T 后 缀 的 最 长 匹配 长 度 。 也 就 是 说 ， 在 处 
FRA qif, P, IT: 并 且 4q 二 o(T;)。( 每 当 g 二 m 时 ， MA P 的 m SSAA T; 的 一 个 后 缀 匹 
配 ， 从 而 得 到 一 个 匹配 ,。) 因 此 ， 由 于 $8(T;) 和 o(T;) 都 和 gq 相等 ， 我 们 将 会 看 到 (在 后 续 的 定理 
32.4 中 ) 自 动机 保持 下 列 等 式 成 立 : 
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| $(T;) = o(T;) (32. 5) 
如 果 自 动机 处 在 状态 g 并 且 读 入 下 一 个 字符 T[i 十 1j= 二 a， 那么 我 们 希望 这 个 转换 能 够 指向 Ta 
的 后 缀 状态 ， 它 对 应 着 PP 的 最 长 前 级 ， 并 且 这 个 状态 是 co(Tia)。 由 于 P, 是 P 的 最 长 前 级 ， 也 就 
是 T: 的 一 个 后 级 ， 那 么 已 的 最 长 前 级 也 就 是 Tia 的 一 个 后 级 ， 不 仅 表 示 为 ao(Tia)， 也 可 表示 为 
o(Pa). (G| 32. 3 证 明了 olTia) 二 oC(Pya)。) 因 此 ， 当 自动 机 处 在 状态 g 时 ， 我 们 希望 这 个 在 字 
FF a 上 的 转移 函数 能 使 自动 机 转移 到 状态 o(Pya)。 





(a) 
P 
a 
b 
a 
b 
a 
6 i 一 123456789101l 
Ti] —-abababacaba 
Keer) 0123 45 4 5 6 M2 3 





图 32-7 (a) 一 个 字符 串 匹 配 自动 机 的 状态 转换 图 ， 它 可 以 接受 所 有 以 字符 串 ababaca 
”结尾 的 字符 串 。 状 态 0 是 初始 状态 ， 状 态 7( 被 涂 黑 ) 是 仅 有 的 接受 状态 。 从 
”状态 BRA, WA a 的 有 向 边 表 示 8(，a) 一 17。 形成 自动 机 “ 宵 ”的 右 向 
， 边 ， 在 图 中 加 重 了 颜色 ， 对 应 着 模式 和 输入 字符 串 之 间 的 成 功 匹 配 。 除 了 从 
”状态 7 到 状态 1 和 2 的 边 外 ， 向 左 指 的 边 对 应 着 失败 的 匹配 。 一 些 表示 匹配 
”失败 的 边 并 没有 标记 出 来 ， 通常， 如果 状 态 i 对 某 个 aE 之 没有 对 应 a 的 出 
| 边 ， 则 6(i1，a)= 二 0。(b) 对 应 的 转移 函数 6 和 模式 字符 串 书 三 ababaca。 模 式 和 
”输入 之 间 的 成 功 匹 配 被 标 上 了 阴影 。(c) 和 目 动机 在 文本 T=abababacaba 上 的 
”操作 。 在 处 理 了 前 缀 T: 之 后 ， 在 每 个 文本 字符 TLi] 下 面 ， 给 出 了 它 在 自动 
:机 内 的 状态 上 到 ) 。 目 动机 找到 该 模式 的 一 个 出 现 ， 以 位 置 9 结尾 


考虑 以 下 两 种 情况 。 第 一 种 情况 是 ，a 二 PL[q 十 1]， 使 得 字符 a 继续 匹配 模式 。 在 这 种 情况 
下 ， 由 于 6Cq， a4) 二 gq 十 1， 转 换 沿 着 自动 机 的 “主线 ”( 图 32-7 中 的 粗 边 ) 继 续 进行 。 第 二 种 情况 ， 
a 头 P[g 十 1]， 使 得 字符 a 不 能 继续 匹配 模式 。 这 时 我 们 必须 找到 一 个 更 小 的 子 串 ， 它 是 P 的 前 
级 同时 也 是 T; 的 后 级 。 因 为 当 创建 字符 串 匹配 自动 机 时 ， 预 处 理 匹 配 模式 和 自己 ， 转 移 函 数 很 
快 就 得 出 最 长 的 这 样 的 较 小 ATA. 

让 我 们 看 一 个 例子 。 图 32-7 的 字符 串 匹配 自动 机 有 8(5，c) 一 6， 说 明 其 是 第 一 种 情况 ， 匹 
配 继续 进行 。 为 了 说 明 第 二 种 情况 ， 观 察 图 32-7 中 的 自动 机 ， 有 5(5，b) 二 4。 我 们 选择 这 个 转 
换 的 原因 是 如 果 自 动机 在 g 一 5 状态 时 读 到 一 个 b， 那 么 P,b—=ababab, FFA P 的 最 长 前 级 也 是 
ababab 的 后 组 P, =abab, 

为 了 清楚 说 明 字符 串 匹配 自动 机 的 操作 过 程 ， 我 们 给 出 一 个 简单 而 有 效 的 程序 ， 用 来 模拟 
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这 样 一 个 自动 机 (用 它 的 转移 函数 6 来 表示 )， 在 输入 文本 TL1. .nj 中 ， 和 寻找 长 度 为 m 的 模式 P 
的 出 现 位 置 。 如 同 对 于 m 长 模式 的 任意 字符 串 匹 配 自动 机 ， 状 态 集 Q 为 {0，1，…，m}， 初 始 状 
态 为 0， 唯一 的 接受 状态 是 m。 
FINITE-AUTOMATON-MATCHER(T,6,m) 
1 n= T. length 
2 q4=0 
3 fori = 1 ton 
4 q = 6 (q, TLi]) 
5 if q == m 
6 print“ Pattern occurs with shift”i—m 
从 FINITE-AUTOMATON-MATCHER 的 简单 循环 结构 可 以 看 出 ， 对 于 一 个 长 度 为 n 的 文 
本 字符 串 ， 它 的 匹配 时 间 为 8(n)。 但 是 ， 这 一 匹配 时 间 没 有 包括 计算 转移 函数 6 所 需要 的 预 处 
理 时 间 。 我 们 将 在 证 明 FINITE-AUTOMATON-MATCHER 的 正确 性 以 后 ， 再 来 讨论 这 一 问题 。 
考察 自动 机 在 输入 文本 TL1. .nj 上 进行 的 操作 。 下 面 将 证 明 自 动机 扫 过 字符 TLij 后 ， 其 状 
态 为 oC(T;)。 因 为 当 且 仅 当 PT;，o(T;) 二 m。 所 以 当 且 仅 当 模式 了 被 扫描 过 之 后 自动 机 处 于 接 
受 状态 m。 为 了 证 明 这 个 结论 ， 要 用 到 下 面 两 条 关于 后 缀 也 数 o 的 引 理 。 
引 理 32. 2( 后 缀 函数 不 等 式 ) ”对 任意 字符 串 和 字符 a，c(Cza) 委 caCZz) 十 1。 
WEAR 参照 图 32-8， 设 一 c(za) 。 如 果 r 一 0， 则 根据 c(z) 非 负 ，c(za) 三 rc(z) 十 1 显然 成 
立 。 于 是 现在 假定 之 0， 根 据 c 的 定义 。 有 已 眉 ze。 所 以 , 把 a 从 P, 与 xa 的 末尾 去 挥 后 ， 得 到 
Piz. Alt, r<lr), HX oc) EWE Pos 的 最 大 的 & 什 ， 所 以 c(za) 三 rcCz) 十 1。 m 





图 32-8 ”描述 了 引 理 32. 2 的 证 明 。 图 中 显示 ”和 c(z) 十 1， 其 中 > 一 c(Cza) 


引 理 32. 3( 后 级 函数 递归 引 理 ) 对 任意 che FHa, H$q=olz), MW olra)=o(P,a). 

证 明 根据 c 的 定义 ， 有 了 ,了 卫 z。 如 图 32-9 所 示 ， 有 Para, i r=olza), Mj P, 3 
za， 并 由 引 理 32.251, r<qtl]. Ae! P,| =r<qt1=|P,a|. AW P,a Izra MP, Izra 
FH |P,|<| Pa| ， 所 以 由 引 理 32.1 P, P,a. Aita r<o(P,a), Bl o(xa)<o(P,a), 
但 由 于 P, aðra, PRU o(P,a)<o(xa), MWE o( P, ac) 一 cCza) 。 m 

现在 我 们 就 可 以 来 证 明 用 于 描述 字符 串 匹 配 自动 机 在 给 定 输入 文本 上 操作 过 程 的 主要 定理 
了 。 如 上 所 述 ， 这 个 定理 说 明了 自动 机 在 每 一 步 中 仅仅 记录 所 读 人 字符 串 后 缀 的 最 长 前 级 。 换 句 
话说 ， 自 动机 保持 着 不 变 式 (32. 5). 





图 32-9 ”描述 了 引 理 32. 3 的 证 明 。 图 中 显示 r=ol(P,a)， 其 中 go= 一 cCz) 和 r=o(za) 
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定理 32.4 如 果 多 是 字符 串 匹配 自动 机 关于 给 定 模式 卫 的 终 态 函数 ，T[1. .nj 是 自动 机 的 输 
入 文本 ， 则 对 ;一 0，1，…，7，y%(T;) 一 a(CT) 。 
WEAR ”对 i 进行 归纳 。 对 i 二 0， 因 为 T= 二 e， 定 理 显然 成 立 。 因 此 (T,)=0=0(Ty). 1000 
现在 假设 ECT) = 二 ol(T)， 并 证 明 $(T4)==o(Tin)。 设 9g 表示 $8(T)， a 表示 TLi 十 1]， 
那么 ， 
$T) = $( T,a) (根据 Tn 和 a 的 定义 ) 
= 8($(T,),a) (根据 多 的 定义 ) 
= §(q,a) (根据 g 的 定义 ) 
=o(P,a) (根据 式 (32.4) 关于 8 的 定义 ) 
一 aCTia) (根据 引 理 32. 3 和 归纳 假设 ) 
= o(Tin) (根据 Ta 的 定义 ) 
根据 定理 32. 4， 如 果 自 动机 在 第 4 行进 入 状态 9， 则 qa EWE P IT: 的 最 大 值 。 因 此 ， 在 
第 5 行 有 gq 二 m， 当 且 仅 当 自动 机 刚刚 扫描 了 模式 P 在 文本 中 的 一 次 出 现 位 置 。 于 是 可 以 得 出 结 


论 ，FINITE-AUTOMATON-MATCHER 可 以 正确 地 运行 。 a 
计算 转移 函数 


下 面 的 过 程 根据 一 个 给 定 模式 PCL . mj 来 计算 转移 函数 6。 


COMPUTE-TRANSITION-FUNCTIONCP, >) 


1 m=P. length 

2 forg = 0i:tom 

3 for each charater a€ 2 

4 k = min (m+1,q+2) 
5 repeat 

6 k= k-1 

7 until P, J P,a 

8 6(g,a)= k 

9 retund — 


这 个 过 程 根据 在 式 (32. 4) 中 的 定义 直接 计算 Cg, a), EMAR 27 3 THREE 
中 ， 要 考察 所 有 的 状态 g 和 字符 a。 第 4~8 行 把 6(q，a) 置 为 满足 PIP, a 的 最 大 的 &。 代 码 从 
k 的 最 大 可 能 值 min(m，g 十 1) 开 始 。 随 着 过 程 的 执行 ，& 逐渐 递减 ， 直 至 Pi IP, KPH IV 
RERE, HX P=: 是 每 个 字符 串 的 一 个 后 级 。 

COMPUTE-TRANSITION-FUNCTION 的 运行 时 间 为 Olmi | 站 | ) ， 因 为 外 循环 提供 了 一 个 
因子 m| 之 | ， 内 层 的 repeat 循环 至 多 执行 m 十 1 次， 而 第 7 行 的 测试 P, IP, a 需要 比较 m 个 字 [1001 
符 。 还 存在 速度 更 快 的 程序 。 如 果 能 够 利用 精心 计算 出 的 模式 P 的 有 关 信 息 ( 见 练习 32. 4-8)， 
则 根据 计算 出 6 所 需要 的 时 间 可 以 改进 为 Olm| 之 | )。 如 果 用 改进 后 的 过 程 来 计算 $， 则 对 字 
母 表 >， 我 们 能 够 找 出 长 度 为 m 的 模式 在 长 度 为 n 的 文本 中 的 所 有 出 现 位 置 ， 这 需要 OCm| 2) 
的 预 处 理 时 间 和 8B(n) 的 匹配 时 间 。 


练习 | 
32.3-1 对 模式 .P= 二 aabab 构造 出 相应 的 字符 串 匹 配 自动 机 ， 并 说 明 它 在 文本 字符 串 T= 
aaababaabaababaab 上 的 操作 过 程 。 
32.3-2 ”对 字母 表 避 二 {a，b}) ， 画 出 与 模式 ababbabbababbababbabb 对 应 的 字符 串 匹 配 自 动机 的 
状态 转换 图 。 
32.3-3 ”如 果 由 P, IP, 导出 k= 二 0 或 二 gq， 则 称 模式 P 是 不 可 重要 的 。 试 描述 与 不 可 重 炙 模式 
| 
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相应 的 字符 串 匹 配 自 动机 的 状态 转换 图 。 


*32.3-4 ”已 知 两 个 模式 P 和 了 P'， 试 描述 如 何 构 造 一 个 有 限 自 动机 ， 使 之 能 确定 其 中 任意 一 个 模 


式 的 所 有 出 现 位 置 。 尽 量 使 自动 机 的 状态 数 最 小 。 
32.3-5 ”给 定 一 个 包括 间隔 字符 (参见 练习 32. 1-4) 的 模式 P， 说明 如 何 构 造 一 个 有 限 自动 机 ， 使 
其 在 O(n) 的 时 间 内 找 出 卫 在 文本 中 的 一 次 出 现 位 置 ， 其 中 n= |T). 


32.4 Knuth-Morris-Pratt 算法 


现在 来 介绍 一 种 由 Knuth, Morris 和 Pratt 三 人 设计 的 线性 时 间 字 符 串 匹配 算法 。 这 个 算法 
无 需 计 算 转移 函数 $， 匹 配 时 间 为 B(z) ， 只 用 到 辅助 函数 n CE 9(zz) 时 间 内 根据 模式 预先 计 
算出 来 ， 并 且 存 储 在 数组 xL1. .mj 中 。 数 组 x 使 得 我 们 可 以 按 需 要 “即时 ”有 效 地 计算 (在 摊 还 
意义 上 来 说 ) 转 移 函 数 8。 粗 略 地 说 ， 对 任意 状态 9 二 0，1，…，m 和 任意 字符 a€ 2d, algal 
值 包含 了 与 a 无 关 但 在 计算 58(q，a) 时 需要 的 信息 。 由 于 数组 x 只 有 m 个 元 素 , iM oA BCm| 之 | ) 
个 值 ， 所 以 通过 预先 计算 r 而 不 是 $， 可 以 使 计算 时 间 减 少 一 个 之 因子 。 

关于 模式 的 前 缀 函数 

模式 的 前 缀 函数 x 包含 模式 与 其 自身 的 偏 移 进 行 匹 配 的 信息 。 这 些 信息 可 用 于 在 朴素 的 字符 
串 匹 配 算法 中 避免 对 无 用 偏 移 进行 检测 ， 也 可 以 避免 在 字符 串 匹 配 自动 机 中 ， 对 整个 转移 函数 6 
的 预先 计算 。 

考察 一 下 朴素 字符 串 匹 配 算 法 的 操作 过 程 。 图 32-10(a) 展 示 了 一 个 针对 文本 全 模板 的 一 个 
特定 偏 移 ;， 该 模板 包含 模式 P 二 ababaca。 在 这 个 例子 中 ，g 二 5 个 字符 已 经 匹配 成 功 ， 但 模式 的 
第 6 个 字符 不 能 与 相应 的 文本 字符 匹配 。9 个 字符 已 经 匹配 成 功 的 信息 确定 了 相应 的 文本 字符 . 
已 知 的 这 9 个 文本 字符 使 我 们 能 够 立即 确定 某 些 偏 移 是 无 效 的 。 在 该 图 的 实例 中 ， 偏 移 s 十 1 必 
然 是 无 效 的 ， 因 为 模式 的 第 一 个 字符 (a) 将 与 文本 字符 匹配 ， 该 文本 字符 已 知 不 能 和 模式 的 第 一 - 
个 字符 匹配 ， 但 是 却 能 与 模式 的 第 二 个 字符 (b) 匹 配 。 在 图 32-10(b) 所 示 的 偏 移 * 一 * 十 2 使 模式 前 
面 三 个 字符 和 相应 三 个 文本 字符 对 齐 后 必定 会 匹配 。 在 一 般 情 况 下 ， 知 道 下 列 问题 的 答案 将 是 
很 有 用 的 : 





aļèjaļe]a] r, 
A 
albla| P 
Cc) 


图 32-10 前缀 函数 xn。(a) 模 式 P=ababaca 和 文本 下 平行 摆 放 ， 使 得 前 g=5 个 字符 匹配 。 
匹配 的 字符 被 打上 阴影 且 用 垂直 线 连接 。(b) 根 据 5 个 匹配 字符 的 已 有 信息 ， 可 
以 推 知 * 十 1 的 偏 移 是 无 效 的 ， 但 是 * =st+2 的 偏 移 与 我 们 对 文本 的 了 解 一 致 ， 
因而 可 能 是 有 效 的 。(c) 推 导 中 使 用 的 有 用 信息 可 以 通过 模式 自身 的 比较 来 预计 
算 。 这 里 ， 我 们 发 现 P: 是 PP 的 最 长 前 缀 同时 也 是 Ps 的 一 个 真 后 缀 。 这 些 信 息 
被 预先 计算 出 来 ， 并 用 数组 x 来 表示 ， 即 xL5] 二 3。 在 偏 移 s Ag 个 字符 成 功 匹 
配 ， 则 下 一 个 可 能 有 效 的 偏 移 为 * 三 * 十 (9 一 xLg])， 正 如 在 (b) 中 所 示 


假设 模式 字符 PLL . qj 与 文本 字符 TLs 十 1..s 十 9j 匹 配 ，s 是 最 小 的 偏 移 量 ，s 之 *， 那 么 对 
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某 些 R<q, WE 
P[1..&]== TLs 十 1..s +k] (32. 6) 
的 最 小 偏 移 ss 是 多 少 ， 其 中 十 & 一 :十 aq? 

RDG, BAP ITa RIRA P, 的 最 长 真 前 缀 Pi BÆT WEA. (HF s 十 & 一 
s 十 g， 如 果 给 出 s 和 g， 那 么 找到 最 小 偏 移 等 价 于 找到 最 长 前 缀 的 长 度 &。) 我 们 把 在 P 前缀 长 度 
范围 内 的 差 值 9 一 k 加 入 到 偏 移 ; 中 ， 用 于 找到 新 的 偏 移 ; ， 使 得 * = 十 (gq 一 k)。 在 最 好 情况 下 ， 
k=0, KE 一 * 十 qg， 并 且 立 刻 能 得 出 偏 移 s 十 1]，s 十 2，…，s 十 gq 一 1。 在 任何 情况 下 ， 对 于 新 的 
WE s, TRE P 的 前 & 个 字符 与 工 中 相应 My ERE HR, 因为 等 式 (32. 6) 已 经 保证 它们 肯 
定 匹 配 。 

可 以 用 模式 与 其 自身 进行 比较 来 预先 计算 出 这 些 必要 的 信息 ， 如 图 32-10(c) 所 示 。 由 于 
TLs 十 1..s' 十 &j 是 文本 中 已 经 知道 的 部 分 ， 所 以 它 是 字符 捉 P, 的 一 个 后 缀 。 可 以 把 等 式 (32. 6) 
解释 为 要 求 满足 POP, 的 最 大 的 二 gqg。 于 是 ， 这 个 新 的 偏 移 二 s 十 (gq 一 8) 就 是 下 一 个 可 能 的 有 
效 偏 移 。 我 们 将 会 发 现 ， 对 每 一 个 g 值 ， 把 已 匹配 字符 数目 存储 在 新 的 偏 移 ; (而 不 是 一 ?中 
是 比较 方便 的 。 

下 面 是 预计 算 过 程 的 形式 化 说 明 。 已 知 一 个 模式 PLL. m], RA P RAIA RA E K% 
x: {l, 2, =, my}—>{0, 1, =, m—1}, ÑE 

nLq] = max{k:k< q HP, oP,} 
即 Lgj 是 P, WAP 的 最 长 前 缀 长 度 。 又 例如 ， 图 32-11(a) 中 给 出 了 关于 模式 ababaca 的 完 
整 前 级 函数 x。 


T i +e z[5]=3 
BegRECK i a bac a x[3]=1 
7 b a baca z[1]=0 





(a) (b) 


图 32-11 对 模式 P=ababaca 和 q=5 应 用 引 理 32.5 的 描述 。(a) 给 定 模式 的 x KA. AW rl5]=3, xL3j]=1 
和 坊 1=0， 通 过 迭代 得 到 x*[5j] 二 {3，1，0}。(b) 将 包含 模式 PP 的 模板 向 右 移 动 ， 并 注意 何 
时 P WRA P 与 Ps 的 某 真 后 缀 匹配 ， 在 k= 二 3，1 和 0 时 匹配 。 图 中 第 一 行 给 出 了 P, AEE 
线 就 画 在 Ps 后 。 相 继 的 几 行 显示 所 有 P 的 偏 移 ， 使 得 P 的 某 前 缀 Pi 与 Ps 的 某 后 级 匹配 。 成 功 
匹配 的 字符 被 打上 了 阴影 。 垂 直线 连接 了 并 列 的 匹配 字符 。 因 此 ，{A: k<g 且 PiCPs} 一 (3, 1， 
0}。 引 理 32. 5 要 求 对 所 有 g 有 x* [gq]={k: k<q H PEP} 


下 面 给 出 的 Knuth-Morris-Pratt 匹配 算法 的 伪 代 码 就 是 KMP-MATCHER 过 程 。 我 们 将 看 
到 ， 其 大 部 分 都 是 在 模仿 FINITE-AUTOMATON-MATCHER。KMP-MATCHER 调用 了 一 个 
辅助 程序 COMPUTE-PREFIX-FUNCTION 来 计算 n. 


KMP-MATCHER(T, P) 


l n=T. length 

2 m=P. length 

3 x= COMPUTE-PREFIX-FUNCT IONCP) 

4 q=0 // number of characters matched 
5 


for i=1 tan // scan the text from left to right 
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6 while g>0 and PL g+1J4TI[i] 
7 dg 一 zx[Laj // next character does not match 
8 if Plg+1] == T[i] 
9 q=qtl // next character matches 
10 if q == m / is all of P matched? 
11 print “Pattern occurs with shift” i—m 
12 q=nLq] // look for the next match 


COMPUTE-PREFIX-FUNCTIONCP) 
m= P. length 
let x[1..m| be a new array 
xl 1 ]=0 
k=0 
for q=2 tom 
while £>0 and PLk+1]4Plq] 
k=rLk | 
if PLk+1J==Plq] 
k=k+1 
10 nLqlJ=k 


11 return x 


这 两 个 程序 有 很 多 相似 之 处 ， 因 为 它们 都 是 一 个 字符 串 针对 模式 已 的 匹配 : KMP- 
MATCHER 是 文本 全 针对 模式 P 的 匹配 ，COMPUTE-PREFIX-FUNCTION 是 模式 PP 针对 自己 
的 匹配 。 

下 面 先 来 分 析 这 两 个 过 程 的 运行 时 间 ， 对 其 正确 性 的 证 明 要 复杂 一 些 。 

运行 时 间 分 析 

运用 摊 还 分 析 的 聚合 方法 (参见 17.1 节 ) 进 行 分 析 ， 过 程 COMPUTE-PREFIX-FUNCTION 
的 运行 时 间 为 8(m) 。 唯 一 微妙 的 部 分 是 表明 第 6 一 7 行 的 while 循环 总 共 执 行 时 间 为 OCm). F 
面 将 说 明 它 至 多 进行 了 m—1 次 迭代 。 我 们 从 观察 & 的 值 开 始 ， 第 一 ， 在 第 4 行 ,，& 初始 值 为 0， 
并 且 增 加 的 唯一 方法 是 通过 第 9 行 的 递增 操作 ， 该 操作 在 第 5 一 10 行 的 for 循环 迭代 中 每 次 最 
多 执行 一 次 。 因 此 ,，& 总 共 至 多 增加 mm 一 1 次 。 第 二 ， 因 为 进行 for 循环 时 <qg， 并 且 在 for 循环 
体 的 每 次 迭代 过 程 中 ，g 的 值 都 增加 ， 所 以 k<¢q 总 成 立 。 因 此 ， 第 3 行 和 第 10 行 的 赋值 确保 了 
roj<q 对 所 有 的 go 三 1，2，…， 和 都 成 立 ， 这 意味 着 每 次 while 循环 迭代 时 的 值 都 递减 。 第 三 ， 
& 了 永远 不 可 能 为 负 值 。 综 合 考虑 这 些 因 素 ， 我 们 会 发 现 , k 的 递减 来 自 于 while 循环 ， 它 由 & 在 所 
有 for 循环 迭代 中 的 增长 所 限定 ，& 总 共 下 降 m 一 1。 因 此 ，while 循环 最 多 迭代 m 1k, #E 
COMPUTE-PREFIX-FUNCTION 的 运行 时 间 为 Omn). 

练习 32. 4-4 要 求 读者 通过 运用 类 似 的 聚合 分 析 ， 证明 KMP-MATCHER 的 匹配 时 间 
HAC). 

与 FINITE-AUTOMATON-MATCHER 相 比 ， 通 过 运用 r 而 不 是 8S， 可 将 对 模式 进行 预 处 理 
的 时 间 由 OCm| 之 DRA OCm), ， 同 时 保持 实际 的 匹配 时 间 界 为 9(z) 。 

前 缀 函数 计算 的 正确 性 

我 们 稍 后 就 会 看 到 ， 前 缀 函数 x 帮助 我 们 在 字符 匹配 自动 机 中 模拟 转移 函数 8， 但 是 首先 我 
们 需要 证 明 COMPUTE-PREFIX-FUNCTION 确实 能 够 准确 计算 出 前 级 函数。 为 此 ， 我 们 将 需要 
找到 所 有 的 前 级 已 ， 也 就 是 给 定 前 缀 P, 的 真 后 级 。xLgj 的 值 给 了 我 们 最 长 的 前 缀 ， 正 如 在 
图 32-11 中 所 描述 的 ， 下 面 的 引 理 说 明 通过 对 前 缀 函数 进行 迭代 ， 就 能 够 列举 出 P, 的 真 后 缀 的 
所 有 前 级 P.o 
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nla] = (nlg]sn? La]sn® La], sn La]) 
其 中 mw*[Lgj 是 按 函 数 迭 代 的 概念 来 定义 的 ， WE ro [oj=a， 并 且 对 这 1，re2 Cql=ala* Call, 
当 达 到 nLqj]= 二 0 时 ，x'* [qj 中 的 序列 终止 。 

引 理 32. 5( 前 缀 函数 迭代 引 理 ) ” 设 忆 是 长 度 为 m 的 模式 ， 其 前 级 函数 为 Xn， 对 g 二 ]，2，…，m， 
An’ lql={k: k<g A P,IP,}. 

iE AA 首先 证 明 x" [qIKtk: k<g HAP.P,)}, RASH, 

iE n'la] Be PIP, (32. 7) 
若 iEx* [Lg]， 则 对 某 个 ww 二 0， 有 i 二 x*[Lqj。 通 过 对 u PETIA ARTE HAR (32.7) Rw. X u=l, 
有 i 二 xLq]， 因 为 根据 w 的 定义 有 i<g 且 Psa 刁 P,， 所 以 此 断言 成 立 。 利 用 关系 lili 和 Pw 
P:s UR<AON BE. 就 可 以 证 明 对 所 有 iEn" La], 有 T La]& (k: k<qHP,oIP,}. 

下 面 用 反 证 法 来 证 明 {&: &<g 且 PIP, Er" [g] RERS (k: k<q A PP,) 一 x* [gj] 是非 
空 的 ， 且 设 7 是 该 集合 中 的 最 大 值 。 因 为 xLqj 是 {&: kKa H Pi 汪 P,) 中 的 最 大 值 且 xrLajEr Cq], 
所 以 必定 有 ;过 [qj]。 因 而 可 以 设 7 表示 x* [g 中 比 7 大 的 最 小 整数 。( 如 果 x* [qj 中 没有 其 他 数 
EIK, WTR = alg] RNA PIP, AA jek: k< E PIP) AAA 
j En’ (QIMK32.7), APOP,. Alb, RH51 32.1, PIP, MARBIUHR, j 是 小 于 
站 的 最 大 值 。 因 而 必定 有 x[j']==j， 并 且 因 为 jEx* [gq]， FIRE Uae jEr" [gj。 这 就 产生 了 了 矛 
EE 所 以 引 理 得 证 。 E 

算法 COMPUTE-PREFIX-FUNCTION 根据 q=1, 2, =, m 的 顺序 计算 x[cj] 的 值 。 
COMPUTE-PRFFIX-FUNCTION 的 第 3 FE x[1] =0 当然 是 正确 的 ， 因 为 对 所 有 的 9， 
nLql<q. 下 面 的 引 理 及 其 推 1 企 将 用 于 证 明 对 g>>1, COMPUTE-PREFIX-FUNCTION 能 正确 地 
计算 出 nlg]. 

3832.6. KRPZKEAMHRA, rZPHWMARBK., Hg=1, 2, --, m, #wRalgl>o, 
则 x[Lgqj 一 ]€Ex*[g 一 1]。 

证 明 WÈ r=nlg]>0, RWA rqa HP, IP, 因此 7 一 1<g 一 1 且 P3 P GE P, A P, P 
的 最 后 一 个 字符 去 掉 ， 因 为 ~ 之 0， 所 以 这 可 以 做 到 )。 因 此 ， 根 据 引 理 32.5, r 一 1Ex* [Lg 一 1]。 因 
此 rig ]—1=r—-1E x" [Lg 一 1j]。 

对 q=2, 3, *"*,，m,， 定义 子 集 E,- SEn" [g 一 1 为 : 

Ei= (k € x'[q— 1]:P[k+1] = P[g]) 
= {k:ık<q—1,P, IP, P[k+1] = P[g]) (根据 引 理 32.5) 
= (kık < q— 1, Pa IP,?} 
集合 五 -: 由 满足 PIP ;和 P[k 十 1 二 PLqj] 的 值 *<g 一 1 组 成 ,因为 PLk 十 1 二 PLg]， 所 以 有 
PH P,。 因 此 ，E,_1 是 由 Ex* [9g 一 1] 中 的 值 组 成 ， 可 以 将 P, 扩展 到 Py 并 得 到 P, RR. m 
推论 32.7 ' 设 局 是 长 度 为 m ~ re PHARA, Mq=2, 3, +, m, 
cae wR Em = D 
ANET E€ Emn) wREAAD 

证 阴 如 果 EE 为 室 ， 则 没有 用 于 扩展 P, 到 Pas: 及 得 到 P, HERH ken Lq—-1] (包括 
& 一 0) 。 因 此 xlg]=0. 

如 果 E, 为 非 空 ， 那么 对 每 一 个 RE 1， A k+1<q H. Pn Poo 因此 ， 根据 nLgqj] 的 定义 ， 

| nig | > 1 + max{k € Em} | (32. 8) 

注意 到 "Lg]>0. 设 r= 二 xLqj] 一 1， 那 么 r 十 1 二 xLq]， 因 此 PIP, AA r+i>o, MAA 

P[r+1]=P[q]; mAH 32.6, §rEr*LlLa—1j]. Alt, rE E- MA rSmax{ke 
Em } 或 等 价 地 ， 
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nq |<1+max{kE€ E,_,)} (32. 9) 


联合 等 式 (32. 8) 和 式 (32. 9) 即 可 完成 证 明 。 图 
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现在 来 完成 对 COMPUTE-PREFIX-FUNCTION 计算 的 x 的 正确 性 证 明 。 在 过 程 COMPUTE- 
PREFIX-FUNCTION 中 第 5 一 10 行 for 循 环 的 每 次 迭代 开始 时 ,k= 二 Lg 一 1j]。 当 第 一 次 进入 循环 
时 ， 该 条 件 由 第 3 行 和 第 4 行 实现 ， 并 且 因 为 第 10 行 的 执行 ， 使 得 该 条 件 在 下 面 的 每 次 选 代 中 均 
保持 成 立 。 第 6 一 9 行 调整 & 的 值 ， 使 它 变 为 现在 的 xLqj 的 正确 值 。 第 6~7 行 的 while 循环 搜索 所 
有 A&ET-*[q 一 菇 的 值 ， 直 至 找到 一 个 & 值 ， 使 得 PL&k 十 1] 二 PLgj]; 此 时 ，& 是 集合 E- 中 的 最 大 值 ， 
根据 推论 32.7， 可 以 置 xLgj 为 十 1。 如 果 找 不 到 这 样 的 值 ， 则 在 第 8 行 £==0。 如 果 PL1]= PLaj， 
那么 应 该 将 上 和 x[Lqj] 都 设置 为 1; 否则 ， 只 需 将 xLqj 置 为 0 而 不 管 &。 第 8 一 10 行 完成 在 任意 条 件 
下 & 和 xc] 的 设置 。 这 样 就 完成 了 对 COMPUTE-PREFIX-FUNCTION 正确 性 的 证 明 。 E 

KMP 算法 的 正确 性 

过 程 KMP-MATCHER 可 以 看 做 是 过 程 FINITE-AUTOMATON-MATCHER 的 一 次 重新 实 
现 ， 但 是 却 用 到 了 前 缀 函数 x 来 计算 状态 转换 。 特别 地 ， 我 们 将 证 明 在 KMP-MATCHER 和 
FINITE-AUTOMATON-MATCHER 的 for 循环 的 第 i 次 迭代 时 ， 当 检测 m 的 等 效 性 时 ， 两 个 过 
程 的 状态 q 的 值 相同 (KMP-MATCHER 在 第 10 47, FINITE-AUTOMATON-MATCHER 在 第 5 
行 )。 一 旦 证 明了 KMP-MATCHER 模拟 了 FINITE-AUTOMATON-MATCHER 的 操作 过 程 ， 
自然 也 就 可 以 由 FINITE-AUTOMATON-MATCHER 的 正确 性 推出 KMP-MATCHER 也 是 正确 
的 (但 是 下 面 将 看 到 为 什么 KMP-MATCHER 中 的 第 12 行 代码 是 必需 的 )。 

在 我 们 正式 证 明 KMP-MATCHER 模仿 FINITE-AUTOMATON-MATCHER 之 前 ， 让 我 们 
来 理解 前 缀 函数 x 如 何 代替 转移 函数 8S。 回 顾 一 下 ， 当 字符 串 匹配 自动 机 处 在 状态 aN. EAT 
到 字符 a 二 TLij]， 然 后 移动 到 一 个 新 的 状态 Cq, a). WR a 二 PLg 十 1]， 那 么 a 将 持续 对 模式 进 
行 匹 配 ，6(gq，a) 二 gq 十 1; 否则 ，a 关 PLg 十 1]， 那 么 a 就 终止 了 对 模式 的 匹配 ， 并 且 ONO, a) 
三 q。 在 第 一 种 情况 下 ， 当 a 持续 匹配 时 ，KMP-MATCHER 移动 到 状态 gq 十 1 而 无 需 参考 n A 
数 : 在 第 6 行 的 while 循 环 检 测 第 一 次 报错 ， 在 第 8 行 检测 结果 是 真 ， 并 且 在 第 947 增加。 

当 a 不 能 持续 进行 模式 匹配 时 ，x 函数 开始 起 作用 ， 因 此 新 的 状态 5(q，a) 要 么 是 gq， 要 么 是 
沿 着 自动 机 移动 的 9 的 左边 状态 。 在 KMP-MATCHER 中 第 6~7 行 的 while 循环 迭代 通过 状态 
x* [gq]， 要 么 停 在 一 个 g 状态 ， 使 得 MPL 十 1] 匹 配 ， 要 么 是 g 已 经 走 完 变 为 了 0。 如 果 a 和 
Plq' 十 1 匹配 ， 那 么 第 9 行 就 进入 新 的 状态 g 十 1， 这 应 该 等 价 于 准确 模拟 6(gqg，a) 的 工作 。 换 与 ] 
话说 ， 新 状态 6(g，a) 要 么 处 于 状态 0， 要 么 处 于 比 菜 些 在 x* [gj] 中 更 高 的 状态 。 

让 我 们 来 考虑 图 32-7 和 图 32-11 中 的 例子 ， 其 中 模式 为 P 二 ababaca。 假 设 自 动机 处 在 g==35 
的 状态 ; 这 些 在 x*[5j 中 的 状态 是 以 3，1 和 0 的 顺序 递减 的 。 如 果 下 一 个 扫描 到 的 字符 是 c， 那 
么 很 容易 看 到 自动 机 移动 到 状态 8C5，c 王 6， 在 KMP-MATCHER 和 FINITE-AUTOMATON- 
MATCHER 中 都 是 如 此 。 现 在 假设 下 一 个 扫描 到 的 字符 是 b， 那 么 自动 机 会 移动 到 8(5，b) 王 :4 
状态 。 在 KMP-MATCHER 中 每 次 退出 while 循环 都 运行 第 7 行 一 次 ， 并 且 到 达 状 态 q = a5 ]=3. 
由 于 PLg +1J=Pl4]=b, 第 8 行 检测 结果 是 真 ， 并 且 KMP-MATCHER 移动 到 新 的 状态 
9 十 1 二 4 二 6(5，b)。 最 后 ,假设 下 一 个 扫描 到 的 字符 是 a， 那 么 自动 机 就 自动 移动 到 状态 OG, 
a=1, FA 6 行 执行 前 三 次 检测 ， 结 果 是 真 。 第 一 次 我 们 发 现 PL6l=cH#a 并 且 KMP- 
MATCHER 移动 到 状态 xL5j==3( 处 在 x* [5j 中 的 第 一 个 状态 )， 第 二 次 我 们 发 现 PL4]==b 关 a 并 
且 移 动 到 状态 xL3j=1( 处 在 六 L5] 中 的 第 二 个 状态 ) ， 第 三 次 我 们 发 现 PL2]==b 关 a 并 且 移 动 到 
状态 xL1]==0( 处 在 x* [5j] 中 的 最 后 一 个 状态 )。 一 旦 到 达 状 态 g =0, while 循环 就 退出 。 现 在 ， 
在 第 8 行 发 现 PLg +1]=P[1]=a, 并 且 在 第 9 行 移动 自动 机 到 新 的 状态 g +1=1=66, a). 

因此 ， 我 们 了 解 到 KMP-MATCHER 通过 以 递减 的 顺序 在 状态 x* [cj 中 迭代 循环 ， 在 某 些 状 
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态 g 停止 ， 然 后 可 能 移动 到 状态 9 十 1。 尽 管 似 乎 在 模拟 计算 6(q，a) 时 有 很 多 工作 要 做 ,但 是 从 
渐 近 意义 上 看 ，KMP-MATCHER 并 不 比 FINITE-AUTOMATON-MATCHER 慢 。 
我 们 现在 准备 正式 证 明 Knuth-Morris-Pratt 算法 的 正确 性 。 根 据 定理 32.4， 在 每 次 运行 
FINITE-AUTOMATON-MATCHER 的 第 4 行 时 得 到 g 二 ol(T;)。 因 此 ， 它 足以 证 明 for 循环 在 
KMP-MATCHER 中 有 同样 的 特性 。 通 过 对 循环 迭代 次 数 进行 归纳 来 证 明 。 首 先 ， 当 它们 第 一 次 
进入 各 自 的 for 循环 时 ， 程 序 都 是 预 设 9 一 0。 考虑 在 KMP-MATCHER 中 对 i 迭代 的 for 循环 ， 
假设 g 是 该 循环 迭代 的 初始 状态 。 通 过 归纳 假设 ,我 们 可 以 得 到 9 = 二 ol(T,,)。 需 要 证 明 在 第 10 
行 也 有 g 二 oC(T;)。( 我 们 将 又 一 次 分 开 处 理 第 12 行 。) 
当 考虑 到 字符 TIt, P 的 最 长 前 级 也 是 了 T WHR, BA Py (如 果 Plo’ +1]= T), 
RAE Py 的 某 个 前 缀 (这 并 不 一 定 为 真 前 级 ， 并 且 可 能 为 空 )。 我 们 分 别 考虑 以 下 三 种 情况 : 
o(T,)=0, 6 T)=q' +1 MOT) Kq. 
© MRo(T)=0, BAP =e 是 P 的 唯一 前 级 ， 也 是 人 的 一 个 后 级 。 第 6 一 ?7 行 的 while 循 
IRA a" [gq JRA, REP, OTK gen’ (qd ] 都 成 立 ， 但 是 循环 绝 不 会 找到 一 
个 使 得 PLo 十 1= 了 TI 的 g。 当 9%=0 时 ， 循 环 结束 ， 并 且 第 9 行 自 然 就 不 执行 了 。 因 此 ， 
在 第 10 47 g=0, (4% g=o(T;). 

。 WRT =g +1, BA Pla +1J=TLil], 并 且 第 一 次 检测 第 6 行 的 while 循环 失败 。 
执行 第 9 行 ，g 增 加， 使 得 q=q' +1=o(T)). 

° 如 果 0<o(T)<q,， 那么 第 627 行 的 while 至 少 循环 迭代 一 次 ， 对 于 每 一 个 值 gE€ T La], 
以 递减 顺序 进行 检测 ， 直 到 g<q' 时 停止 。 因 此 ， 忆 是 Py 满足 PLg 十 1 二 T[ 避 的 最 长 前 
级 ,使 得 当 while 循环 终止 时 ，g 十 1 二 oCPy Ti. HF 二 o(T; 1)， 由 引 理 32. 3 可 以 
S tho(T;-, Tli) =o(P; TLi])。 因 此 有 

q+1 =(P; TiD = oT, TUD = of T) 

当 while 循环 终止 时 ， 在 第 9 行 的 g 增 加 之 后 ， 得 到 g=o(T)。 

在 KMP-MATCHER 中 ， 之 所 以 一 定 要 有 第 12 行 代 码 ， 是 为 了 避免 在 找 出 了 的 一 次 出 现 
后 ， 第 6 行 中 可 能 出 现 PLm 十 1] 的 情形 。( 由 练习 32. 4-8 的 提示 ， 即 对 任意 aed, dm, a) 二 
6Cn[mj]，a)， 或 者 等 价 地 ，6(Pa) 二 6(Piwa)， 可 以 推 得 在 下 一 次 执行 第 6 行 代 码 时 ，g= 
ol(T,_ 1) 依 然 保持 有 效 。) 关 于 Knuth-Morris-Pratt 算法 的 正确 性 证 明 ， 其 余 的 部 分 可 以 从 FINITE- 
AUTOMATON-MATCHER 的 正确 性 推 得 因为 现在 可 以 看 出 KMP-MATCHER 模拟 了 
FINITE-AUTOMATON-MATCHER 的 操作 过 程 。 


练习 | 

32. 4-1 计算 对 应 于 模式 ababbabbabbababbabb 的 前 缀 函数 n. 

32. 4-2 ”给 出 关于 q 的 函数 x* [qj 的 规模 的 上 界 。 举 例 说 明 所 给 出 的 上 界 是 严格 的 。 

32.4-3 ” 试 说 明 如 何 通过 检查 字符 串 PTO P 和 T 工 连 结 形成 的 长 度 为 m 十 n 的 字符 串 ) 的 x 函数 
来 确定 模式 P EXET FRAME. 

32.4-4 ”用 聚合 分 析 方法 证 明 KMP-MATCHER 的 运行 时 间 是 O(n). 

32.4-5 用 势 函数 证 明 KMP-MATCHER 的 运行 时 间 是 O(n). 

32. 4-6” 试 说 明 如 何 通过 以 下 方式 对 过 程 KMP-MATCHER 进行 改进 : 把 第 7 行 ( 不 是 第 12 行 
中 ) 出 现 的 fr 替换 为 T, 其 中 对 于 q=l, Z, ***, m—l, "递归 定义 如 下 ，: 





0 如 果 alg] = 0 
x Lq] = rtta 如 果 nla] #0 E PLrla]+1] = PLg 十 1] 
nla] wR nla] #0 E PLxLgqj 十 1] 关 Plg 十 1] 
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试 说 明 修 改 后 的 算法 为 什么 是 正确 的 ， 并 说 明 在 何 种 意义 上 ， 这 一 修改 是 对 原 算法 的 
改进 。 

32.4-7” 写 出 一 个 线性 时 间 的 算法 ， 以 确定 文本 全 是 否 是 另 一 个 字符 串 TT 的 循环 旋转 。 例 如 arc 
和 car 是 彼此 的 循环 旋转 。 

“32. 4-8 ”给 出 一 个 有 效 算法 ， 计 算出 相应 于 某 给 定 模 式 已 的 字符 串 匹 配 自动 机 的 转移 函数 8S。 所 
给 出 的 算法 的 运行 时 间 应 该 是 OC(m| |). GER: 证 明 如 果 g=m MR Plqtll-éa, W 
lq, a)=d(nlq], a).) 


思考 题 
32-1 《基于 重复 因子 的 字符 囊 匹 配 ) Ry 表示 字符 串 ? 与 其 自身 首尾 相 接 i 次 所 得 的 结果 。 例 
如 (ab) 一 ababab。 如 果 对 某 个 字符 串 yE 24* MRA r> Ary", WERE ce A 
有 重复 因子 r。 设 p(x) 表 示 使 得 z+ 具有 重复 因子 7 的 最 大 值 。 
a 写 出 一 有 效 算法 以 计算 出 pCPi) (i 二 1，2,，…，m)， 算法 的 输入 为 模式 PCL. m]. A 
1012 的 运行 时 间 是 多 少 ? 
b. 对 任何 模式 PL1. .mj, 设 p*(P) 定 义 为 maxp(P;)。 证 明 ， 如 果 从 长 度 为 m 的 所 有 二 进 
制 字 符 串 所 组 成 的 集合 中 随机 地 选择 模式 P， 则 p*(P) 的 期 望 值 是 O(1)。 
c 论证 下 列 字符 串 匹 配 算法 可 以 在 OCp*(P)n 十 m) 的 时 间 内 正确 地 找 出 模式 P 在 文本 
TLL .nj 中 的 所 有 出 现 位 置 。 


REPETITION-MATCHER(P, T) 
1 m=P. length 
2 n=T. length 

3 k=1+ 9" (P) 
4 q=0 

5 s=0 

6 while s<n—m 
7 

8 

9 


if Tis+q+1J==Pl¢qt1] 


9 一 9 十] 
if q 一 一 m 
10 print “Pattern occurs with shift” s 
11 if q == mor T[s 十 gq 十 1] 关 PLg 十 1] 
12 s=s-+max(1,| g/k |) 
13 q=0 


该 算法 是 Galil 和 Seiferas 提出 的 。 通 过 对 这 些 设 计 思 想 进行 大 量 扩充 ， 他 们 得 到 了 一 
个 线性 时 间 的 字符 串 匹 配 算法 ， 该 算法 除了 已 和 工 所 要 求 的 存储 空间 外 ， 仅 需 OCL) 
存储 空间 。 


本 章 注 记 
Aho, Hopcroft 和 Ullmanl 5 | 中 讨论 了 字符 串 匹 配 与 有 限 上 自动 机 理论 的 关系 。Knuth-Morris- 
Pratt 算法 L214] 是 由 Knuth, Pratt 和 Morris 独立 提出 的 ; 他 们 合作 公布 了 其 工作 成 果 。 
Reingold, Urban 和 Gries[ 294 | 给 出 了 Knuth-Morris-Pratt 算法 的 男 一 种 处 理 。Rabin-Karp 算法 
是 由 Karp 和 Rabin 201] 提 出 的 。Galil 和 Seiferas[L126j 给 出 了 一 个 有 趣 的 确定 性 线性 时 间 字 符 串 
匹配 算法 ， 除 存储 模式 和 文本 所 要 求 的 空间 外 只 需 用 OC(1) 的 空间 。 
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计算 几何 学 是 计算 机 科学 的 一 个 分 支 ， 专 门 研究 那些 用 来 解决 几何 问题 的 算法 。 在 现代 工 
程 与 数学 界 ， 计 算 几 何 学 在 不 同 的 领域 里 有 着 广泛 的 应 用 ， 包 括 计算 机 图 形 学 、 机 器 人 学 、 
VLSI 电路 设计 、 计 算 机 辅助 设计 、 分 子 建 模 、 冶 金 学 、 制 造 业 、 纺 织品 设计 学 、 林 学 和 统计 学 
等 。 计 算 几 何 学 问题 的 输入 通常 是 对 几何 对 象 集合 的 描述， 如 点 集 、 线 段 集 ， 或 者 一 个 多 边 形 中 
按 逆 时 针 顺 序 排列 的 顶点 集合 。 而 问题 的 输出 通常 是 回答 关于 这 些 几 何 对 象 的 查询 ， 例 如 ， 直 线 
是 否 相交 ; 或 者 是 否 为 一 个 新 的 几何 对 象 ， 例 如 ， 点 集 的 凸 包 问题 (convex hull， 即 最 小 封闭 凸 
多 边 形 ) 。 

本 章 将 研究 二 维 空 s 间 内 ( 即 平面 上 ) 的 奉 干 个 计算 几何 算法 。 我 们 用 点 集 { 户 ， 记 ， 记 ，…} 来 表示 
每 一 个 输入 对 象 ， 其 中 每 个 p; 二 (zx;，y;)，Zzi，yi;ER。 PRD, RTT dos pis dos oes 
p,1) 来 表示 一 个 个 顶点 的 多 边 形 P， 这 些 点 以 在 P 的 边界 上 出 现 的 顺序 来 排列 。 计 算 几 何 学 
也 可 以 应 用 到 三 维 ， 甚 至 更 高 维度 的 空间 上 ， 但 是 这 样 的 问题 及 其 解决 方案 很 难 可 视 化 。 不 过 ， 
即使 是 在 二 维 空间 上 ， 也 能 充分 展现 出 计算 几何 学 的 精妙 之 处 。 

33. 1 节 说 明 如 何 准确 而 有 效 地 回答 关于 线 眉 的 一 些 基本 问题 ， 一 条 线段 是 在 与 其 共享 一 个 
端点 的 另 一 条 线段 的 顺 时 针 方 向 ， 还 是 在 其 逆 时 针 方向 ? 当 沿 着 两 条 邻接 的 线段 前 进 时 遇 到 交 
点 该 往 哪 个 方向 转 ? 两 条 线段 是 否 相交 ? 33. 2 节 介绍 一 种 被 称 为 “扫除 ”(sweeping) 的 技术 。 利 用 
这 种 技术 设计 一 种 用 来 判断 ”条 线段 中 是 否 存在 相交 线段 的 算法 ， 其 运行 时 间 为 OCnlgn)。33.3 
节 给 出 两 种 “旋转 扫除 ”(rotational-sweep) 算 法 ， 用 来 计算 ”个 点 的 凸 包 。 这 两 种 算法 分 别 是 运行 
时 间 为 O(n lg n) hi Gramham 扫描 法 和 运行 时 间 为 Olah) BY Jarvis 步 进 法 ， 其 中 己 为 凸 包 上 的 顶 
点 数目 。 最 后 ，33. 4 节 介绍 一 种 运行 时 间 为 OCnlg 四 的 算法 ， 用 于 求 出 平面 上 ”个 点 中 距离 最 
近 的 点 对 。 


33.1 线段 的 性 质 

在 本 章 中 ， 有 好 几 个 计算 几何 学 的 算法 都 要 涉及 线段 的 性 质 。 两 个 不 同 点 p= yA 
$: = (Tz, %) 的 凸 组 合 是 满足 如 下 条 件 的 任意 点 ps = (235 yz) : 对 于 某 个 a(OXa<l), 有 
x, “axı +(1— a) 0 Fi w=antUd—-am». Ab, Wid ps 二 api 十 (1 一 a)p,。 直 观 上 来 看 ，p; 位 
于 经 过 p 和 ps 两 点 的 直线 上 且 处 于 fi. p 两 点 之 间或 恰 为 记 或 p;。 对 于 给 定 的 两 个 不 同 的 点 
Dp, RRP PE p 和 ps SASHES. RIII p 和 ps HRA PMA. BH, RES 
E pi M pr 2 的 顺序 ， 于 是 有 类 似 有 向 线段 PP 的 描述 方法 。 如 果 p 是 原点 (0，0)， 那 么 可 以 把 
Ai RED, po HE tal P2 o 

在 本 章 ， 我 们 需要 探究 下 列 问题 ， 

1. 对 于 给 定 的 两 个 有 向 线段 加 六 和 加 万 ， 相 对 于 它们 的 公共 端点 po Rik. DP ETTE p p 
的 顺 时 针 方 向 ? 

2. 对 于 给 定 的 两 个 线段 po 志和 PiP;， 如 果 先 沿 着 Po Pi 再 沿 着 piPz 前 进 ， 那 么 在 点 p 处 是 否 
要 向 左 转 ? | 

3. REED ps 和 psP4 是 否 相 交 ? 
对 于 给 定 的 点 没有 任何 限制 。 

对 上 述 的 每 一 个 问题 ， 我 们 都 能 在 O(1) 的 时 间 内 回答 ， 这 一 点 不 会 使 惊讶， 因为 每 个 问 是 
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的 输入 规模 都 是 OC(1) 。 些 外， 我们 所 采用 的 方法 只 用 到 了 加 法 、 减 法 、 乘 法 和 比较 运算 。 既 不 需 
要 除法 运算 也 不 需要 三 角 函 数 运算 ， 这 两 者 都 需要 高 昂 的 计算 代价 并 且 容 易 产 生 含 人 误差 等 问题 。 
例如 ， 要 判断 两 条 线段 是 否 相 交 ， 一 种 “直接 的 ”方法 是 计算 出 每 一 条 线段 的 直线 方程 ， 形 如 y= 
mz 十 blm ERE, 5 是 y 轴 截 距 )， 然 后 计算 出 两 条 线 的 交点 ， 并 检查 交点 是 否 同 时 位 于 两 条 线段 
上 。 这 种 “直接 的 ”方法 在 求 交 点 时 用 到 了 除法 运算 。 然 而 若 两 条 线段 几乎 平行 ， 这 种 方法 会 对 实 
1015] 际 计算 机 中 除法 运算 的 精度 非常 敏感 。 本 节 中 的 方法 避免 使 用 除法 ， 因 而 要 精确 得 多 。 

又 积 

又 积 的 计算 是 线段 方法 的 核心 。 考 虑 如 图 33-1(a) 所 示 的 向 量 p 和 ps,。 我 们 可 以 把 叉 积 解 
释 为 由 点 (0，0)， ps p M pi th= Ca 十 Xs， 十 % ) 所 构成 的 平行 四 边 形 的 有 回 面积 。 Fy 
种 与 之 等 价 但 更 有 效 的 叉 积 定义 方式 是 将 之 看 做 矩阵 行列 式 ” : 


Tı X2 
pi X pz = det = 2192 — L Yı 一 一 加 X Pi 
Jı X 


# bX p 值 为 正 ， 则 相对 于 原点 (0，0) 来 说 ， 位 于 p: 的 顺 时 针 方 向 ; 大 p Xp ATA, 
bi 位 于 ps 的 道 时 针 方向 。( 见 练习 33. 1-1。) 图 33-1(b) 展 示 了 向 量 p 的 顺 时 针 和 逆 时 针 区 域 。 叉 
积 为 0 时 出 现 边界 情况 ;在 这 种 情况 下 ， 两 个 向 量 是 共 线 的 ， 指 向 相同 方向 或 相反 方向 。 


HB aig t 
iY Nts marti ERT 
F 9 re BL ANAL gs 
it 


(0,0) | 





图 33-1 “《〈a) 平 行 四 边 形 的 有 辐 面 积 表示 向 量 各 和 加 的 又 积 。(b) 浅 色 阴 影 
区 域 包含 了 位 于 p 顺 时 针 方向 的 向 量 。 深 色 阴 影 区 域 包含 了 位 于 p 
逆 时 针 方 向 的 向 量 
为 了 确定 相对 于 公共 端点 p。， 有 向 线段 Pop 疡 是 在 顺 时 针 还 是 逆 时 针 方向 更 靠近 如 疡 ， 我 们 
将 po 作为 原点 从 而 使 问题 简化 。 用 Pi — Po ERA hE p'a = (xy ’ y 其 中 ’ Ly =, Lis 
1016 yi =y 一 %， 类 似 地 ， 可 以 定义 办 一 如。 然后， 计算 又 积 
(Pi — po) x Cpr — Po )= (zi ~~ Xo ) Cy, Yo y= (2X2 ~ Xo ) (y — y) 
如 果 叉 积 为 正 ， 那 么 为 雇 位 于 加 充 的 顺 时 针 方 向 ， 如 果 叉 积 为 负 ， 那 么 加 疡 位 于 加 站 的 逆 时 针 方 向 。 
确定 连续 线段 是 向 左 转 还 是 向 右 转 
我 们 讨论 的 下 一 个 问题 是 在 点 h 处 ， 两 条 连续 的 线段 六 如 和 广 刀 是 向 左 转 还 是 向 右 转 。 也 就 是 
说 ， 找 出 一 种 方法 以 确定 一 个 给 定 角 玫 p pips 的 转向 。 采 用 又 积 运算 来 解决 这 个 问题 可 以 避免 计算 角 
度 。 如 图 33-2 所 示 ， 我 们 只 需 简单 地 判断 一 下 有 向 线段 加 声 是 位 于 加 户 的 顺 时 针 还 是 逆 时 针 方 向 。 因 
此 ,我 们 计算 出 叉 积 (p, 一 Pp)X(p 一 Pp)。 若 结果 为 负 ， 则 加 坊 在 加 六 的 逆 时 针 方向 ， 在 p 处 左 转 。 
同 理 ， 若 结果 为 正 ， 则 在 顺 时 针 方 向 ， 在 p 处 右 转 。 而 又 积 为 0 则 意味 着 pp、 和 ps 三 者 共 线 。 
判定 两 条 线段 是 否 相 交 
为 判定 两 条 线段 是 否 相 交 ， 需 要 检查 每 条 线段 是 否 跨越 了 包含 另 一 条 线段 的 直线 。 如 果 点 


加” 事实 上 ， 又 积 是 一 个 三 维 的 概念 。 根 据 右手 法 则 ”， 它 是 一 个 与 加 和 pz 都 垂直 的 向 量 ， 其 量 值 为 |z1yz renl. 然 
而 ， 在 本 章 中 ， 将 又 积 简单 地 看 做 ci ye — aon 的 值 更 方便 一 些 。 
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A 位 于 某 条 直线 的 一 边 ， 而 点 pz 位 于 该 直线 的 另 一 边 ， 则 称 线段 广 妨 跨越 了 这 条 直线 。 知 加 和 
ps 恰好 落 在 直线 上 ， 则 出 现 边界 情况 。 两 条 线段 相交 当 且 仅 当 下 面 两 个 条 件 至 少 成 立 一 个 : 

1. 每 条 线段 都 跨越 了 包含 另 一 条 线段 的 直线 。 

2. 一 条 线段 的 某 个 端点 落 在 另 一 条 线段 上 。( 这 一 情况 来 自 于 边界 情况 。) 





Ca) Cb) 


图 33-2 利用 叉 积 来 确定 连续 线段 56P1 和 iPi 在 点 pi 处 的 转向 。 相 对 于 有 向 线段 poPi ， 
检查 有 向 线段 加 是 在 其 顺 时 针 方向 还 是 逆 时 针 方 向 。(a) 如 果 是 在 逆 时 针 方 
向 ， 则 说 明 在 点 p 处 向 左 转 。(b) 如 果 是 在 顺 时 针 方向 ， 则 说 明 向 右 转 1017 


下 面 的 过 程 实现 了 这 一 思想 。 如 果 线 段 万 及 和 万 所 相交 ，SEGMENTS-INTERSECT 返回 
TRUE; 否则 ， 返 回 FALSE。 它 调用 了 子 过 程 DIRECTION， 利 用 上 述 的 叉 积 方法 计算 出 线段 的 
相应 方向 ; 并 调用 子 过 程 ON-SEGMENT 来 判断 一 个 与 线段 共 线 的 点 是 否 位 于 这 条 线段 上 。 


SEGMENTS-INTERSECT( p; , p; ,ps, ps) 
1 d=DIRECTION(p;,p, ,pi) 
2 d,=DIRECTION( 3: pa» p2) 
3 d; = DIRECTION; »P2» Ps) 
4 d,=DIRECTION( A: ,pz, Pa) 
5 if ((di> 0 and d,< 0) or (d= 0 and d> 0))and 
((d3>> 0 and d< 0) or(d3;< 0 and d> 0)) 
6 retun TRUE 
7 elseif dı == 0 and ON-SEGMENT(p3 > fs» p1) 
8 return TRUE 
9 elseif d, == 0 and ON-SEGMENT( p; » p4: po) 
10 return TRUE 
11 elseif d,== 0 and ON-SEGMENT(p' , pz» p) 
12 return TRUE 
13 elseif d, == 0 and ON-SEGMENT (p; » po» p4) 
14 return TRUE 
15 else return FALSE 


DIRECTION( pi, Pj» pa) 

1 return(p,— p;) X (p;—p,) 

ON-SEGMENT( 9; p; 5 De) 

1 if min(z;,7;)<2,<max(z;,z;)and min(y; .y;)<y,<max(y, » y;) 

2 return TRUE 

3 else return FALSE 

算法 SEGMENTS-INTERSECT 按 如 下 流程 工作 。 第 1 一 4 行 计 算 每 个 端点 p; 关于 另 一 条 线段 
AFA Ie] di. 如 有 果 所 有 相对 方向 都 非 0， 则 可 以 很 容易 判断 出 pi ps 和 pp 是 否 相 交 ， 具 体 做 法 如 
下 。 若 有 向 线段 加 如 和 加 所 相对 于 思 所 的 方向 相反 ,那么 线段 太志 跨越 了 包含 加 的 直线 。 在 这 种 
情况 下 ，d Ad 的 符号 不 同 。 类 似 地 ， 若 d; Md 的 符号 不 同 ， 则 线段 pp 跨越 了 包含 Pps 的 直 
线 。 如 果 第 5 行 测试 结果 为 真 ， 那么 这 两 条 线段 互相 跨越 ，SEGMENTS-INTERSECT 返回 TRUE, 
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Pr 


图 33-3(a) 显 示 了 这 种 情况 。 和 否则， 线段 不 互相 跨越 对 方 所 在 的 直线 ， 但 边界 情况 也 可 能 出 现 。 如 
果 所 有 的 相对 方向 都 非 0， 那 么 不 会 出 现 边界 情况 。 第 7 一 13 行 中 所 有 关于 是 否 为 0 的 测试 都 会 失 
败 ， 在 第 15 47 SEGMENTS-INTERSECT 将 返回 FALSE。 图 33-3(b) 展 示 了 这 种 情况 。 

如 果 任 何 一 个 相对 方向 d 为 0， 那么 将 出 现 边界 情况 。 此 处 ， 我 们 知道 pi 与 另 一 条 线段 
是 共 线 的 。 它 直接 位 于 另 一 条 线段 上 ， 当 且 仅 当 它 位 于 线段 的 两 个 端点 之 间 。 过 程 ON- 
SEGMENT 返回 p 是 否 位 于 线段 p;p; 的 端点 之 间 ， 其 中 pp; 是 在 第 7~13 行 中 调用 ON- 
SEGMENT 过 程 时 的 另 一 条 线段 ;该 子 过 程 假设 p, 与 pp; 是 共 线 的 。 图 33-3(c) 和 (d) 显示 出 了 
共 线 点 的 情况 。 在 图 33-3(c) 中 ，ps 位 于 pip; 上， 因而 在 第 12 行 中 ，SEGMENTS-INTERSECT 
返回 TRUE。 在 图 33-3(d) 中 ， 没 有 哪个 端点 位 于 另 一 条 线段 上 ， 所 以 SEGMENTS 
INTERSECT 在 第 15 行 返回 FALSE。 

(p1-p3) x (pa-p3)<0 


ep Pa (pi-p3) x (pa-p3)<0 ae Ps 


Pi & 
(Ppi) x (ps-p1)<0 N Pep) x ps-p1)<0 
\ (P.—P3) X (pa-p3)<0 












pe p, 


(p3-p1) x (p.-p1)>0 — | (p,—-P,) x (p.-p1)>0 
P3 (D.-P3) X (ps-p3)>0 P; 
(a) (b) 
P4 Ps 
P; Pı 
P3 
P2 P: 


P3 
(c) (d) 

图 33-3 过程 SEGMENTS-INTERSECT 的 各 种 情况 。(a) 线 段 ps 和 ps ps 互相 跨越 对 方 所 在 的 直线 。 因 
为 ps 跨越 了 包含 才 如 的 直线 ， 所 以 叉 积 (ps 一 1)X Ce — pi) ACh — fi) X Ch — pr REBAR 
同 。 同 理 ， 因 为 pis 跨越 了 包含 Pp 的 直线 ， 所 以 叉 积 Cpi 一 ps)X (ps 一 ps) 和 (pz 一 ps)X (ps 一 
ps) 的 符号 不 同 。(b)psp 跨越 了 包含 加 ps 的 直线 ,但 ps 未 跨越 包含 pap 的 直线 ， 所 以 又 积 
(pi — ps) XCps 一 pa) 和 (ps 一 ps)X(Cps 一 ps) 的 符号 是 相同 的 。(C0) 点 ps 与 Pipz 共 线 且 位 于 pi 和 
bo ZE (OA ps 与 加 Pz 共 线 但 不 位 于 pi 和 po 之 间 。 线 段 不 相交 


又 积 的 其 他 应 用 

本 章 后 续 几 节 将 介绍 又 积 的 其 他 应 用 。 在 33. 3 节 中 ， 需 要 根据 相对 于 给 定 原点 的 极 角 大 小 对 
给 定 的 点 集 进行 排序 。 正 如 练习 33. 1-3 要 求 读者 证 明 的 那样 ， 可 以 用 又 积 进行 排序 过 程 中 的 比较 。 
在 33. 2 节 中 ， 将 运用 红 黑 树 来 维护 一 个 线段 集合 的 垂直 顺序 。 这 种 方法 并 不 是 显 式 地 记录 红 黑 树 
关键 字 值 ， 而 是 通过 计算 又 积 来 确定 与 同一 个 给 定 的 垂直 线 相交 的 两 条 线段 的 相对 位 置 。 


练习 

33. 1-1 WH: Bo Xp 值 为 正 ， 则 相对 于 原点 (0，0)， 向 量 pi 位 于 向 量 ps 的 顺 时 针 方向 ; 若 
MAAR, Wp. 在 ps 的 逆 时 针 方 向 。 

33.1-2 van Pelt 教授 提出 ， 在 过 程 ON-SEGMENT 的 第 1 行 中 ， 只 需 测试 z 坐标 值 。 试 说 明教 
授 错误 的 原因 。 

33. 1-3 一 个 点 pi 相对 于 原点 po 的 极 角 (polar angle) 也 就 是 向 量 p po 在 常规 极 坐 标 系 中 的 角 
度 。 例 如 ， 点 (3，5) 相 对 于 (2，4) 的 极 角 即 为 向 量 (1，1) 的 极 角 ， 即 45 度 或 x/4 WE. 
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点 (3，3) 相 对 于 (2，4) 的 极 角 即 为 向 量 (1， 一 1) 的 极 角 ， 即 315 度 或 7x/4 IWE. WA 
写 一 段 伪 代码 ， 根 据 相对 于 某 个 给 定 原点 po 的 极 角 ， 对 一 个 由 个 点 构成 的 序列 
( 力 ， 加 ，…， 包 进行 排序 。 所 给 过 程 的 运行 时 间 应 为 Olnlg n)， 并 要 求 用 叉 积 来 比较 
极 角 的 大 小 。 

33.1-4 ” 试 说 明 如 何在 OOP lg n) 的 时 间 内 确定 个 点 中 任意 三 点 是 否 共 线 。 

33.1-5 ”多边形 是 平面 上 由 一 系列 线段 构成 的 闭合 曲线 。 也 就 是 说 ， 它 是 由 一 系列 直线 段 构成 的 
首尾 相连 的 曲线 。 这 些 直 线段 称 为 多 边 形 的 边 。 一 个 连接 两 条 连续 边 的 顶点 称 为 多 边 形 
的 项 点。 如 果 多 边 形 是 简单 的 (一 般 情况 下 都 会 作 此 假设 )， 那 么 它 的 内 部 不 存在 边 交叉 
的 情况 。 在 平面 上 被 简单 多 边 形 包围 的 点 集 组 成 了 该 多 边 形 的 内 部 (interior) ， 恰 落 在 多 
边 形 上 的 点 组 成 了 多 边 形 的 边界 (boundary) ， 而 包围 该 多 边 形 的 点 构成 了 多 边 形 的 外 部 
(exterior) 。 对 于 一 个 简单 多 边 形 ， 如 果 给 定 任意 两 个 位 于 其 边界 或 内 部 的 点 ， 连 接 这 
两 个 点 的 线段 上 的 所 有 点 都 在 这 个 多 边 形 的 边界 或 内 部 ， 那 么 该 多 边 形 为 凸 多 边 形 。 一 
个 凸 多 边 形 的 顶点 不 能 被 表示 成 边界 或 内 部 任意 两 个 顶点 的 凸 组 合 。 

Amundsen 教授 提出 ， 对 于 由 个 点 组 成 的 序列 (po。，p1，…，p,-1);， 可 以 用 下 面 

的 方法 来 确定 它们 能 否 形成 一 个 凸 多 边 形 的 连续 顶点 。 若 集合 {pipini Pur: i=0, 
1，…，n 一 1}( 下 标 是 模 n 排列 的 ) 不 是 既 包 含 左 转 又 包含 右 转 ， 则 输出 “yes”， 否 则 ， 输 
出 “no”。 试 说 明 虽 然 这 种 方法 的 运行 时 间 是 线性 的 ， 但 它 不 总 是 得 出 正确 结果 。 对 教授 
的 方法 做 修改 ， 使 其 总 是 能 在 线性 时 间 内 得 出 正确 结果 。 

33. 1-6 已 知 一 个 点 加 二 (zw，%)， 它 的 右 水 平 射线 (right horizontal ray) 是 顶点 集合 {p= 二 (xz:，3): 
Zi 之 wo， yi 二 %}， 也 就 是 说 ， 它 是 po 正 右 方 的 点 的 集合 ， 包 括 如 本 身 。 试 说 明 如 何 通 
过 把 问题 转化 为 判断 两 条 线段 是 否 相 交 ， 从 而 在 O(1) 的 时 间 内 确定 一 个 给 定 的 从 po 出 
发 的 右 水 平 射线 是 否 和 线段 p1ps 相 交 。 

33.1-7 ”要 确定 点 po 是 否 在 简单 多 边 形 P( 不 一 定 是 凸 多 边 形 ) 内 部 ， 一 种 方法 是 检查 由 po 发 出 
的 全 部 射线 ， 看 它们 是 否 与 的 边界 相交 奇数 次 ,但 是 po 本 身 不 能 位 于 边界 上 。 试 说 
明 如 何在 @(m) 时 间 内 计算 出 p。 是 否 在 一 个 由 ”个 顶点 组 成 的 多 边 形 的 内 部 。( 提 示 : 参 
考 练习 33. 1-6。 确 保 当 射 线 与 多 边 形 边界 在 顶点 处 相交 ， 以 及 当 射 线 遮盖 住 多边 形 的 一 
条 边 时 ， 算 法 的 正确 性 。) 

33.1-8 ” 试 说 明 如 何在 9(z) 时 间 内 计算 一 个 具有 ?个 顶点 的 简单 多 边 形 (不 一 定 是 凸 多 边 形 ) 的 
面积 。( 与 多 边 形 有 关 的 定义 见 练习 33.15.) 


33.2 确定 任意 一 对 线段 是 否 相交 

本 节 给 出 一 种 算法 ， 用 来 确定 一 个 线段 集 之 中 的 任意 两 条 线段 是 否 相交 。 该 算法 使 用 一 
种 称 为 “扫除 ”的 技巧 ， 它 在 许多 计算 几何 算法 中 很 常见 。 此 外 ， 如 本 节 末尾 练习 所 示 ， 这 种 算法 
或 其 简单 变形 可 以 用 于 解决 其 他 计算 几何 问题 。 

该 算法 的 运行 时 间 为 OCnlg n)， 其 中 是 给 定 线段 的 数目 。 它 能 确定 是 否 存 在 相交 线段 ， 并 
不 输出 所 有 的 相交 点 。( 根 据 练习 33. 2-1， 在 一 个 n 条 线段 的 顶点 集中 要 找到 所 有 的 相交 点 ， 最 
坏 情况 下 ， 需 花费 Cn?) HORS TAL.) 

在 扫除 过 程 中 ， 一 条 假想 的 扫除 线 (sweep line) 穿 过 一 个 给 定 的 几何 物体 集合 ， 并 且 通 常 是 
从 左 到 右 扫描 。 考 虑 扫除 线 移动 的 空间 维度 ， 当 沿 z 维 移动 时 ， 则 将 其 看 做 时 间 维 ? 。 扫 除 提供 
了 一 种 将 几何 物体 排序 的 方法 ， 通 常 是 将 其 放 入 一 个 动态 数据 结构 ， 从 而 充分 利用 其 相互 关系 。 


名 ”是 将 扫除 线 移动 的 空间 维度 (在 这 种 情况 下 是 z 维度 ) 看 做 时 间 维 ， 而 并 非 真正 时 间 维 。 一 一 译 者 注 
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本 节 的 线段 相交 算法 按照 从 左 到 右 的 顺序 考虑 所 有 的 线段 端点 ， 每 遇 到 一 个 端点 就 检查 其 是 否 
是 相交 后 。 

为 了 描述 判定 条 线段 中 任意 两 条 是 否 相 交 的 算法 并 证 明 其 正确 性 ， 我 们 做 出 两 点 简化 问题 
的 假设 。 首先， 假设 没有 一 条 输入 线段 是 牌 直 的 。 其 次 ,假设 没有 三 条 输入 线段 相交 于 同一 点 ， 
练习 33. 2-8 和 练习 33. 2-9 要 求 读 者 说 明 这 一 算法 的 健壮 性 ， 即 当 上 述 假设 不 成 立时 ， 只 需 对 其 
稍 加 修改 ,算法 仍 能 正常 工作 。 当 然 ， 在 为 计算 几何 算法 进行 编程 实现 和 证 明 其 正确 性 时 ， 去 掉 
这 样 的 简化 性 假设 ， 对 边界 情况 进行 处 理 往往 是 最 困难 的 挑战 。 

线段 排序 : 

因为 之 前 假设 了 没有 垂直 的 线段 ， 所 以 任何 与 给 定 的 垂直 扫除 线 相交 的 线段 与 其 只 有 一 个 
交点 。 因 此 ， 我 们 可 以 根据 交点 的 y 坐标 来 对 与 垂直 扫除 线 相交 的 线段 进行 排序 。 

为 了 将 问题 叙述 得 更 准确 ， 考 虑 两 条 线段 9 和 s; 。 如 果 一 条 xz 坐标 值 为 x 的 扫除 线 与 二 者 
都 相交 ， 则 称 这 两 条 扫除 线 在 z 处 是 可 比较 的 。 如 果 s% 和 sz 在 工 处 是 可 比较 的 ， 并 且 在 x 处 ， 
s 与 扫除 线 的 交点 比 » 与 同一 条 扫除 线 的 交点 要 高 ， 或 者 两 者 在 扫除 线 上 相交 ， 则 称 在 zx 处 、 
位 于 52 LEa 记 作 S1 F282 0 例如 ， 在 图 33-4(a) 中 ’ 有 如 下 关系 : az, Cy az, b, bcs ax, c 
和 6 之,c。 线 段 4 与 其 他 任何 线段 都 不 可 比 。 

对 任意 给 定 的 zx， 关 系 “ 关 -是 定义 在 所 有 在 z 处 与 扫除 线 相交 的 线段 上 的 完全 前 序 关 系 ( 参 
见 B. 2 节 )。 也 就 是 说 ， 这 个 关系 是 可 传递 的 ， 并 且 如 果 线 段 gs 和 s 都 在 z 处 与 扫除 线 相 交 ， 那 

LA ss 或 5 之 ss1， 或 两 者 丝 成 立 ( 帮 5 和 ss 相交 于 扫除 线 )。( 关 系 之 也 是 自 反 的 ， 但 并 不 

是 对 称 或 反对 称 的 。) 但 是 ， 当 线段 加 入 和 离开 该 排序 时 ， 随 着 z 值 的 不 同 ,线段 的 完全 前 序 也 可 
能 不 同 。 当 线段 的 左 端点 遇 到 扫除 线 时 ， 就 进入 该 排序 ， 当 其 右 端点 遇 到 扫除 线 时 ， 就 离开 该 
排序 。 

当 扫 除 线 经 过 两 条 线段 的 交点 时 ， 会 发 生 什 么 情况 呢 ? 正如 图 33-4(b) 所 示 ， 它 们 在 完全 前 
序 中 的 位 置 被 颠倒 了 。 扫 除 线 和 也 分 别 位 于 线段 e 和 上 了 交点 的 左 侧 和 右 侧 ， 因 而 有 eH. f 和 
f 之 。e。 注 意 ， 因 为 我 们 假设 没有 三 条 直线 相交 于 一 点 ， 所 以 必 有 某 条 扫除 线 z 使 得 相交 线段 e 
和 上 j 了 在 完全 前 序 关系 关 * 中 是 连续 的 。 任 何 通过 图 33-4(b) 中 阴影 区 域 的 扫除 线 ( 如 z)， 都 有 e 和 
f 在 它 的 完全 前 序 排列 中 连续 。 


(a) (b) 


图 33-4 根据 各 垂直 扫除 线 确定 线段 的 顺序 。(a) 图 中 有 如 下 关系 成 立 : a 之 xc， 
a>b, bec, arc, bec. RB d 与 其 他 任何 线段 都 不 可 比 。(b) 当 线段 e 
和 了 相交 时 ， 它 们 的 次 序 颠 倒 了 : emf, 但 fee. MFR RRNA 
除 线 ( 如 z) 都 使 得 e。 和 上 在 其 完全 前 序 中 连续 


移动 扫除 线 

典型 的 扫除 算法 要 维护 两 组 数据 : 

1. 扫除 线 状 态 (sweep-line status) 给 出 了 与 扫除 线 相 交 的 物体 之 间 的 关系 。 

2. 事件 点 调度 (event-point schedule) 是 一 个 按 工 坐 标 从 左 到 右 排 列 的 事件 点 序列 。 随 着 扫除 
线 由 左 到 右 行进 ， 每 当 遇 到 事件 点 的 xz 坐标， 扫除 都 会 暂停 ， 处 理事 件 点 ， 然 后 重新 开始 扫除 。 
扫除 线 状 态 仅 在 事件 点 处 改变 。 
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对 于 某 些 算法 (如 练习 33. 2-7 要 求 读 者 给 出 的 算法 ) ， 事 件 点 调度 随 着 算法 的 执行 而 动态 确 
定 。 我 们 现在 所 讨论 的 算法 仅仅 是 基于 输入 数据 的 简单 性 质 ， 在 扫除 之 前 就 确定 了 所 有 的 事件 
点 。 特 别 地 ， 每 个 线段 端点 都 是 事件 点 。 我 们 通过 增加 z 坐标 值 ， 并 且 从 左 向 右 执行 ， 来 对 线段 
端点 排序 。( 如 果 两 个 或 多 个 端点 共享 垂 线 ， 即 它们 有 相同 的 2 坐标 值 ， 就 将 所 有 共 垂 线 的 左 端 
点 放 在 共 垂 线 的 右 端点 之 前 。 而 在 一 个 共 垂 线 的 左 端点 集中 ， 将 y 坐标 较 小 的 放 在 前 面 ， 并 对 共 
垂 线 的 右 端 点 集 也 做 同样 的 处 理 。) 当 遇 到 线段 的 左 端点 时 ， 就 将 此 线段 插入 扫除 线 状 态 中 ， 并 且 
当 遇 到 其 右 端点 时 ， 就 把 它 从 扫除 线 状 态 中 删 掉 。 每 当 两 条 线段 首次 在 完全 前 序 中 变 为 连续 时 ， 
就 检查 它们 是 否 相 交 。 

扫除 线 状 态 是 一 个 完全 前 序 关 系 工 ， 需 要 对 其 进行 以 下 操作 : 

。 INSERT(T, s): 把 线段 ;插入 本 中 。 

。 DELETE(T，s); ERE s AT 中 删除 掉 。 

。 ABOVE(T, s): REITs 上 方 紧 挨 着 : 的 线段 。 
。 BELOW(T，s): BAT Ps FARRE, HAR. 

在 完全 前 序 关 系 工 中 ， 可 能 出 现 线段 s; 和 s; 都 在 对 方 上 方 的 情况 ; 这 是 由 于 s M s 在 扫除 
线 处 相交 ， 其 中 ， 扫 除 线 的 完全 前 序 在 工 中 给 出 。 在 这 种 情况 下 ， 这 两 条 线段 在 工 中 的 关系 无 
法 确定 。 

如 果 输 入 中 有 n RAR, MAAR, TUE O(lgn) 的 时 间 内 执行 上 述 INSERT, 
DELETE、ABOVE、BELOW 操作 。 第 13 章 中 红 黑 树 的 操作 涉及 了 关键 字 的 比较 。 我 们 可 以 将 
关键 字 的 比较 替换 为 基于 又 积 的 比较 ， 用 以 确定 两 条 线段 的 相对 次 序 ( 见 练习 33. 2-2). 

求 线段 交点 的 伪 代 码 

下 面 的 算法 将 一 个 由 条 线段 组 成 的 集合 S 作为 输入 ， 如 果 S 中 有 任何 一 对 线段 相交 ， 则 返 
E TRUE; 和 否则， 返回 FALSE。 完 全 前 序 工 由 一 棵 红 黑 树 来 维护 。 

ANY-SEGMENTS-INTERSECT(S) 

1 T=Ø | 

2 sort the endpoints of the segments in S from left to right, 
breaking ties by putting left endpoints before right endpoints 
and breaking further ties by putting points with lower 
y-coordinates first 


3 for each point p in the sorted list of endpoints 


4 if p is the left endpoint of a segment s 

5 INSERT(T, 5) 

6 if (ABOVECT,s) exists and intersects s) 

or (BELOW(T,s) exists and intersects s) 

7 return TRUE 

8 if p is the right endpoint of a segment s 

9 if both ABOVE(T,s) and BELOWCT,s) exist 

_ and ABOVE(T,s) intersects BELOW(T;, s) 

10 return TRUE 
11 DELETE(T,s) 


12 return FALSE 


图 33-5 说 明了 这 一 算法 的 执行 过 程 。 第 1 行 初始 化 完全 前 序 为 空 。 第 2 行 通过 对 2n 个 线段 
端点 由 左 到 右 排序 ， 并 按照 描述 的 方法 处 理 多 个 点 = 坐标 值 相同 的 情况 ， 从 而 确定 事件 点 调度 。 
执行 第 2 行 的 一 种 方式 是 ， 在 (tz，e，y) 上 对 端点 按照 字典 序 排序 ， 其 中 x 和 y 为 通常 的 坐标 ， 
e 一 0 表示 左 端 点 ，e 一 1 表示 右 端点 。 
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b c a c d 
c c 
b b 


时 间 


图 33-5 ANY-SEGMENTS-INTERSECT 的 执行 过 程 。 每 条 虚线 都 对 应 一 个 事 
件 点 处 的 扫除 线 。 除 了 最 右边 的 扫除 线 之 外 ， 其 余 每 条 扫除 线 下 线段 
名 的 顺序 与 用 于 处 理 相 应 事件 点 的 for 循环 结束 时 的 完全 前 序 下 相对 
应 。 处 理 线段 < 的 右 端 点 时 用 到 最 右边 的 扫除 线 ; 由 于 线段 4 和 2 在 
c 旁边 并 且 与 之 相交 ， 那 么 该 过 程 返回 TRUE 


在 第 3 一 11 行 的 for 循环 中 ， 每 一 次 迭代 都 处 理 一 个 事件 点 p。 如 果 p ERB s HAMA - 
那么 第 5 行将 s 添加 到 完全 前 序 中 ， 如 果 * 与 由 经 过 zp 的 扫除 线 所 定义 的 完全 前 序 中 的 与 之 连续 
的 两 条 线段 中 的 任 一 条 相交 ， 则 第 6 一 7 FRE TRUE。( 如 果 p 位 于 另 一 条 线段 ;上 ， 则 出 现 边 
界 情况 ， 这 时 ， 仅 需要 将 ; As 连续 地 放 到 THOR p 是 线段 ;的 右 端点 ， 则 把 s 从 完全 前 序 
中 删除 。 首 先 ， 考 虑 经 过 p 的 扫除 线 所 定义 的 完全 前 序 ， 如 果 s 旁边 的 线段 有 相交 ， 那 么 第 9 一 
10 行 返回 TRUE。 如 果 这 些 线段 不 相交 ， 第 11 行 就 将 s 从 完全 前 序 中 删除 。 只 要 第 10 行 的 
return 语句 没有 阻碍 第 11 行 的 执行 ， 当 ; 被 删除 后 ，s 旁边 的 线段 就 会 在 完全 前 序 中 变 为 连续 ， 
接 下 来 对 正确 性 进行 讨论 ， 这 将 清晰 地 说 明 为 什么 这 些 语句 充分 检查 了 s 旁边 的 每 一 条 线段 。 最 
后 ， 如 果 在 处 理 完全 部 2n 个 事件 点 后 没 发 现 线段 相交 ， 第 12 行 就 返回 FALSE, 

正确 性 

为 了 说 明 ANY-SEGMENTS-INTERSECT 是 正确 的 ， 我们 将 要 证 明 ANY-SEGMENTS- 
INTERSECT(S) 返 回 TRUE 当 且 仅 当 S 中 的 线段 有 一 个 交点 。 

很 容易 看 出 ， 仅 当 ANY-SEGMENTS-INTERSECT 发 现 两 个 输入 线段 之 间 的 一 个 交点 时 ， 
它 才 返回 TRUE( 在 第 7 行 和 第 10 行 中 )。 于 是 ， 如 果 它 返回 TRUE， 就 说 明 存 在 一 个 交点 。 

另外 ， 还 需要 证 明 以 上 结论 的 逆 命 题 ， 如 果 存 在 一 个 交点 ，ANY-SEGMENTS-INTERSECT 
就 会 返回 TRUE。 不 妨 假设 至 少 有 一 个 交点 。 设 p 为 最 左边 的 交点 ， 选 择 y 坐标 最 小 的 那个 交 
点 ， 同 时 假设 a 和 2 为 相交 于 之 的 两 条 线段 。 因 为 在 p 的 左边 没有 线段 相交 ， 因 此 对 于 p 左边 的 
点 来 说 ， 由 工 给 出 的 顺序 是 正确 的 。 因 为 没有 三 条 线段 相交 于 同一 点 ， 所 以 a 和 2 EARR z 处 
成 为 完全 前 序 中 的 连续 线段 9 。 此 外 ，z 位 于 zp 的 左边 ， 或 者 穿 过 p. EARE z 上 ， 存 在 一 个 
线段 端点 gq， 它 是 使 a Mb 在 完全 前 序 中 成 为 连续 线段 的 事件 点 。 如 果 p 在 扫除 线 z 上 ， 则 g=p， 
如 果 p 不 在 扫除 线 z 上 ， 那 么 g 位 于 p 的 左边 。 不 论 是 这 两 种 情况 中 的 哪 一 种 ， 在 遇 到 SH 
给 出 的 顺序 都 是 正确 的 。( 正 是 在 这 里 ， 算 法 按 字典 序 对 事件 点 进行 了 排序 。 因 为 p 是 所 有 最 
左边 的 交点 中 最 低 的 ， 故 即使 p 位 于 扫除 线 z 上 ， 且 存在 另 一 个 交点 p 也 位 于 z 上， 事件 点 a= 


加 ”如 果 人 允许 三 条 线段 相交 在 同一 点 ， 那 么 可 能 会 有 一 条 干扰 线段 c 在 点 p 处 与 a 和 6 都 相交 。 也 就 是 说 ， 对 所 有 位 
于 p 左边 满足 a 之 wc 的 扫除 线 记 ， 都 可 能 有 auc 和 c 关 wb。 练习 33. 2-8 要 求 读者 证 明 ， 即 使 三 条 线段 确实 相 
交 于 同一 点 ，ANY-SEGMENTS-INTERSECT 也 是 正确 的 。 
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力也 能 在 另 一 个 交点 p 对 完全 前 序 下 产生 干扰 之 前 得 到 处 理 。 此 外 ， 即 使 p 是 某 一 线段 (例如 a) 
的 左 端点 ， 同 时 也 可 以 是 另 一 线段 (例如 纪 的 右 端点 ， 因 为 左 端点 事件 发 生 在 右 端点 事件 之 前 ， 
故 当 首次 遇 到 线段 a 之 前 ， 线 段 2 已 经 在 完全 前 序 工 中 了 。) 事 件 点 9 或 者 被 ANY-SEGMENTS- 
INTERSECT 处 理 ， 或 者 不 被 处 理 。 

如 果 q 由 ANY-SEGMENTS-INTERSECT 进行 了 处 理 ， 只 可 能 产生 两 种 动作 : 

1. 只 要 a 或 6b 被 插入 本 中 ， 则 另 一 线段 在 完全 前 序 中 位 于 它 的 上 面 或 下 面 。 第 4 一 ?7 行 可 以 

2. 线段 a 和 2 都 已 经 在 荆 中 ， 并 且 在 完全 前 序 中 ， 位 于 它们 之 间 的 一 条 线段 被 删除 ， 使 得 a 
和 4 成为 连续 线段 。 第 8 一 11 行 可 以 发 现 这 种 情况 。 

无 论 哪 种 情况 ， 都 能 发 现 交点 p, H ANY-SEGMENTS-INTERSECT 返回 TRUE. 

如 果 事 件 点 q 没有 被 ANY-SEGMENTS-INTERSECT 处 理 ， 该 过 程 必定 在 处 理 完 所 有 的 事 
件 点 之 前 就 已 经 返回 。 只 有 当 ANY-SEGMENTS-INTERSECT 已 经 找到 了 一 个 交点 并 返回 
TRUE 时 ， 这 种 情况 才 会 发 生 。 

于 是 ， 如 果 存 在 着 一 个 交点 ，ANY-SEGMENTS-INTERSECT 就 返回 TRUE。 而 我 们 之 前 
已 经 看 到 ， 如 果 ANY-SEGMENTS-INTERSECT 返回 TRUE， 则 必定 存在 一 个 交点 。 因 此 ， 
ANY-SEGMENTS-INTERSECT 始终 能 返回 正确 的 结果 。 

运行 时 间 

WERS S 中 有 nn 条 线段 ， 则 ANY-SEGMENTS-INTERSECT 的 运行 时 间 为 O(nlgn)。 第 1 
行 的 运行 时 间 为 O(1)。 如 果 使 用 归并 排序 或 堆 排 序 ， 第 2 行 所 需 的 时 间 为 O(nlg n)。 第 3 一 11 
行 的 for 循环 在 每 个 事件 点 处 至 多 迭代 一 次 ， 由 于 总 共有 2n 个 事件 点 ， 所 以 循环 至 多 迭代 2n 次 。 
每 次 迭代 耗 时 O(lgn)， 这 是 因为 每 个 红 黑 树 操 作 所 需 的 时 间 为 O(lgz) 。 而 运用 33. 1 节 中 的 方 
法 ， 可 以 使 每 次 相交 测试 耗费 时 间 O(1) 。 因 此 ， 总 的 运行 时 间 为 O(n lg n). 


练习 


33. 2-1 试 说 明 在 n 条 线段 的 集合 中 ， 可 能 有 On’ ) 个 交点 。 

33.2-2 已 知 两 条 在 zz 处 可 比 的 线段 a 和 2， 试 说 明 如 何在 O(1) 时 间 内 确定 o>.) Mba 中 哪 
一 个 成 立 。 假 定 这 两 条 线段 都 不 是 垂直 的 。( 提 示 : 如 果 a 和 2 不 相交 ， 利 用 叉 积 即 可 。 
如 果 a 和 6 相交 (当然 也 可 以 用 又 积 来 确定 )， 仍 然 可 以 只 利用 加 、 减 、 乘 这 几 种 运算 ， 
KER. 4R, EMS. 关系 时 ， 如 果 a 和 b&b 相交 ， 就 可 以 停 下 来 并 声明 已 找 
到 了 一 个 交点 。) 

33. 2-3 Mason 教授 建议 修改 过 程 ANY-SEGMENTS-INTERSECT， 使 其 不 是 找 出 一 个 交点 后 返 
回 ， 而 是 输出 相交 的 线段 ， 再 继续 进行 for 循环 的 下 一 次 迭代 。 他 把 这 样 得 到 的 过 程 称 
为 PRINT-INTERSECTING-SEGMENTS， 并 声称 该 过 程 能 够 按照 线段 在 集合 中 出 现 的 
次 序 ， 从 左 到 右 输出 所 有 的 交点 。Dixon 教授 不 同意 Mason 教授 ， 称 其 做 法 有 误 。 哪 位 
教授 的 说 法 是 正确 的 ? PRINT-INTERSECTING-SEGMENTS 所 找 出 的 第 一 个 相交 点 总 
是 最 左边 的 交点 吗 ? 它 总 能 找 出 所 有 的 相交 点 吗 ? 

33.2-4 写 出 一 个 运行 时 间 为 Oln lg n) 的 算法 ， 以 确定 由 个 顶点 组 成 的 多 边 形 是 否 是 简单 多 
HÉ. 

33.25 SHANIA Ole DKE, DARE SER n MAIMI AAEE. 

33. 2-6 一 个 圆 面 是 由 一 个 圆 加 上 其 内 部 所 组 成 ， 用 圆心 和 半径 表示 。 如 果 两 个 圆 面 有 公共 点 ， 
则 称 这 两 个 圆 面 相交 。 写 出 一 个 运行 时 间 为 O(nlg n) 的 算法 ， 以 确定 n 个 圆 面 中 是 否 有 
任何 两 个 圆 面相 交 。 
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33.2-7 BA n RRE RRA k 个 相交 点 ， 试 说 明 如 何在 O(C(C2z 十 &)1lg DONA eB Rt 
1028 交点 。 
33.2-8 论证 即使 有 三 条 或 更 多 的 线段 相交 于 同一 点 ， 过 程 ANY-SEGMENTS-INTERSECT 也 
能 正确 执行 。 
33. 2-9 证明 : 在 有 垂直 线段 的 情况 下 ， 如 果 将 某 一 垂直 线段 的 底部 端点 当做 是 左 端点 ， 其 顶部 
端点 当做 右 端点 ， 则 过 程 ANY-SEGMENTS-INTERSECT 也 能 正确 执行 。 如 果 人 允许 有 
垂直 线段 ， 对 练习 33. 2-2 的 回答 应 如 何 修改 ? 


33.3 寻找 凸 包 


点 集 Q 的 凸 包 是 一 个 最 小 的 西 多 边 形 忆 ， 满 足 Q 中 的 每 个 点 都 在 P 的 边界 上 或 者 在 P 的 内 
部 。( 同 多边 形 的 准确 定义 见 练习 33. 1-5。) 我 们 用 CH(Q) 来 表示 Q 的 凸 包 。 我们 假定 Q 中 所 有 
的 点 是 独立 的 ， 并 且 Q 至 少 包含 3 个 不 共 线 的 点 。 直 观 地 讲 ， 可 以 把 Q 中 的 每 个 点 都 想象 成 是 
露 在 一 块 板 外 的 铁 钉 ， 那 么 凸 包 就 是 包围 了 所 有 这 些 铁 钉 的 一 条 拉 紧 了 的 橡皮 绳 所 构成 的 形状 。 
图 33-6 示 出 了 一 个 点 集 及 其 凸 包 。 
本 节 将 介绍 两 种 算法 来 计算 包含 n TARAR 
的 凸 包 。 两 种 算法 都 按 闭 时 针 方 回 的 顺序 输出 凸 包 
的 各 个 顶点 。 第 一 种 算法 称 为 Graham 扫描 法 
(Graham’s scan), ， 运 行 时 间 为 O(nlg n)。 第 二 种 算 
法 称 为 Jarvis 步 进 法 (Jarvis march) ， 其 运行 时 间 为 
OCnh)， 其 中 为 凸 包 中 的 顶点 数 。 从 图 33-6 中 可 
以 看 出 ，CH(Q) 的 每 一 个 顶点 都 是 Q@ 中 的 点 。 两 种 
算法 都 利用 这 一 性 质 来 决定 应 该 以 Q 中 的 哪些 点 作 
为 凸 包 的 顶点 ， 以 及 应 该 去 掉 Q 中 的 哪些 点 。 图 33-6 ”点 集 Q={po» Pir ss Pit 
事实 上 ， 有 好 几 种 方法 都 能 在 OC lg n) iti A 其 用 灰色 表示 的 凸 包 CH(Q) 
HAGE. Graham 扫描 法 和 Jarvis 步 进 法 都 运用 了 一 种 称 为 “旋转 扫除 ”的 技术 ， 根 据 每 个 顶点 
对 一 个 参照 顶点 的 极 角 的 大 小 ， 依 次 进行 处 理 。 其 他 方法 有 以 下 几 种 : 
。 在 增 量 法 (incremental method) 中 ， 首 先 对 点 从 左 到 右 进行 排序 ， 得 到 一 个 序列 (pl br 
Dats 在 第 1B » 根据 左 起 第 i 个 点 ， 对 最 左边 2 一 ] 个 点 的 凸 包 CH({ p, 9 Pos *s Pim ) 进行 
更 新 ， 从 而 形成 CH(C{ 户 fs > p)). AY 33. 3-6 要 求 读者 说 明 如 何 实现 这 种 方法 ， 使 其 
所 需 的 全 部 时 间 为 O(nlg n). 
。 在 分 治 法 中 ， 在 6(n) 时 间 内 ,将 由 个 点 组 成 的 集合 划分 为 两 个 子 集 ， 分 别 包 含 最 左边 
的 [n/2j 和 最 右边 的 Ln/2j 个 点 ， 并 对 子 集 的 凸 包 进行 递归 计算 ,然后 利用 一 种 巧妙 的 办 
法 ， 在 O(n) 时 间 内 对 计算 出 来 的 凸 包 进 行 组 合 。 这 种 方法 的 运行 时 间 用 大 家 熟悉 的 递归 
式 T(n) 二 2T(n/2) 十 OCn) 来 表示 ， 因 此 ， 分 治 法 的 运行 时 间 为 OCn lg n)。 
。 前 枝 - 搜 索 方法 (prune-and-search method) 类 似 于 9.3 节 中 讨论 的 最 坏 情 况 下 线性 时 间 的 
中 值 算法 。 它 通过 反复 丢弃 剩余 氮 中 国定 数量 的 点 ， 直 至 仅 剩 下 号 包 的 上 链 ， 从 而 找到 
凸 包 的 上 部 (或 称 " 上 链 ” 。 然 后 ， 再 执行 同样 的 操作 来 找 出 下 链 。 从 渐 近 意义 上 来 看 ， 
这 种 方法 速度 最 快 ， 如 果 凸 包 包 含 h 个 顶点 ， 那 么 该 方法 的 运行 时 间 仪 为 OCzlg 疡 ) 。 
计算 一 个 点 集 的 凸 包 本 身 就 是 一 个 有 趣 的 问题 。 此 外 ， 其 他 一 些 关 于 计算 几何 学 问题 的 算 
法 都 始 于 对 凸 包 的 计算 。 例 如 ， 考 虑 二 维 的 最 远 点 对 问题 已 知 平面 上 包含 ”个 点 的 集合 ， 和 希望 
找 出 它们 中 相距 最 远 的 两 个 点 。 正 如 练习 33. 3-3 要 求 读 者 证 明 的 那样 ， 这 两 个 点 必定 是 凸 包 的 
顶点 。 尽 管 在 此 不 作证 明 ， 但 我 们 能 在 OCD 的 时 间 内 找 出 2 个 顶点 的 凸 多 边 形 中 的 最 远 顶点 对 。 
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因此 ， 通 过 在 OCzlg 岂 时 间 内 计算 出 2 个 输入 点 的 凸 包 ， 然 后 再 找 出 得 到 的 凸 多 边 形 中 的 最 远 顶 
AM, MAW O@lgn MHRA, RHR np} RAMEE PR RIAN. 

Graham 扫描 法 

Graham 扫描 法 通过 维持 一 个 关于 候选 点 的 栈 S 来 解决 凸 包 问 题 。 输 入 集合 Q 中 的 每 个 点 都 
被 压 人 栈 一 次 ， 非 CH(CQ) 中 顶点 的 点 最 终 被 弹出 栈 。 当 算法 终止 时 ， 栈 S 中 仪 包含 CH(Q) 中 的 
顶点 ， 以 逆 时 针 的 顺序 出 现在 边界 上 。 

过 程 GRAHAM-SCAN 的 输入 为 点 集 Q@， 其 中 |1Q| 宇 3。 在 无 需 改 变 栈 SHAT. AAR 
数 TOPS) A KA NEXT-T0-TOPCS) 分 别 返 回 处 于 栈 顶 的 点 和 处 于 栈 顶 部 下 面 的 那个 点 。 稍 后 
将 证 明 : 过 程 GRAHAM-SCAN 返回 的 栈 S 从 底部 到 顶部 ， 依 次 是 按 逆 时 针 方 向 排列 的 CH(CQ) 
中 的 顶点 。 


GRAHAM-SCAN(Q) 
1 let po be the point in Q with the minimum y-coordinate, 
or the leftmost such point in case of a tie 
2 let< pis p2.°*» Pm» be the remaining points in Q, 
sorted by polar angle in counterclockwise order around po 
(if more than one point has the same angle, remove all but 
the one that is farthest from po) 
3 if m<2_ 
4 return“ convex hull is empty” 
5 else let S be an empty stack 
6 PUSH (fy » S) 
7 PUSH(Cz S) 
8 PUSH( p;, ,S) 
9 for: = 3 tom 
10 while the angle formed by points NEXT-TO-TOP(S) , TOP(S), 
| and p; makes a nonleft turn 
11 POP(S) 
12 PUSH (?;,S) 
13 return S 


图 33-7 说 明了 GRAHAM-SCAN 的 执行 过 程 。 第 1 行 选 取 p 作为 y 坐标 最 小 的 点 ， 如 果 有 
多 个 这 样 的 点 ， 则 选取 最 左边 的 点 作为 如 。 由 于 Q 中 没有 其 他 点 比 更 低 ， 并 且 与 其 有 相同 y 
坐标 的 点 都 在 它 的 右边 ， 所 以 po 一 定 是 CH(Q) 的 一 个 顶点 。 第 2 行 根据 相对 于 po 的 极 角 对 Q 
中 剩余 的 点 进行 排序 ， 所 用 的 方法 (比较 又 积 ) 与 练习 33. 1-3 中 相同 。 如 果 有 两 个 或 更 多 的 点 对 
po 的 极 角 相同 ， 那 么 除了 与 p 距离 最 远 的 点 以 外 ， 其 余 各 点 都 是 po 与 该 最 远 点 的 凸 组 合 。 因 
此 ， 我 们 可 以 完全 不 考虑 这 些 点 。 设 m 表示 除 po 以 外 剩余 的 点 的 数目 。Q 中 每 个 点 关于 po WR 
角 ( 用 弧度 表示 ) 属 于 半 开 区 间 [L0，xw)。 由 于 这 些 点 是 按 其 极 角 排序 ， 因 此 可 以 把 这 些 点 按 相 对 于 
po 的 逆 时 针 方 向 进行 排序 。 我 们 将 这 一 有 序 点 表示 为 (p1，ps，…，p。)。 注 意 ， 点 pi 和 p。 都 
是 CH(Q) 中 的 顶点 (参见 练习 33. 3-1)。 图 33-7(a) 说 明了 图 33-6 中 的 点 是 按 相对 于 po 的 极 角 进 
行 递增 排序 得 到 的 序列 。 

过 程 的 剩余 部 分 运用 了 栈 S。 第 5 一 8 行 对 栈 进行 初始 化 ， 使 其 从 底部 到 顶部 依次 包含 前 三 
个 点 Pos P Al pe 。 图 33-7(a) 说 明了 初始 的 栈 S。 第 9 一 12 行 的 for JIPATIE YI pss bas tto Dm? 
中 的 每 一 个 点 进行 一 次 迭代 。 算 法 的 意图 是 在 对 点 p; 进行 处 理 后 ， 在 栈 S 中 ， 由 底部 到 顶部 依 
次 包含 CHC((po，P1，…，pi;)) 中 按 道 时 针 方 向 排列 的 各 个 顶点 。 第 10 一 11 行 的 while 循环 把 所 
发 现 的 不 是 凸 包 中 的 顶点 的 点 从 栈 中 移 去 。 当 沿 道 时 针 方 向 遍历 凸 包 时 ， 我 们 应 该 在 每 个 顶点 
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处 向 左 转 。 因 此 ， 每 当 while 循环 发 现在 一 个 顶点 处 没有 向 左 转 时 ， 就 把 该 顶点 从 栈 中 弹出 。 
( 仅 检 查 不 向 左 转 的 情况 ， 而 不 是 对 向 右 转 进行 检查 ， 这 样 的 测试 就 排除 了 在 所 形成 吓 包 的 某 个 
顶 后 处 为 直角 的 可 能 性 。 一 个 凸 多 边 形 的 每 个 顶点 不 能 是 该 多 边 形 中 其 他 顶点 的 凸 组合， 所 以 
我 们 不 希望 有 直角 .。) 当 算法 向 点 p; 推进 并 已 经 弹出 了 所 有 非 左 转 的 顶点 后 ， 就 把 p 压 人 栈 中 。 
图 33-7(b) 一 (k&) 给 出 了 for 循环 每 次 迭代 后 ， 栈 S 的 状态 。 最 后 ，GRAHAM-SCAN 在 第 13 行 返 


回 栈 S。 相 应 的 凸 包 如 图 33-7(1) 所 示 。 


下 面 的 定理 形式 化 证 明了 GRAHAM-SCAN 算法 的 正确 性 。 


定理 33. 1(Graham 扫描 算法 的 正确 性 ) 


do 2 fz —4 | Q| >3 的 点 集 Q 上 运行 GRAHAM- 


SCAN， 则 在 过 程 终止 时 ， 栈 S 从 底部 到 顶部 包含 了 按 送 时 针 方向 排列 在 CHO 中 的 各 个 顶点 。 


Poe 





pn è 
Pio © 
Pii Po Pi Ps 
. ”Ps 站 
fa Ps 
aa ae 
Pi @ f 
: eect 
Po (c) 
Pio © 
Ph @ 





Po . (e) 





Pio ® 








Pi @ 
Pio ® 
Pu Ps Pr ‘< 
P © Ps 
P2 f 
ll Pi 
ree 
Po (d) 
Pio © 
Pii 
@ 
P © 
Po (f) 


图 33-7 GRAHAM-SCAN 在 图 33-6 所 示 的 集合 Q 上 的 执行 过 程 。 在 每 一 步 中 ， 栈 S 中 包含 的 当前 凸 包 
以 灰色 示 出 。(a) 点 序列 (pi1，p2s，…，p1is)， 按 相对 于 点 po 的 极 角 大 小 的 递增 顺序 编号 ， 初 始 
的 栈 SHALE pos pi 和 ps。(b) 一 (Kk) 是 第 9~12 行 中 for 循环 每 一 次 迭代 后 栈 S 的 情况 。 虚 线 
表示 非 左 转 的 情况 ， 导 致 点 从 栈 中 被 弹出 。 例 如 ， 在 (hb) 中 ， 角 一 加 加 加 处 的 右 转 使 得 ps 被 弹 

OW, Ef Zop bo 处 的 右 转 使 得 py 被 弹出 。(D 过 程 返回 的 凸 包 与 图 33-6 中 的 凸 包 匹配 
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图 33-7 (#8) 


在 第 2r., RMA RS p’, pz» 
TÆ Q= { po »' Pi» 


eee, Pin > 对 i=2, Sy 3 My 定义 一 个 点 
…， phe Q-Q 中 的 点 是 那些 被 删除 的 点 ， 因 为 它们 与 Q, 中 的 某 个 点 相对 


于 po 的 极 角 相同 ; 这 些 点 不 在 CH(Q) 中， 因而 CH(Q,)=CH(Q). FE, 我们 只 要 证 明 当 
GRAHAM-SCAN 终止 时 ， 栈 S 中 包含 了 CHCQ) 中 的 顶点 ， 且 这 些 顶 点 是 按照 道 时 针 顺 序 从 底 
部 至 顶部 在 栈 中 排列 的 。 注 意 ， 正 如 pos pi 和 p。 是 CH(Q) 中 的 顶点 一 样 ，p。、p1 和 p; 也 是 
CH(Q) 中 的 顶点 。 

证 明 中 要 用 到 如 下 的 循环 不 变 式 ，: 
在 第 9 一 12 行 中 for 循环 的 每 一 居 迭 代 开 始 时 ， 栈 S 从 底部 至 顶部 恰 包 含 了 CHQ) H ik 
逆 时 针 顺 序 排 列 的 各 个 顶点 。 
初始 化 ， 在 首次 执行 第 9 行 时 ， 这 个 循环 不 变 式 得 到 保持 ， 因 为 此 时 栈 S 中 恰 包 含 了 QQ- 
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中 的 顶点 ， 这 三 个 顶点 的 集合 形成 了 它们 各 目的 凸 包 。 此 外 ， 它 们 按 逆 时 针 排 序 ， 从 底 至 顶 地 出 
现在 栈 SP. 

保持 : 进行 for 循环 的 一 层 迭 代 后 ， 栈 S 顶 上 的 点 为 p;-!， 它 是 在 上 一 次 迭代 最 后 (或 在 第 
一 次 迭代 开始 之 前 ， 当 i=3 时 ) 被 压 入 栈 的 。 设 第 10 一 11 行 中 while 循环 执行 后 、 第 12 行将 p 
压 人 栈 之 前 ， 栈 S 顶部 的 点 为 2;。 设 ps 为 栈 S PRS p 之 下 的 点 。 在 p; 成 为 栈 顶 点 且 尚 未 将 
b: 压 人 栈 时 ， 栈 S 中 包含 了 与 for 循环 的 第 7 次 迭代 后 一 样 的 点 。 因 此 ， 根 据 循环 不 变 式 ， 在 该 
时 刻 ， 栈 S 中 恰 包 含 了 CHCQ:) 中 的 顶点 ， 它 们 按 逆 时 针 顺 序 自 底 向 上 地 出 现在 栈 中 。 

我 们 继续 关注 当 p: 被 压 人 人 栈 之 前 的 这 一 时 刻 。 我 们 已 经 知道 ，p; 相对 于 po 的 极 角 大 于 p 
的 极 角 ， 并 且 角 和 pspjp; 是 向 左 转 的 (否则 p 已 经 被 弹出 )。 从 图 33-8(a) 中 可 以 看 出 ， 由 于 Si 
包含 了 CH(Q) 中 的 顶点 ， 因 此 , 一 旦 压 入 p: RS 中 恰 包含 了 CHQ Up) FATA, FFB 
这 些 点 仍然 按 道 时 针 顺 序 自 底 向 上 地 出 现在 栈 中 。 





图 33-8 GRAHAM-SCAN 的 正确 性 的 证 明 过 程 。(a) 因 为 p: 相对 于 bo 的 极 角 大 于 p; 
Wik, LAA Zhi: 是 向 左 转 的 ， 所 以 将 pi 加 入 CHQ ) 中 就 得 到 
CHQ U {pi})) 中 的 各 顶点 。(b) 如 果 角 和 pipip; 执行 的 是 非 左 的 转向 ， 则 p, 
或 者 是 在 由 pos p Mp: 所 构成 的 三 角形 内 部 ,或 者 是 在 该 三 角形 的 一 条 边 
上 ， 它 不 可 能 是 CH(Q) 的 一 个 顶点 
现在 ， 我 们 已 经 证 明了 CHK Ut{p;)) 与 CH(Q) 是 同一 个 点 集 。 考 虑 任意 一 个 在 for 循环 的 
第 i 次 迭代 中 被 弹出 的 点 p,， 设 p, Ad, 被 弹出 时 栈 S PRS p FRNA, 可 以 是 p;)。 角 
Zb-b.b: 所 做 的 是 非 左 转向 ， 而 p, 相对 于 po 的 极 角 大 于 p, 的 极 角 ， 如 图 33-8(b) 所 示 ，p, 必定 
EH po. b, Wp: 构成 的 三 角形 内 部 ， 或 者 在 这 个 三 角形 的 某 一 条 边 上 (但 它 不 是 该 三 角形 的 一 
个 顶点 ) 。 显 然 ， 由 于 p, 在 一 个 由 Q; 的 其 他 三 个 点 所 构成 的 三 角形 内 部 ， 故 不 可 能 是 CH(Q) 的 
一 个 顶点 。 正 是 因为 Ê: 不 是 CH(Q;) 的 一 个 顶点 ， 所 以 有 : 
CH(Q; — {p,}) = CH(Q) (33. 1) 
设 P 为 for 循环 的 第 i 次 迭代 中 弹出 点 的 集合 。 由 于 等 式 (33.1) 适 用 于 P: 中 的 所 有 点 ， 因 此 ， 
可 以 反复 地 应 用 它 来 说 明 CHC: —P;) =CH(Q;). 但是，Q; 一 P; 二 QU {p;}， 于 是 可 得 结论 
CH(Q; U {4p;}) = CH(Q; — P;) = CH(Q;) 
上 面 已 经 证 明了 一 旦 将 P: RAR. SPREA CH(Q) 中 的 顶点 ， 并 且 按 道 时 针 顺 序 
自 栈 底 向 上 排列 。 增 加 i 的 值 将 使 得 循环 不 变 式 对 下 一 次 迭代 也 保持 成 立 。 
终止 ， 当 循环 终止 时 ， 有 i 二 m 十 1， 因 而 ， 循 环 不 变 式 意 味 着 栈 SHPRES T CHQ) 
CH(Q) ) 中 按 逆 时 针 顺 序 从 栈 底 回 上 排列 的 顶点 。 a 
现在 来 证 明 GRAHAM-SCAN 的 运行 时 间 为 Ol(nlg n)， 其 中 n= |1Q|。 执 行 第 1 行 代码 需要 
@(n) 的 时 间 。 运 用 归并 排序 或 堆 排 序 对 极 角 进行 排序 ， 并 用 33. 1 节 中 的 又 积 方法 对 极 角 进行 比 
较 ， 执 行 第 2 行 代码 所 需 的 时 间 为 O(nlgn)。( 对 所 有 7 个 点 ， 我 们 可 以 在 O(nlg nn) 的 时 间 内 去 
掉 除 最 远 点 外 所 有 极 角 相同 的 点 。) 第 5 一 8 行 执行 时 间 为 O(1) 。 因 为 mn 一 1， 所 以 第 9 一 12 FF 
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for 循 环 至 多 执行 n—3 次 。 因 为 PUSH 的 执行 时 间 为 O(1)， 所 以 ， 除 了 花 在 第 10 一 11 行 while 
循环 上 的 时 间 外 ， 每 一 次 迭代 需要 ODM. FH, RERTRE while 循环 所 需 的 时 间 外 ， 
整个 for 循环 的 执行 时 间 为 Om. 

下 面 运用 聚合 分 析 方 法 来 证 明 执行 整个 while 循环 所 需 的 时 间 为 O(z) 。 对 ;一 0，1，…，71， 
每 个 点 pi 压 人 栈 S 一 次 。 和 在 17. 1 节 中 对 过 程 MULTIPOP 的 分 析 类 似 ， 注 意 到 我 们 所 能 执行 
的 POP 操作 的 次 数 至 多 与 PUSH 次 数 相同 。 至 少 有 三 个 点 (加 、 刀 和 加) 不 会 从 栈 中 弹出 ， 所 以 
事实 上 总 共 至 多 执行 m 一 2 次 POP HE. While 循环 中 每 次 迭代 时 执行 一 次 POP 操作 ， 因 此 ， 
while 循环 总 共 至 多 执行 m 一 2 次 迭代 。 由 于 第 10 行 的 测试 所 需 时 间 为 0(1)， 每 次 调用 POP 所 
需 的 时 间 为 0(1)， 且 m 志 nn 一 1， 所 以 执行 while 循环 所 需 的 全 部 时 间 为 O(n)。 因 此 ， 过 程 
GRAHAM-SCAN 的 运行 时 间 为 O(n lg n). 

Jarvis 步 进 法 

Jarvis 步 进 法 运用 一 种 称 为 打 包 (package wrappjng) 或 包装 礼物 (Cgift wrapping) 的 技术 来 计算 
一 个 点 集 Q 的 凸 包 。 算 法 的 运行 时 间 为 OC(nh)， 其 中 hh 是 CH(Q 中 的 顶点 数 。 当 为 oClgn) 时 ， 
Jarvis 步 进 法 在 渐 近 意义 上 比 Graham 扫描 法 更 快 。 

从 直观 上 看 ， 可 以 把 Jarvis 步 进 法 看 做 是 在 集合 Q 的 外 面 紧 紧 地 包 了 一 层 纸 。 开 始 时 ， 把 纸 
的 末端 钉 在 集合 中 最 低 的 点 上 ， 即 钉 在 与 Graham 扫描 法 相同 的 起 始点 如 上 。 该 点 为 凸 包 的 一 
个 顶点 。 把 纸 拉 向 右边 使 其 绷 紧 ， 然 后 再 把 纸 拉 高 一 些 ， 直 到 碰 到 一 个 点 。 该 点 也 必定 是 凸 包 的 
一 个 顶点 。 使 纸 保 持 绷 紧 状 态 ， 用 这 种 方法 继续 围绕 顶点 集合 ， 直 至 回 到 起 始点 po. 

更 形式 化 地 说 ，jJarvis 步 进 法 构造 了 CHCQ) 的 顶点 序列 H= bos Ps eto Paa) bo HER 
点 。 如 图 33-9 所 示 ， 下 一 个 凸 包 顶点 p 具有 相对 于 po 的 最 小 极 角 。( 如 果 有 数 个 这 样 的 点 ， 就 选 
取 距 离 p 最 远 的 点 作为 pi 。) 类 似 地 ，p, 具有 相对 于 户 的 最 小 极 角 ， 依 此 类 推 。 当 到 达 最 高 顶点 ， 
如 p; (如果 有 数 个 这 样 的 点 ， 则 选取 距离 最 远 的 点 ) 时 ， 我 们 已 经 构造 好 了 CH(Q) 的 右 链 ， 如 
图 33-9 所 示 。 为 了 构造 其 左 链 ， 从 ps 开始 选取 相对 于 be 具有 最 小 极 角 的 点 作为 beris (BAT x 
轴 是 原 二 轴 的 负 方 向 。 如 此 继续 下 去 ， 根 据 负 2 轴 的 极 角逐 渐 形 成 左 链 ， 直 至 回 到 初始 顶点 po。 





” ee 
图 33-9 Jarvis 步 进 法 的 操作 。 选 择 第 一 个 顶点 po 作为 最 低 的 点 。 下 一 个 顶点 pi 与 其 他 点 相 比 ， 


有 着 相对 于 po 的 最 小 极 角 。 接 着 ，ps 有 着 相对 于 pi 的 最 小 极 角 。 右 链 最 高 达到 最 高 点 
Ps。 接着， 通过 找 相 对 负 z 轴 的 最 小 极 角 将 左 链 构 造 出 来 
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可 以 用 围绕 凸 包 的 一 次 扫除 来 实现 Jarvis 步 进 法 ， 也 就 是 说 ， 无 需 分 别 构 造 左 链 和 右 链 。 在 
这 样 一 种 典型 的 实现 方法 中 ， 要 随时 记录 上 一 次 选取 的 凸 包 的 边 ， 并 要 求 凸 包 边 的 角度 序列 严 
格 递增 (在 0 一 2r 弧度 范围 内 ) 。 分 别 构 造 左 、 右 链 的 优点 是 无 需 显 式 地 计算 角度 ，33. 1 节 介 绍 
的 技术 就 足以 用 来 对 角度 进行 比较 了 。 

如 果 正 确 地 执行 Jarvis 步 进 法 ， 其 运行 时 间 可 达到 Onh). A CHCQ) 的 天 个 顶点 ， 都 需要 找 
出 具有 最 小 极 角 的 顶点 。 如 果 采 用 33. 1 节 中 讨论 过 的 技术 ， 则 每 次 极 角 比较 操作 所 需 的 时 间 为 
O(1)。 正 如 9.1 节 所 示 ， 如 果 每 次 比较 操作 所 需 时 间 为 O), WA AE OGD ATI ATT nS 
值 中 的 最 小 值 。 因 此 ，Jarvis 步 进 法 的 运行 时 间 为 Olh). 


练习 

33.3-1 EHH: 在 过 程 GRAHAM-SCAN F, Ñ p A pan 必定 是 CH(Q) 的 顶点 。 

33.3-2 ”考虑 一 个 能 支持 加 法 、 比 较 和 乘法 运算 的 计算 模型 ， 用 该 模型 对 7 个 数 进 行 排序 时 ， 其 
PRA Ql(nlg n)。 证 明 ， 当 在 这 样 一 个 模型 中 有 序 地 计算 出 由 个 点 组 成 的 集合 的 凸 包 
时 ， 其 下 界 为 Q(nlgn)。 

33.3-3 已 知 一 个 点 集 Q@， 证 明 彼 此 相距 最 远 的 点 对 必定 是 CH(Q@) 中 的 顶点 。 

33.3-4 ”对 一 个 给 定 的 多 边 形 P 和 在 其 边界 上 的 一 个 点 q，g 的 投影 是 满足 线段 qr 完全 在 P HW 
界 上 或 内 部 的 点 7 的 集合 。 正 如 图 33-10 HR, WREE P 的 内 部 存在 一 个 点 pP， 它 处 于 
P 的 边界 上 每 个 点 的 投影 中 ， 则 多 边 形 P 是 星 形 多 边 形 。 所 有 满足 这 种 条 件 的 点 p 的 集 
合 称 为 P 的 内 核 。 给 定 一 个 nn 个 顶点 的 星 形 多 边 形 P， 它 的 各 个 顶点 已 按 逆 时 针 方 向 排 
序 ， 试 说 明 如 何在 OCn) 的 时 间 内 计算 出 CH(Q)。 





(a) 


图 33-10 练习 33. 3-4 中 用 到 的 星 形 多 边 形 的 定义 。(a) 一 个 星 形 多 边 形 。 从 p 
至 边界 上 任何 点 q 的 线段 仅 在 g 处 与 边界 相交 。(b) 一 个 非 星 形 多 边 
形 。 左 边 投影 区 域 为 g 的 投影 ， 而 右边 的 投影 区 域 为 g 的 投影 。 由 
于 这 些 区 域 是 不 相交 的 ， 故 内 核 为 空 


33.3-5 在 联机 凸 包 问 题 Con-line convex-hull problem) 中 ， 每 次 只 给 出 由 久 n 个 点 所 组 成 的 集合 QQ 
中 的 一 个 点 。 在 接收 到 每 个 点 后 ， 就 计算 出 当前 所 有 点 的 凸 包 。 显 然 ， 可 以 对 每 个 点 运 
行 一 次 Graham 扫描 算法 ， 总 的 运行 时 间 为 OG? lg n)。 试 说 明 如 何在 OC ) 时 间 内 解决 
联机 凸 包 问 题 。 


*33.3-6 ” 试 说 明 如 何 实现 增 量 法 ， 以 在 Olg 2) 的 时 间 内 计算 出 2 个 点 的 凸 包 。 


33.4 寻找 最 近 点 对 

现在 来 考虑 一 下 在 n> 个 点 的 集合 Q 中 寻找 最 近 点 对 的 问题 。 “最 近 ” 指 的 是 通常 意义 下 的 欧 
几 里 得 距离 : 点 力 二 (x1，%) 和 ps 二 (zo，%) 之 间 的 欧 几 里 得 距离 为 VY 《zi 一 xz) 十 (yi 一 yz)”。 集 
合 Q@ 中 的 两 个 点 可 能 会 重合 ， 这 种 情况 下 ， 它 们 之 间 的 距离 为 0。 最 近 点 对 问题 可 以 应 用 于 交通 
控制 等 系统 中 。 为 检测 出 潜在 的 碰撞 事故 ， 在 空中 或 海洋 交通 控制 系统 中 ， 需 要 识别 出 两 个 距离 
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最 近 的 交通 工具 。 
在 暴力 搜索 最 近 点 对 的 算法 中 ， 只 需 简单 地 查看 所 有 (”) 一 @( 忆 ) 个 点 对 。 本 节 将 介绍 一 种 


解决 该 问题 的 分 治 算法 ， 其 运行 时 间 可 以 用 大 家 熟悉 的 递归 式 T(n) 二 2T(n/2) + OCD EH. 
因此 ， 该 算法 的 运行 时 间 仅 为 O(nlg 7n)。 

分 治 算法 

算法 每 一 次 递归 调用 的 输入 为 子 集 PCQ 以 及 数组 X 和 Y， 每 个 数组 均 包 含 输入 子 集 P 的 所 
有 点 。 对 数组 X 中 的 点 排序 ， 使 其 z 坐标 单调 递增 。 类 似 地 ， 对 数组 Y 中 的 点 排序 ， 使 其 y 坐 
标 单调 递增 。 注 意 ， 为 了 维持 OCnlgn) 的 时 间 界 ， 不 能 在 每 次 递归 调用 中 都 进行 排序 。 否 则 ， 运 
行 时 间 的 递归 式 就 变 为 T(n) = 二 2T(n/2) 十 Onlg n), HRA Tin) =O(nlg?n), (FIFA 4. 6-2 
中 给 出 的 主 方法 ,) 我 们 稍 后 将 会 看 到 如 何 运 用 “ 预 排序 ”来 维持 这 种 排序 性 质 ， 而 无 需 在 每 次 递归 
调用 中 都 进行 排序 。 

WAX P, XAY 的 递归 调用 首先 检查 是 否 有 |P| 志 3 成立。 如 果 有 ， 则 仅 执 行 上 述 的 暴力 


LP 
方法 : 对 所 有 ( | ) 个 点 对 进行 检查 ， 并 返回 最 近 点 对 。 如 果 | 忆 | 之 3， 则 递归 调用 执行 如 下 分 


治 法 模式 。 

分 解 : 找 出 一 条 垂直 线 !/， 它 把 点 集 P 对 分 为 满足 下 列 条 件 的 两 个 集合 P, 和 Pe: 使 得 
IPLJ=f|P|/21, |Pel=l|P|/2), Pr 中 的 所 有 点 都 在 直线 :上 或 在 1 的 左 侧 ，Pr 中 的 所 有 点 
都 在 直线 :上 或 在 ! 的 右 侧 。 数 组 和 被 划分 为 两 个 数组 X 和 Xe, DHS P, 和 Pe 中 的 点 ， 
并 按 z 坐标 单调 递增 的 顺序 进行 排序 。 类 似 地 ， 将 数组 Y 划分 为 两 个 数组 Y, 和 区， 分 别 包含 
Pi 和 Pe 中 的 点 ， 并 按 y 坐标 单调 递增 的 顺序 进行 排序 。 

解决 : 把 己 划 分 为 P, 和 Px 后 ， 再 进行 两 次 递归 调用 ， 一 次 找 出 Pi 中 的 最 近 点 对 ， 另 一 次 
找 出 Pr 中 的 最 近 点 对 。 第 一 次 调用 的 输入 为 子 集 PL. BAX, MYL; 第 二 次 调用 的 输入 为 子 集 
Pry Xr 和 Yr。 A Pi 和 Px 返回 的 最 近 点 对 的 距离 分 别 为 6 Mêr, HHE O=min(6,, dp). 

合并 : 最 近 点 对 要 么 是 某 次 递归 调用 找 出 的 距离 为 6 的 点 对 ， 要 么 是 Pi 中 的 一 个 点 与 Pk 
中 的 一 个 点 组 成 的 点 对 。 算 法 确定 是 否 存 在 距离 小 于 5 的 一 个 点 对 ， 一 个 点 位 于 Pi 中 ， 另 一 个 
点 位 于 Pr 中 。 注 意 ， 如 果 存 在 这 样 的 一 个 点 对 ， 则 点 对 中 的 两 个 点 与 直线 1 的 距离 必定 都 在 6 
单位 之 内 。 因 此 ， 如 图 33-11(a) 所 示 ， 它 们 必定 都 处 于 以 直线 /1 为 中 心 、 宽 度 为 26 的 垂直 带 形 
区 域内 。 为 了 找 出 这 样 的 点 对 (如 果 存 在 )， 算 法 要 做 如 下 工作 ; 

1. 建立 一 个 数组 Y' ， 它 是 把 数组 Y 中 所 有 不 在 宽度 为 28 的 垂直 带 形 区 域内 的 点 去 掉 后 所 得 
的 数组 。 数 组 Y 与 Y 一 样 ， 是 按 y 坐标 顺序 排序 的 。 

2. 对 数组 Y' 中 的 每 个 点 p， 算 法 试图 找 出 Y' 中 距离 p 在 6 单位 以 内 的 点 。 下 面 将 会 看 到 ， 
在 Y' 中 仅 需 考虑 紧 随 p 后 的 7 个 点 。 算 法 计算 出 从 p 到 这 7 个 点 的 距离 ， 并 记录 下 六 的 所 有 点 
对 中 最 近 点 对 的 距离 6'。 

3. 如 果 6 二 8， 则 垂直 带 形 区 域内 的 确 包含 比 根据 递归 调用 所 找 出 的 最 近 距 离 更 近 的 点 对 ， 
于 是 返回 该 点 对 及 其 距离 0。 否则 ， 返 回 函数 的 递归 调用 中 发 现 的 最 近 点 对 及 其 距离 。 

上 述 描述 中 ， 省 略 了 一 些 对 获得 O(nlgn) 运 行 时间 非 常 必 要 的 实现 细节 。 在 证 明 算法 的 正确 
性 以 后 ， 将 说 明 如 何 实现 算法 才能 获得 要 求 的 运行 时 间 。 

正确 性 | 

除 以 下 两 方面 外 ， 这 种 最 近 点 对 算法 的 正确 性 是 显而易见 的 。 第 一 ， 当 |P| 志 3 时 , 将 递归 
调用 过 程 进行 到 底 ， 就 可 以 确保 不 会 解 仅 含 一 个 点 的 子 问 题 。 第 二 ， 仅 需 检 查 数组 Y' 中 紧 随 每 
个 点 后 的 7 个 点 。 现 在 就 来 证 明 这 条 性 质 。 
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假定 在 某 一 级 递归 调用 中 ， 最 近 点 对 为 p.E€ Pi，prE€ Pr， 则 pr 和 pr 间 的 距离 6 严格 小 于 
6。 点 pi 必定 在 直线 1 上 ,或 者 在 /左边 6 单位 之 内 。 类 似 地 ，pr 必定 在 直线 1 E, RAELA 
边 6 单位 之 内 。 此 外 ，pi 和 pr 相互 之 间 的 垂直 距离 也 小 于 6 单位 。 因 此 ， 正 如 图 33-11(a) 所 示 ，、 
pr 和 pr 在 以 直线 ; 为 中 心 线 的 8$SX28 矩形 区 域内 。( 在 该 矩形 内 也 可 能 有 其 他 点 。) 

下 面 来 证 明 该 6X26 和 矩形 区 域内 至 多 有 P 了 中 8 个 点 。 考 察 该 矩形 左 半边 的 86X56 正方 形 。 因 
为 Pi 中 所 有 点 之 间 至 少 相 距 6 单位， 所 以 该 正方 形 内 至 多 有 4 个 点 ， 图 33-11(b) 说 明了 原因 . 
类 似 地 ，Px 中 至 多 有 4 个 点 可 能 位 于 该 矩形 右 半边 的 6X5 正 方形 内 。 因 此 ，P 中 至 多 有 8 个 点 
可 能 位 于 该 $SX28 矩形 内 。( 注 意 ， 由 于 直线 上 的 点 既 可 能 属于 已 ， 也 可 能 属于 Pe, MAER 
上 至 多 有 4 个 点 。 如 果 有 两 对 重合 的 点 ， 每 对 包含 一 个 已 中 的 点 和 一 个 Pr 中 的 点 ， 且 其 中 一 - 
对 在 直线 1 与 矩形 上 面 边 的 交点 处 ， 男 一 对 在 直线 /与 矩形 下 面 边 的 交点 处 ， 就 会 达到 上 述 
限制 。) 


> Pr 
< 


重合 点 
一 个 在 Pi 
人 


重合 点 
一 个 在 Fi 
= i l 一 个 在 Pr 


(a) (b) 


图 33-11 在 证 明 最 近 顶 点 对 算法 仅 需 要 检查 数组 Y 中 每 个 点 后 面 的 7 个 点 时 ， 所 涉及 的 一 些 关键 概念 。 
(a) 如 果 p EPL, pEPr, H pr 和 pr 间 的 距离 小 于 6 单位 ， 则 它们 必定 位 于 一 个 以 直线 /为 
中 心 线 的 6X26 和 矩形 区 域内 。(b)4 个 两 两 之 间距 离 至 少 为 6 单位 的 点 是 如 何 位 于 同一 个 X56 正 
方形 内 的 。 左 边 为 Pr 中 的 4 个 点 ， 右 边 为 P 中 的 4 个 点 。 在 86X26 的 矩形 区 域内 ， 如 果 直 线 
/ 上 示 出 的 点 是 重合 的 点 对 (其 中 一 个 点 在 Pr 中 ， 另 一 个 在 Pr 中 ) ， 就 可 能 会 有 8 个 点 


在 说 明了 P 中 至 多 可 能 有 8 个 点 位 于 该 矩形 中 后 ， 就 很 容易 看 出 ， 为 什么 只 需要 检查 数组 
Y 中 每 个 点 之 后 的 7 个 点 。 仍 假设 最 近 的 点 对 为 pr 和 pr， 并 (不 失 一 般 性 ) 假 设 在 数组 关中 ，pi 
位 于 加 之前。 那么 ， 即 使 pi 在 Y 中 尽 可 能 早 地 出 现 而 pr 尽 可 能 晚 地 出 现 ，pr 也 一 定 是 紧 随 
pi 的 ?7 个 位 置 中 的 一 个 。 由 此 ， 证 明了 最 近 点 对 算法 的 正确 性 。 

算法 的 实现 与 运行 时 间 

正如 之 前 所 讨论 的 ， 我 们 的 目标 是 得 到 关于 运行 时 间 的 递归 式 TC(n)= 二 2T(n/2) 十 OC(n)， 其 
中 To 是 在 包含 ”个 点 的 集合 上 算法 的 运行 时 间 。 主 要 困难 在 于 确保 传递 给 递归 调用 的 数组 
Xi, Xr, Yi 和 Ys 按 适 当 的 坐标 进行 排序 ， 并 且 了 按 y 坐标 进行 排序 。( 注 意 ， 如 果 某 次 递归 调 
用 接收 到 的 数组 X 已 经 排 好 序 ， 则 很 容易 在 线性 时 间 内 把 PRIDA P 和 PR。) 

关键 点 在 于 ， 在 每 次 调用 中 ， 我 们 希望 形成 一 个 已 排序 数组 的 有 序 子 集 。 例 如 ， 某 个 特定 调 
用 的 输入 为 子 集 已 和 按 y 坐标 排序 的 数组 Y。 将 PP 划分 为 Pr 和 Px 后 ， 需 要 在 线性 时 间 内 形成 
按 y 坐标 排序 的 数组 YL 和 Yr。 我 们 可 以 将 这 种 方法 看 做 与 2. 3.1 节 中 介绍 的 归并 排序 过 程 
MERGE 相反 的 过 程 :把 一 个 已 排序 数组 分 成 两 个 有 序数 组 。 下 面 的 伪 代 码 给 出 了 这 种 思想 的 
实现 。 
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1 let Y,[1.. Y. length Jand Yr[1..Y. length jbe new arrays 
2 Y,. length=Yr. lengith=0 

3 for: = 1 to Y. length 

4 if Y[i JEP, 

5 Yi. length=Y_. length+1 

6 Y LY.. length |=Y[i] 

7 else Yr. length=Yp. length+1 

8 YR[YR. length]=Y[i] 


我 们 仅仅 是 按 次 序 检查 数组 Y 中 的 点 。 如 果 一 个 点 了 [ij 在 PL 中 ， 则 把 它 添加 到 数组 Y, 的 
末端 ， 否则， 将 其 添加 到 数组 Ys 的 末端 。 数 组 XL. Xr 和 Y' 也 可 以 用 类 似 的 伪 代 码 来 实现 。 
剩 下 的 首要 问题 是 如 何 对 点 进行 排序 。 我 们 对 点 进行 预 排序 ， 即 在 第 一 次 递归 调用 前 ， 对 所 
有 点 进行 一 次 排序 。 将 这 些 有 序数 组 传递 到 第 一 次 递归 调用 中 ， 在 那里 ， 根 据 需 要 在 递归 调用 时 
对 其 进行 削减 。 虽 然 预 排序 使 运行 时 间 增 加 了 Onlgn)， 但 这 样 一 来 ， 除 递归 调用 外 ， 递 归 过 程 
的 每 一 步 仅 需 线性 时 间 。 如 果 令 TCz) 为 每 一 步 递 归 的 运行 时 间 ，T (z) 为 整个 算法 的 运行 时 间 ， 
M T )=Tm)+Omlgn), £4 
| 2T(n/2)+O™) wRn>3 
O01) wR n< 3 
因此 ，T(n)= 二 Onlgn),， T'(n)=O(nlg n). 


练习 


33.4-1 Williams 教授 提出 了 一 个 方案 ， 可 以 在 最 近 点 对 算法 中 ， 只 检查 数组 Y 中 每 个 点 后 面 的 
5 个 点 ， 其 思想 是 ， 总 是 将 直线 :上 的 点 放 人 集合 Pi 中。 那么， 直线 ! 上 就 不 可 能 有 一 
个 点 属于 Pr， 男 一 个 点 属于 Pr 的 重合 点 对 。 因 此 ， 至 多 可 能 有 6 个 点 处 于 OX 20H 
形 内 。 这 种 方案 的 缺陷 何在 ? 

33. 4-2” 试 说 明 只 检查 数组 Y 中 跟随 在 每 个 点 后 的 5 个 数组 位 置 就 足够 了 。 

33.43 ”两 点 之 间 的 距离 除 欧 几 里 得 距离 外 ， 还 有 其 他 定义 方法 。 在 平面 上 ， 点 p 和 ps 之 间 的 
Lin 距离 由 下 式 给 出 : C | Tı X2 | a | Mi de wae 因此 ， 欧 几 里 得 距离 实际 上 是 L: pE 
离 。 修 改 最 近 点 对 算法 ， 使 其 适用 于 L 距离 ， 也 称 为 曼哈顿 距离 (Manhattan distance), 

33. 4-4 已 知 平面 上 的 两 个 点 Pi 和 D2» 它们 之 间 的 Lo. FBSA max( | Lı T2 | ’ | yı ~ Se | Jo 修 
改 最 近 点 对 算法 ， 使 其 适用 于 LER. 

33.4-5 假设 最 近 点 对 算法 里 Q(z)? 对 点 是 共 垂 线 的 。 试 说 明 如 何 确定 集合 PL 和 PR 以 及 如 何 确 
E Y 中 的 每 个 点 是 在 Pi 还 是 Pr 中 ， 从 而 使 最 近 点 对 算法 的 运行 时 间 保 持 O(Cz1lg n). 

33.4-6 ”对 最 近 点 对 算法 进行 修改 ,使 其 能 避免 对 数组 Y 进行 预 排序 ， 但 仍然 能 使 算法 的 运行 时 
间 保持 为 O(nlg n) 。( 提 示 : 将 已 排序 的 数组 Y, 和 Yk 加 以 合并 ， 以 形成 有 序数 组 了 。) 


思考 题 

33-1 (G4) 已 知 平面 上 的 点 集 Q， 我 们 用 归纳 法 来 定义 Q AE (convex layer). Q 的 第 一 
凸 层 是 由 Q 中 属于 CHCQ) 顶点 的 那些 点 组 成 。 对 >11, EX Q 由 把 Q@ 中 所 有 在 凸 层 
1，2，…，i 一 1 中 的 点 去 除 后 所 剩余 的 点 构成 。 如 果 Q 关 名 ,那么 Q 的 第 ;im 凸 层 为 
CHQ); 和 否则， 第 i 凸 层 无 定义 。 
a 写 出 一 个 运行 时 间 为 O0z2) 的 算法 ， 以 找 出 个 点 所 组 成 的 集合 的 各 凸 层 。 
b. WEAR: 在 对 ?个 实数 进行 排序 所 需 时 间 为 QCnlgn) 的 任何 计算 模型 上 ， 计算 个 点 的 凸 

层 需要 O(n lg miti. 
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33-2 


33-3 


33-4 


33-5 


第 七 部 分 “算法 问题 选编 


(最 大 层 ) 设 Q 是 平面 上 ”个 点 所 组 成 的 集合 。 如 果 有 >r H y 宇 y ， 则 称 点 (x，y) 支 
配点 (x ，y ) 。Q 中 不 被 其 中 任何 其 他 点 支配 的 点 称 为 最 大 上 点。 注意，Q 可 以 包含 许多 最 
大 点 ， 可 以 把 这 些 最 大 点 组 织 成 如 下 的 最 大 层 。 第 一 最 大 层 Li 是 Q 中 最 大 点 构成 的 集合 ， 


对 这 1， 第 ;最 大 层 L, E- UL, 中 的 最 大 点 构成 的 集合 ， 
假设 Q 包含 & 个 非 空 的 最 大 层 ， 并 设 y BL, 中 最 左边 点 的 y 坐标 (一 1，2，…，A) ， 
假定 Q 中 没有 两 个 点 有 相同 的 zx 坐标 或 y 坐标 。 
a. 证 明 Vin Mb 
考虑 一 个 点 (zx，y)， 它 在 Q@ 中 任意 点 的 左边 ， 并 且 其 y 坐标 与 Q 中 任何 点 的 y 坐标 
都 不 相同 。 设 Q = 二 QU Ca, y)}. 
b. 设 7 EWE y <y 的 最 小 下 标 ， 除 非 y>< wx， 在 这 种 情况 下 ， 令 j= 二 =k 十 1。 证明 Q 的 最 
大 层 如 下 : 
。 若 j 委 &， 则 Q 的 最 大 层 与 Q 的 最 大 层 相 同 ， 只 是 L 也 包含 (x，y) 作 为 其 新 的 最 
左 点 。 
© 若 7j 一 A 十 1， 则 Q 的 前 上 个 最 大 层 与 Q 的 相同 ， 但 此 外 ，Q 有 一 个 非 空 的 第 & 十 1 最 
KJ Lin =, y)}. 
c 描述 一 种 时 间 为 OCzlgz) 的 算法 ， 用 于 计算 出 包含 ”个 点 的 集合 Q 的 各 最 大 层 。( 提 示 : 
把 一 条 扫除 线 从 右 向 左 移动 。) 
qd. 如果 人 允许 输入 点 有 相同 的 r 坐标 或 y 坐标 ， 会 不 会 出 现 问 题 ? 如 果 会 ， 提 出 一 种 方法 
来 解决 这 一 问题 。 
(巨人 和 和 鬼 问题 ) 有 ?个 巨人 正 与 2 个 鬼 战 斗 。 每 个 巨人 的 武器 是 一 个 质子 包 ， 它 可 以 用 
一 串 质子 流 射 中 鬼 来 把 鬼 消灭 。 质 子 流 沿 直 线 行 进 ， 在 击 中 鬼 时 就 终止 。 巨 人 决定 采取 下 
列 策略 。 他 们 各 自 寻 找 一 个 鬼 形 成 nn 个 巨人 -和 鬼 对 ， 然 后 每 个 巨人 同时 向 各 自选 取 的 鬼 射 
出 一 串 质 子 流 。 我 们 知道 ， 质 子 流 互相 交叉 是 很 危险 的 ， 因 此 ， 巨 人 选择 的 配对 方式 应 该 
使 质子 流 都 不 会 交叉 。 
假定 每 个 巨人 和 每 个 鬼 的 位 置 都 是 平面 上 一 个 固定 的 点 ， 并 且 没 有 三 个 位 置 共 线 。 
a. 论证 存在 一 条 通过 一 个 巨人 和 一 个 鬼 的 直线 ， 使 得 直线 一 边 的 巨人 数 与 同一 边 的 鬼 数 
相等 。 试 说 明 如 何在 O(nlg nn) 时 间 内 找 出 这 样 一 条 直线 。 
b. 写 出 一 个 运行 时 间 为 OC lg n) 的 算法 ， 使 其 以 不 会 有 质子 流 交叉 为 条 件 把 巨人 与 鬼 
配对 。 
(拾取 棍子 问题 ) Charon ARA 根 小 棍子 ， 它 们 以 某 种 方式 互相 印 放 在 一 起 。 每 根 棍子 
都 用 其 端点 来 指定 ， 每 个 端点 都 是 一 个 有 序 的 三 元 组 ， 其 坐标 (z，y，z) 已 知 。 所 有 棍子 
都 不 是 垂直 的 。 他 希望 拾取 所 有 的 棍子 ,但 要 满足 如 下 条 件 : 一 次 一 根 地 挑 起 棍子 ， 当 一 
根 棍子 上 面 没 有 压 着 其 他 棍子 时 ， 该 棍子 才 可 以 被 挑 起 。 
a 给 出 一 个 过 程 ， 取 两 根 棍 子 a 和 2 作为 参数 ， 返 回 a 是 在 6b 的 上 面 、 下 面 还 是 与 65 无 关 。 
b 给 出 一 个 有 效 的 算法 ， 用 于 确定 是 否 有 可 能 拾取 所 有 的 棍子 。 如 果 能 ， 提 供 一 个 拾取 
所 有 棍子 的 合法 顺序 。 
(HAEATA) 考虑 计算 平面 上 点 集 的 凸 包 问 题 ， 但 这 些 点 是 根据 某 已 知 的 随机 分 布 取得 
的 。 有 了 时， 从 这 样 一 种 分 布 中 取得 的 nn 个 点 凸 包 的 期 望 规模 为 Olrm“)， 其 中 为 某 个 大 二 
0 的 常数 。 称 这 样 的 分 布 为 稀 朴 包 分 布 。 稀 疏 包 分 布 包括 以 下 几 种 : 
。 点 是 均匀 地 从 一 个 单位 半径 的 圆 面 中 取得 的 ， 凸 包 的 期 望 规模 为 8(n”)。 
。 点 是 均匀 地 从 一 个 具有 上 条 边 的 凸 多 边 形 内 部 取得 的 (为 任意 常数 )。 凸 包 的 期 望 规模 
为 Ogn). 
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。 点 是 根据 二 维 正 态 分 布 取得 的 。 凸 包 的 期 望 规模 为 @( Vlgn)。 
a 已 知 两 个 分 别 有 n 和 个 顶点 的 凸 多 边 形 ， 说 明 如 何在 On 十) 时 间 内 计算 出 全 部 
ntn SRA Sis yes). 
b. 证 明 : 对 于 根据 稀 玖 包 分 布 独立 取得 的 一 组 个 点 ， 其 凸 包 可 以 在 OC) 的 期 望 时 间 内 
计算 出 来 。( 提 示 : 采用 递归 方法 分 别 求 出 前 n/2 个 点 和 后 mn/2 个 点 的 凸 包 ， 然 后 再 对 
结果 进行 合并 。) 
本 章 注 记 
本 章 只 是 刚刚 探 开 了 计算 几何 学 算法 和 技术 这 一 神秘 面纱 的 一 角 。 有 关 计 算 几 何 学 的 参考 
书 很 多 ， 如 Preparata 和 Shamos[ 282]、Edelsbrunner[99]， 以 及 O’ Rourkel 269]. 
尽管 几何 学 从 古代 就 有 人 研究 了 ， 但 用 于 解决 几何 问题 的 算法 方面 的 发 展 相 对 来 说 却 是 比 
较 新 的 。Preparata 和 Shamos 指出 ， 最 早 的 用 于 描述 问题 复杂 性 的 记号 表示 是 由 E. Lemoine 于 
1902 年 提出 的 。 当 时 ， 他 正 致 力 于 研究 欧 几 里 得 构造 ， 即 用 指南 针 和 尺子 所 做 的 构造 ， 并 设计 
出 了 5 条 原 语 : 将 指南 针 的 一 个 指针 放 在 某 一 给 定点 上 ， 将 指南 针 的 一 个 指针 放 在 某 一 给 定 的 线 
上 ， 画 一 个 圆 ,: 使 太子 的 边 通过 某 一 给 定 的 点 ， 画 一 条 直线 。Lemoine 对 完成 某 一 构造 所 需 的 原 
语 数目 比较 感 兴趣 ， 他 称 这 一 数目 为 该 构造 的 “简单 性 ”。 
33. 2 节 中 用 于 确定 任何 线段 是 否 相 交 的 算法 是 由 Shamos 和 Hoey [313j] 提 出 的 。 
Graham 扫描 算法 的 原始 版 本 是 由 GrahamL150j 给 出 的 。 打 包 算 法 是 由 Jarvis [189j 提 出 的 。 
Yao [359] 利 用 决策 树 计 算 模 型 ， 证 明了 凸 包 算法 运行 时 间 的 一 个 下 界 QCnlg n)。 当 将 凸 包 中 顶 
点 数目 天 考 虑 在 内 时 ，Kirkpatrick 和 Seidel[206] 的 剪 枝 -搜索 算法 是 渐 近 最 优 的 ， 其 运行 时 间 为 
O(n lg h). \ 
用 于 寻找 最 近 点 对 -运行 时 间 为 OC lg 7) 的 分 治 算法 是 由 Shamos 提出 的 ， 并 出 现 于 
Preparata 和 Shamos[ 282] 中 Preparata 和 Shamos 还 证 明了 在 决策 树 模 型 下 ， 该 算法 是 渐 近 最 
优 的 。 | 
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迄今 为 止 ， 我 们 所 研究 的 所 有 算法 几乎 都 是 多 项 式 时 间 的 算法 : 对 于 规模 为 的 输入 ， 在 最 
坏 情况 下 的 运行 时 间 是 O0x )， 其 中 上 为 某 一 确定 常数 。 我 们 很 自然 地 会 想到 这 样 一 个 问题 : 是 
否 所 有 的 问题 都 可 以 在 多 项 式 时 间 内 解决 ? 答案 是 否定 的 ! 例如 ， 著 名 的 “图 灵 停 机 问题 “， 不管 
在 多 长 的 时 间 内 ， 都 不 能 被 任何 一 台 计 算 机 解决 。 另 外 ， 还 有 许多 可 以 在 多 项 式 时 间 内 解决 的 问 
题 ， 但 对 任意 常数 &， 它 们 都 不 能 在 OG ) 时 间 内 被 解决 。 一 般 来 说 ， 我 们 认为 在 多 项 式 时 间 内 
可 解 的 问题 是 易 处 理 的 问题 ， 在 超 多 项 式 时 间 内 解决 的 问题 是 不 易 处 理 的 问题 。 

本 章 的 主题 是 一 类 称 为 “NP 完全 ”的 有 趣 问 题 ， 它 的 状态 是 未 知 的 。 迄 今 为 止 ， 既 没有 人 找 
出 求解 NP 完全 问题 的 多 项 式 时 间 算 法 ， 也 没有 人 能 够 证 明 对 这 类 问题 不 存在 多 项 式 时 间 算 法 . 
这 一 所 谓 的 PANP 问题 自 1971 年 被 提出 以 后 ， 已 经 成 为 理论 计算 机 科学 领域 中 最 深奥 、 最 令 人 
费解 的 开放 问题 之 一 。 

AJLA NP 完全 问题 特别 诱 人 ， 因 为 它们 表面 上 看 起 来 和 我 们 已 知 的 可 以 用 多 项 式 时 间 算 法 
解决 的 问题 很 相似 。 在 下 面 列 出 的 每 一 对 问题 中 ， 一 个 是 可 以 用 多 项 式 时 间 算 法 来 解决 的 ， 另 一 
个 却 是 NP 完全 问题 , 但 是 它们 之 间 的 区 别 看 起 来 却 是 微乎其微 的 。 

最 短 与 最 长 简单 路 径 ”在 第 24 章 中 ， 我 们 发 现 即 使 边 的 权 值 为 负 ， 也 可 以 在 有 向 图 G=. 
DP, 46 OCVE) 的 时 间 内 从 单一 源 项 点 开始 找到 最 短路 径 。 然 而 ， 在 两 个 顶点 间 找 到 最 长 简单 
路 径 问 题 却 是 困难 的 。 也 仅仅 只 有 “确定 是 否 一 个 图 在 给 定数 量 的 边 中 包含 一 条 简单 路 径 ? 这 一 
问题 才 是 NP 完全 问题 。 

欧 拉 回 路 与 哈密 顿 圈 ”即使 允许 不 止 一 次 访问 每 一 个 结 点 ， 一 个 连通 有 向 图 GSV, EP 
的 欧 拉 回路 (Euler tour) 只 是 一 个 能 路 过 G 中 的 每 一 条 边 一 次 的 圈 。 在 思考 题 22-3 中 ， 我 们 可 以 
确定 是 否 一 个 图 在 OCE) 的 时 间 内 仅仅 有 一 个 欧 拉 回路 ， 事实 上 ， 还 可 以 在 OC(E) 的 时 间 内 遍历 
欧 拉 回 路 中 的 各 条 边 。 一 个 有 向 图 G 二 (V，E) 中 的 哈密 顿 圈 是 包含 V 中 每 一 个 顶点 的 简单 回路 。 
确定 一 个 有 向 图 中 是 否 包含 哈密 顿 圈 就 是 一 个 NP 完全 问题 。( 在 本 章 的 后 文中 ， 我 们 将 证 明确 
定 一 个 无 向 图 中 是 否 包 含 哈密 顿 图 是 一 个 NP 完全 问题 。) 

2-CNF 可 满足 性 问题 与 3-CNF 可 满足 性 问题 ”在 一 个 布尔 公式 中 ， 可 以 包含 这 样 一 些 成 分 : 
取 值 为 1 或 0 的 布尔 变量 ;布尔 连接 词 ， 如 入 (AND)、V (OR)、 一 (NOT); 括号 。 对 一 个 布尔 
公式 来 说 ， 阁 存在 对 其 变量 的 某 种 0 和 1 的 赋值 ， 使 得 它 的 值 为 1， 则 此 布尔 表达 式 是 可 满足 
的 。 本 章 稍 后 将 更 加 形式 化 地 定义 这 些 术语 ， 但 是 非 形式 化 地 ， 知 布尔 公式 是 用 AND 连接 若干 
个 OR 子 句 ， 且 每 个 子 句 中 恰 有 个 布尔 变量 或 其 否定 形式 ， 则 称 它 为 k 合 取 范 式 或 &CNF。 例 
Wh, HARRER C Var) A Gn V 23) A Oz: V 一 xz) 是 属于 2-CNF 的 (满足 赋值 条 件 x = 二 1， 
Zz 一 0，Zs 王 1)。 昌 然 可 以 确定 在 多 项 式 时 间 内 一 个 2-CNF 布尔 表达 式 是 否 是 可 满足 的 ， 但 是 稍 
后 我 们 将 会 发 现 “ 证 明 一 个 3-CNF 布尔 表达 式 是 否 是 可 满足 的 ”是 一 个 NP 完全 问题 。 

NP 完全 性 与 P 类 问题 和 NP 类 问题 

纵 观 本 章 内 容 ， 我 们 将 涉及 三 类 问题 : P 类 问题 、NP 类 问题 和 NPC 类 问题 ， 最 后 一 类 问题 
就 是 我 们 所 说 的 NP 完全 问题 。 这 里 ,我 们 姑且 先 不 规范 地 描述 它们 ， 稍 后 将 形式 化 地 对 它们 进 
行 定义 。 

P 类 问题 就 是 在 多 项 式 时 间 内 可 以 解决 的 问题 。 更 为 确切 地 说 ， 这 些 问 题 可 以 在 时 间 O(n) 
内 解决 ， 其 中 为 某 一 常量 ,nn 是 此 问题 输入 的 规模 。 前 面 所 讨论 的 大 多 数 问题 为 P 类 问题 。 
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NP 类 问题 是 指 那些 在 多 项 式 时 间 内 可 以 被 证 明 的 问题 。 那 么 所 谓 的 “可 被 证 明 ” 又 是 什么 意 
思 呢 ? 即 如 果 已 知 一 个 问题 解 的 证 书 (certificate) ， 那 么 可 以 证 明 此 问题 在 该 输入 规模 下 能 在 多 
项 式 时 间 内 解决 。 例 如 ， 在 哈密 顿 圈 问 题 中 ， 给 定 一 个 有 向 图 G 二 (V，E), 证 书 是 一 个 含有 
IV] 个 顶点 的 序列 (vw 9 Us za “**» Vivi )， 我 们 可 以 轻易 地 证 明 (U; U41) EE( 其 中 i=l; 23 
3，…，|V| 一 1)， 同样 也 可 以 证 明 (viv; WIEE. BR A—TAF, XF 3-CNF 可 满足 性 问 
题 ， 一 个 证 书 可 以 是 对 一 组 变量 的 一 个 赋值 。 我 们 可 以 在 多 项 式 时 间 内 检验 这 一 赋值 是 否 满足 
此 布尔 表达 式 。 

所 有 的 了 类 问题 同时 也 是 NP 类 问题 ， 因 为 如 果 一 个 问题 是 P 类 问题 ， 那 么 不 用 任何 证 书 就 
可 以 在 多 项 式 时 间 内 解决 它 。 我 们 稍 后 将 会 把 这 一 概念 形式 化 ， 但 是 现在 我 们 可 以 暂且 相信 有 
PCNP。 至 于 P 了 类 问题 是 否 是 NP 类 问题 的 真子 集 ， 在 目前 是 一 个 开放 的 问题 。 

非 形式 地 ， 如 果 一 个 NP 问题 和 其 他 任何 NP 问题 一 样 不 易 解 决 "， 那 么 我 们 认为 这 一 问题 
是 NPC 类 问题 或 称 之 为 NP 完全 问题 。 本 章 稍 后 将 会 形式 化 地 定义 什么 是 所 谓 的 “和 其 他 NP 问 
题 一 样 ‘ 不 易 解 决 '”。 同 时 ， 我 们 将 不 加 证 明 地 宣称 ， 如 果 任 何 NP 完全 问题 可 以 在 多 项 式 时 间 
内 人 解决， 那么 所 有 NP 问题 都 有 一 个 多 项 式 时 间 算 法 。 大 多 数 从 事理 论 研究 的 计算 机 科学 家 认为 
NP 完全 问题 是 “不 易 解决 > 的 ， 因 为 迄今 为 止 研究 过 的 NP 完全 问题 非常 之 多 ,但 还 没有 任何 人 
发 现任 何 一 个 问题 的 多 项 式 时 间 解 决 方案 。 因 此 ， 如 果 所 有 NP 完全 问题 都 能 在 多 项 式 时间 内 解 
决 ， 那 将 是 令 人 震惊 的 。 然 而 ， 尽 管 迄今 为 止 ， 人 们 付出 大 量 的 努力 来 证 明 NP 完全 问题 是 不 易 
解决 的 ， 但 却 没有 一 个 结论 性 研究 成 果 ， 所 以 我 们 不 能 排除 NP 完全 问题 实际 上 可 以 在 多 项 式 时 
间 内 求解 的 可 能 性 。 

要 成 为 一 名 优秀 的 算法 设计 者 ， 就 一 定 要 懂得 NP 完全 问题 的 基本 原理 。 如 果 读 者 能 够 确定 
一 个 NP 完全 问题 ， 就 可 以 提供 充分 的 论据 说 明 其 不 易 处 理性 。 作 为 一 名 工程 师 ， 更 好 的 办 法 就 
是 花 时 间 开 发 一 种 近似 算法 ( 见 第 35 章 ) 或 解决 某 种 易 处 理 问题 的 特例 ， 而 不 是 寻找 求 得 问题 确 
切 解 的 一 种 快速 算法 。 此 外 ， 从 表面 上 看 ， 很 多 固有 而 有 趣 的 问题 并 不 比 排序 、 图 的 搜索 或 者 网 
络 流 问 题 更 难 ， 但 事实 上 ， 它 们 却 是 NP 完全 问题 。 因 此 ， 熟 悉 这 类 问题 是 十 分 重要 的 。 

证 明 NP 完全 问题 概述 

在 证 明 某 一 个 特定 的 问题 是 NP 完全 问题 时 ， 我 们 所 采用 的 技术 与 本 书 中 大 部 分 内 容 里 设计 
和 分 析 算 法 时 用 到 的 技术 都 有 所 不 同 。 之 所 以 会 产生 这 样 的 差别 ， 有 一 个 根本 的 原因 ， 当 证 明 一 
个 问题 为 NP 完全 问题 时 ， 我 们 是 在 陈述 它 是 一 个 多 么 困难 的 问题 (或 至 少 我 们 认为 他 有 多 难 )。 
我 们 并 不 是 要 证 明 存 在 某 个 有 效 的 算法 ， 而 是 要 证 明 不 太 可 能 存在 有 效 的 算法 。 从 这 样 的 角度 
RE, NP 完全 性 证 明和 8. 1 节 中 “对 任何 比较 排序 算法 的 运行 时 间 下 界 OC lg n)” 的 证 明 有 点 类 
似 。 然 而 ， 在 证 明 NP 完全 性 时 所 用 到 的 特殊 技巧 与 8. 1 中 所 用 的 决策 树 方法 却 是 大 相 径 庭 的 。 

在 证 明 一 个 问题 是 NP 完全 问题 时 ， 要 依赖 于 三 个 关键 概念 。 

判定 问题 与 最 优化 问题 

很 多 有 趣 的 问题 都 是 最 优化 问题 (optimization problem)， 其 中 每 一 个 可 行 的 解 ( 即 “合理 的 
解 ”) 都 有 一 个 关联 的 值 ， 我 们 希望 找 出 一 个 具有 最 佳 值 的 可 行 解 。 例 如 ， 在 一 个 称 为 
SHORTEST-PATH 的 问题 中 ， 已 知 无 向 图 G 以 及 顶点 u 和 wv， 要 找 出 wu 和 w 之 间 经 过 边 数 目 最 
少 的 一 条 路 径 。 换 句 话 说 ，SHORTEST-PATH 是 一 个 在 无 权 、 无 向 图 中 的 单 点 对 间 最 短路 径 问 
题 。 然 而 ， NP 完全 性 不 适合 直接 应 用 于 最 优化 问题 ， 但 适合 用 于 判定 问题 (decision problem), 
因为 这 种 问题 的 答案 是 简单 的 “是 ”或 “ 否 ”( 或 者 ， 更 为 形式 化 地 ， 管 案 是 1” 或 “0”)。 

尽管 证 明 一 个 问题 是 NP 完全 问题 会 将 我 们 的 目光 局 限于 判定 问题 ， 但 我 们 可 以 利用 最 优化 
问题 与 判定 问题 之 间 存 在 的 方便 关系 。 通 常 ， 通 过 对 待 优化 的 值 强加 一 个 界 ， 就 可 以 将 一 个 给 定 
的 最 优化 问题 转化 为 一 个 相关 的 判定 问题 了 。 例 如 ， 对 SHORTEST-PATH 问题 来 说 ， 有 一 个 相 
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关 的 判定 问题 ( 称 之 为 PATH)， 就 是 要 判定 给 定 的 有 疝 图 G、 顶 点 ww 和 w、 一 个 整数 &， 在 w 和 vw 
之 间 是 否 存在 一 条 至 多 包含 条 边 的 路 径 。 

当 我 们 试图 证 明 最 优化 问题 “不 易 处 理 ” 时 ， 就 可 以 利用 该 问题 与 相关 的 判定 问题 之 间 的 关 
系 。 这 是 因为 ， 从 某 种 意义 上 来 说 ， 判 定 问题 要 “更 容易 一 些 ”， 或 至 少 “ 不 会 更 难 ”。 举 一 个 十 分 
典型 的 例子 ， 我们 可 以 先 解决 SHORTEST-PATH 问题 再 将 找 出 最 短路 径 上 边 的 数目 与 相关 判 
定 问 题 中 的 参数 & 进行 比较 ， 从 而 解决 PATH 问题 。 换 名 话说， 如 果 某 个 最 优化 问题 比较 容易 ， 
那么 其 相关 的 判定 问题 也 会 比较 容易 。 按 照 与 NP 完全 性 更 为 相关 的 方式 来 说 ， 就 是 如 果 我 们 能 
够 提供 证 据 表明 某 个 判定 问题 是 个 困难 问题 ， 就 等 于 提供 了 证 据 表 明 其 相关 的 最 优化 问题 也 是 
困难 的 。 因 此 ， 即 使 NP 完全 性 理论 限制 了 人 们 对 判定 问题 的 关注 ， 但 它 对 最 优化 问题 通常 还 是 
有 一 定 意义 的 。 

归 约 

上 述 有 关 证 明 问 题 不 难于 也 不 简单 于 男 一 个 问题 的 说 法 ， 对 两 个 问题 都 是 判定 问题 也 是 适 
用 的 。 我 们 可 以 把 这 一 思想 应 用 于 几乎 每 一 个 NP 完全 问题 的 证 明 中 ， 做 法 如 下 : 我 们 来 考虑 一 
个 判定 问题 A， 希 望 在 多 项 式 时 间 内 解决 该 问题 。 称 某 一 特定 问题 的 输入 为 该 问题 的 实例 
(instance) 。 例 如 ，PATH 问题 中 的 实例 可 以 是 某 一 特定 的 图 G、G 中 特定 的 点 上 和 wv， 以 及 一 个 
特定 的 整数 &。 现 在 ,假设 有 男 一 个 不 同 的 判定 问题 B， 我 们 知道 如 何在 多 项 式 时 间 内 解决 它 。 
最 后 假设 有 一 个 过 程 ， 它 可 以 将 A 的 任何 实例 a 转化 成 B 的 具有 以 下 特征 的 某 个 实例 8: 

。 转换 操作 需要 多 项 式 时 间 。 

。 两 个 实例 的 解 是 相同 的 。 也 就 是 说 ，a 的 解 是 “是 >”， 当 且 仅 当 B8 的 解 也 是 “是 ”。 

我 们 称 这 一 过 程 为 多 项 式 时 间 归 约 算法 (reduction algorithm) ， 并 且 如 图 34-1 所 示 ， 它 提供 了 一 
种 在 多 项 式 时 间 内 解决 问题 A 的 方法 : 

1. 给 定 问题 A 的 实例 c， 利 用 多 项 式 时 间 归 约 算法 ， 将 它 转 化 为 问题 B 的 一 个 实例 6。 

2. 在 实例 68 上， 运行 B 的 多 项 式 时 间 判 定 算法 。 

3. 将 B 的 解 作 为 a 的 解 。 

只 要 上 述 过程 中 的 每 一 步 只 需要 多 项 式 时 间 ， 则 所 有 三 步 合 起 来 也 只 需要 多 项 式 时 间 ， 这 样 ， 我 
们 就 有 了 一 种 在 多 项 式 时 间 对 a 进行 判断 的 方法 。 换 句 话 说 ， 通 过 将 问题 A 的 求解 “ 归 约 ”为 对 
问题 B 的 求解 ， 就 可 以 利用 问题 B 的 “ 易 求解 性 ”来 证 明 A 的 “ 易 求 解 性 ”。 





图 34-1 在 给 定 另 一 个 问题 B 的 多 项 式 时 间 判 定 算法 后 ， 如 何 利 用 多 项 式 时 间 归 约 算 法 在 多 
项 式 时 间 内 解决 判定 问题 A。 将 A 的 实例 a 在 多 项 式 时 间 内 转换 为 B 的 实例 8， 在 
多 项 式 时 间 内 解决 B， 再 将 8 作为 a 的 解 


前 文 说 过 NP 完全 问题 是 为 了 反映 一 个 问题 有 多 难 ， 而 不 是 为 了 反映 它 有 多 容易 ， 因 此 ， 我 
们 以 相反 的 方式 来 利用 多 项 式 时 间 归 约 ， 从 而 说 明 某 一 问题 是 NP 完全 的 。 可 以 将 这 一 思想 进 一 
步 延伸， 并 说 明 如 何 利用 多 项 式 时 间 的 归 约 问题 来 表明 对 某 一 特定 问题 B 而 言 ， 不 存在 多 项 式 
时 间 算 法 。 假 设 有 一 个 “判定 问题 *A， 我 们 已 经 知道 它 不 可 能 存在 多 项 式 时 间 算 法 。( 此 时 暂且 
不 考虑 如 何 找 到 这 样 一 个 A。) 进 一 步 假 设 有 一 个 多 项 式 时 间 的 归 约 ， 它 将 A 的 一 个 实例 转化 为 
一 个 B 的 实例 。 现 在 ， 可 以 用 反 证 法 来 证 明 B 不 可 能 存在 多 项 式 时 间 算 法 。 那 么 应 用 如 图 34-1 
所 示 的 方法 ,我 们 就 有 某 种 方法 能 在 多 项 式 时 间 内 解决 A， 而 这 与 A 没有 多 项 式 时 间 算 法 这 一 
(RF Je 
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至 于 NP 完全 性 ， 我 们 不 能 假设 问题 A 绝对 没有 多 项 式 时 间 算 法 。 然 而 ， 证 明 的 方法 是 类 似 
的 ， 即 在 问题 A 是 NP 完全 的 假设 下 ， 证 明 问 题 B 是 NP 完全 的 。 

第 一 个 NP 完全 问题 

由 于 归 约 这 一 技巧 依赖 于 条 件 “ 已 知 一 个 NP 完全 问题 ?才能 去 解决 另 一 不 同 的 NP 完全 问 
题 ， 所 以 我 们 需要 找到 “第 一 个 ”NP 完全 问题 。 我 们 将 使 用 的 这 第 一 个 问题 就 是 电路 可 满足 性 问 
题 (circuit-satisfiability problem) ， 在 这 个 问题 中 ,已 知 一 个 由 AND, OR 和 NOT 门 所 组 成 的 布 
尔 组 合 电路 ， 我 们 希望 知道 这 个 电路 是 否 存在 一 组 布尔 输入 ， 能 够 使 它 的 输出 为 1。 我 们 还 会 在 
34. 3 节 中 证 明 这 一 问题 是 NP 完全 的 。 

本 章 内 容 概述 

本 章 主 要 研究 NP 完全 性 对 算法 分 析 有 着 最 直接 影响 的 几 个 方面 。 在 34.1 节 中 ， 要 对 “ 问 
题 ” 这 一 概念 做 形式 化 的 定义 ， 还 要 定义 复 末 类 P， 它 包含 了 多 项 式 时 间 内 可 解 的 判定 问题 。 同 
时 ， 我 们 还 要 看 看 这 些 概 念 是 如 何 对 应 到 形式 语言 理论 的 结构 框架 中 去 的 。34. 2 节 中 定义 了 关 
于 判定 问题 的 NP 类， 这 些 问 题解 可 以 在 多 项 式 时 间 内 进行 验证 。 在 本 节 中 ， 还 要 形式 化 地 提出 
PÆNP 这 一 问题 。 

34. 3 节 主 要 讨论 如 何 通 过 多 项 式 时 间 的 归 约 来 研究 问题 之 间 的 关系 。 它 定义 了 NP 完全 性 ， 
并 概述 了 一 个 被 称 为 “电路 可 满足 性 ”的 问题 是 NP 完全 问题 的 证 明 过 程 。 在 找 出 一 个 NP 完全 问 
题 之 后 ，34. 4 节 中 要 讨论 如 何 利用 归 约 方法 ， 更 简便 地 证 明 其 他 一 些 问题 也 是 NP 完全 问题 。 通 
过 证 明 两 个 公式 可 满足 性 问题 是 NP 完全 的 ， 对 归 约 方法 加 以 说 明 。 另 外 ， 我 们 会 在 34. 5 节 中 
给 出 其 他 一 些 NP 完全 问题 。 


34.1 多 项 式 时 间 


在 开始 研究 NP 完全 性 之 前 ， 先 来 形式 化 地 定义 一 下 多 项 式 时 间 可 解 问题 。 我 们 通常 都 把 这 
些 问题 看 做 是 易 处 理 的， 其 原因 是 哲学 方面 的 ， 而 不 是 数学 的 。 我 们 可 以 提供 三 点 论据 

第 一 ， 虽 然 把 所 需 运行 时 间 为 @(m”) 的 问题 作为 “难处 理 问题 ?也 有 其 合理 之 处 ， 但 在 实际 
中 却 只 有 极 少 数 问题 需要 如 此 高 次 的 多 项 式 时间 。 在 实际 中 ， 所 遇 到 的 典型 多 项 式 时 间 可 解 问 
题 所 需 的 时 间 要 少 得 多 。 经 验 表明 ， 一 旦 某 一 问题 的 第 一 个 多 项 式 时 间 算 法 被 发 现 后 ， 往 往 跟着 
就 会 发 现 更 为 有 效 的 算法 。 即 使 对 某 个 问题 来 说 ， 当 前 最 佳 算法 的 运行 时 间 为 @(m”)， 也 很 有 
可 能 在 极 短 的 时 间 内 又 会 发 现 运行 时 间 更 短 的 算法 。 

第 二 ， 对 很 多 合理 的 计算 模型 来 说 ， 在 一 个 模型 上 用 多 项 式 时 间 可 解 的 问题 ， 在 另 一 个 模型 
上 也 可 以 在 多 项 式 时 间 内 解决 。 例 如 ， 用 本 书 中 大 量 使 用 的 串 行 随机 存 取 计 算 机 在 多 项 式 时 间 
内 可 求解 的 问题 类 ， 与 抽象 的 图 灵机 上 在 多 项 式 时 间 内 可 求解 的 问题 类 是 相同 的 9， 而且， 即使 
处 理 器 数目 随 输入 规模 以 多 项 式 增加 ， 它 也 与 利用 并 行 计算 机 在 多 项 式 时 间 内 可 求解 的 问题 类 
相同 。 | 

第 三 ， 由 于 在 加 法 、 乘 法 和 组 合 运算 下 多 项 式 是 封闭 的 ， 因 此 ， 多 项 式 时 间 可 解 问题 具 有 很 
好 的 封闭 性 。 例 如 ， 如 果 一 个 多 项 式 时 间 算 法 的 输出 传送 给 另 一 个 多 项 式 时 间 算 法 作为 输入 ， 则 
得 到 的 组 合算 法 仍 是 多 项 式 时 间 算 法 。 练 习 34. 1-5 要 求 读者 证 明 : 如 果 一 个 多 项 式 时 间 算法 对 
另 一 个 多 项 式 时 间 的 子 程序 进行 常数 次 调用 ， 那 么 组 合算 法 的 运行 时 间 也 是 多 项 式 的 。 

抽象 问题 

为 了 理解 多 项 式 时 间 可 解 问题 类 ， 首 先 必须 对 所 谓 的 “ 间 题 ”这 一 概念 进行 形式 化 定义 。 定 义 
抽象 问题 Q 为 在 问题 实例 集合 I 和 问题 解 集合 S 上 的 一 个 二 元 关系 。 例 如 ，SHORTEST-PATH 
的 一 个 实例 是 由 一 个 图 和 两 个 顶点 所 组 成 的 三 元 组 。 其 解 为 图 中 的 顶点 序列 ， 序 列 可 能 为 空 (两 


O ”关于 图 灵机 模型 的 详细 讨论 ， 可 参考 Hopcroft 和 Ullman[180 或 者 Lewis 和 Papadimitriou[ 236], 
| 
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个 顶点 间 不 存在 通路 ) 。SHORTEST-PATH 问题 本 身 就 是 一 个 关系 ， 它 把 图 的 每 个 实例 和 两 个 
顶点 与 图 中 联系 这 两 个 顶点 的 最 短路 径 联 系 在 了 一 起 ， 因 为 最 短路 径 不 一 定 是 唯一 的 ， 因 此 ， 一 
个 给 定 的 问题 实例 可 能 有 多 个 解 。 

抽象 问题 的 这 个 形式 定义 对 我 们 的 要 求 来 说 显得 太 笼 统 。 为 了 简单 起 见 ，NP 完全 性 理论 把 
注意 力 集中 在 判定 问题 上 ， 即 那些 解 为 “是 ”或 “ 否 ” 的 问题 。 于 是 ， 我 们 可 以 把 抽象 的 判定 问题 看 
做 是 从 实例 集 T 映 射 到 解 集 {0，1} 上 的 一 个 函数 。 例 如 ， 一 个 与 SHORTEST-PATH 有 关 的 判定 
问题 是 我 们 先前 见 到 过 的 较为 简单 的 PATH 问题 。 它 是 这 样 的 ， 如 果 I=(G, u, v, RAIA 
题 PATH 的 一 个 实例 ， 那 么 阁 从 u 到 w 的 最 短路 径 的 长 度 至 多 为 RA, M PATH(C) 三 1( 是 )， 
否则 PATHG) 二 0( 否 )。 许 多 抽象 问题 并 不 是 判定 问题 ， 而 是 最 优化 问题 ， 在 这 些 问题 中 ， 某 些 
量 必须 被 最 大 化 或 最 小 人 化。 然而， 如 我 们 在 上 面 看 到 的 ， 将 最 优化 问题 转化 为 一 个 “判定 问题 ”" 通 
常 并 不 困难 。 

编码 

如 果 要 用 一 个 计算 机 程序 来 求解 一 个 抽象 问题 ， 就 必须 用 一 种 程序 能 理解 的 方式 来 表示 问 
题 实例 。 抽 象 对 象 集合 S 的 编码 是 从 S 到 二 进 制 串 集合 的 映射 ee 。 例 如 ， 我 们 都 熟悉 把 自然 数 
N={0, 1, 2, 3, 4, °°} 编码 为 串 {10，1，10，11，100，…}。 在 这 种 编码 方案 中 ，e(17) = 
10001。 看 过 计算 机 键盘 上 字符 的 表示 法 的 人 都 会 熟知 ASCI 码 。 在 ASCI 码 中 ，A 的 编码 为 
1000001。 即 使 是 一 个 复合 对 象 ， 也 可 以 把 其 组 成 部 分 的 表示 进行 组 合 ， 从 而 把 它 编 码 为 一 个 二 
进 制 串 。 多 边 形 、 图 、 函 数 、 有 序 对 、 程 序 等 都 可 以 编码 为 二 进 制 串 。 

因此 ，“ 求 解 ” 某 个 抽象 判定 问题 的 计算 机 算法 实际 上 是 把 一 个 问题 实例 的 编码 作为 其 输入 。 
我 们 把 以 二 进 制 串 集合 为 实例 集 的 问题 称 为 具体 问题 。 如 果 当 提供 给 算法 的 是 长 度 为 n= 二 |i| 的 
一 个 问题 实例 i 时 ， 算法 可 以 在 OCT(n)) 时 间 内 产生 问题 的 解 ， 我 们 就 说 该 算法 在 时 间 OT) 
内 解决 了 该 具体 问题 > 。 因 此 ， 如 果 对 某 个 常数 &， 存 在 一 个 能 在 OC ) 时 间 内 求解 出 某 具 体 问 
题 的 算法 ， 就 说 该 具体 问题 是 多 项 式 时 间 可 解 的 。 

现在 可 以 形式 化 地 定义 复杂 类 PP 为 在 多 项 式 时 间 内 可 解 的 具体 判定 问题 的 集合 。 

我 们 可 以 利用 编码 将 抽象 问题 映射 到 具体 问题 上 。 给 定 一 个 抽象 判定 问题 Q， 其 映射 为 实例 
集合 IT 到 {0，1)}， 利 用 编码 e: I->{0，1}* 可 以 导出 与 该 问题 相关 的 具体 判定 问题 ， 用 e(Q) 来 表 
示 S。 如 果 一 个 抽象 问题 实例 i EI 的 解 为 Q(i)€E {0，1}， 则 该 具体 问题 实例 e(i) € {0，1)* 的 解 
也 是 Q(i)。 在 技术 上 ， 二 进 制 串 可 能 表示 一 组 无 意义 的 抽象 问题 实例 。 为 了 方便 起 见 ， 假 定 任 何 
这 样 的 串 都 映射 到 0。 因 此 ， 对 表示 抽象 问题 实例 的 编码 的 二 进 制 串 实 例 ， 具 体 问题 与 抽象 问题 
产生 同样 的 解 。 

我 们 希望 通过 编码 的 方式 把 多 项 式 时 间 可 解 性 的 定义 从 有 具体 问题 扩展 到 抽象 问题 ， 但 同时 
也 希望 这 一 定义 与 任何 特定 的 编码 无 关 ， 即 求解 一 个 问题 的 效率 不 应 依赖 于 问题 的 编码 。 遗 憾 
的 是 ， 实 际 上 这 种 依赖 性 是 相当 严重 的 ， 例如， 假定 把 一 个 整数 作为 一 个 算法 的 唯一 输入 . 
并 假设 算法 的 运行 时 间 为 BC&) 。 如 果 提 供 的 整数 & 是 一 元 的 ( 即 由 & 个 1 组 成 的 串 ) ， 那 么 对 长 
度 为 2 的 输入 ， 该 算法 的 运行 时 间 为 多 项 式 时 间 O(n)。 但 是 ， 如 果 采 用 更 自然 的 二 进 制 来 表 
示 整 数 &， 则 输入 长 度 为 "一 [lg&j 十 1。 在 这 种 情况 下 ， 该 算法 的 运行 时 间 为 OC) =0(2"), È 
与 输入 规模 成 指数 关系 。 因 此 ， 根 据 编码 的 不 同 ， 算 法 的 运行 时 间 是 多 项 式 时 间或 超 多 项 式 
时 间 。 


O e 的 陪 域 不 一 定 是 二 进 制 串 ;定义 在 一 个 有 限 字母 表 ( 至 少 包 含 两 个 符号 ) 上 的 任何 串 集 都 是 可 以 的 。 

O ”假定 此 算法 的 输入 是 独立 于 其 输出 的 。 由 于 我 们 至 少 需 要 一 个 时 间 步 来 产生 输出 的 每 一 位 ， 并 且 共 有 OCT) ， 
个 时 间 步 ， 所 以 输出 规模 为 OC(T(n))。 

© 我 们 将 用 (0，1) 表示 所 有 由 集合 {0，1} 中 符号 构成 的 串 的 集合 。 
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因此 ， 对 一 个 抽象 问题 如 何 编码 ， 对 理解 多 项 式 时 间 是 相当 重要 的 。 如 果 不 先 指定 编码 ， 就 
不 可 能 真正 谈 及 对 一 个 抽象 问题 的 求解 。 然 而 ， 在 实际 应 用 中 ， 如 果 不 采用 代价 高 昂 的 编码 (如 
一 元 编码 )， 则 问题 的 实际 编码 形式 对 问题 是 否 能 在 多 项 式 时 间 内 求解 的 影响 是 微不足道 的 。 例 
如 ， 因 为 在 多 项 式 时 间 内 ， 很 容易 将 三 进 制 表示 的 整数 转化 为 二 进 制 表示 的 整数 ， 所 以 三 进 制 代 
替 二 进 制 表示 整数 对 问题 是 否 能 在 多 项 式 时 间 内 求解 没有 任何 影响 。 

对 一 个 函数 f: (0, 1}* 一 {0，1}* ， 如 果 存 在 一 个 多 项 式 时 间 的 算法 A， 它 对 任意 给 定 的 输 
入 xzE {0，1}" ， 都 能 产生 输出 f(x)， 则 称 该 函数 是 一 个 多 项 式 时 间 可 计算 的 函数 。 对 某 个 问题 
实例 集 IT， 如 果 存 在 两 个 多 项 式 时间 可 计算 的 函数 fie 和 fo 满足 对 任意 i€E TI， 有 fi, (ea Ss 
eli), H fa (e,(i)) =e, Ci), 我 们 就 说 这 两 种 编码 ae 和 e 是 多 项 式 相关 的 2 。 也 就 是 说 ，e, (2) BY 
以 由 一 个 多 项 式 时 间 的 算法 根据 编码 e,(i) 求 出 ， 反 之 亦 然 。 如 果菜 一 抽象 问题 的 两 种 编码 e 和 
e 是 多 项 式 相关 的 ， 则 如 下 面 引 理 所 述 ， 该 问题 本 身 是 否 是 多 项 式 时 间 可 解 与 选用 哪 一 种 编码 
无 关 。 

引 理 34.1 设 Q 是 定义 在 一 个 实例 集 T 上 的 一 个 抽象 判定 问题 el 和 es 是 了 上 多 项 式 相关 
的 编码 ， 则 ei(Q) EP 当 且 仅 当 es(Q@)EP。 

证 明 ”只 需要 证 明 一 个 方向 (本 证 明 中 取 正 向 )， 因 为 反 向 与 正 向 是 对 称 的 。 假 定 对 某 一 常数 
k，e1(Q) 能 在 OL) 的 时 间 内 求解 。 进 一 步 ， 再 假定 对 任意 问题 实例 i 和 某 个 常数 c， 根 据 编码 
e (i), TAERE Ol) 内 计算 出 编码 a), 其 中 n= 二 |es(i)|。 为 了 在 输入 es(i) 上 求解 问题 
ez(Q)， 可 以 先 计算 出 e (i)， 然 后 在 输入 e (i) 上 运行 关于 e1(Q) 的 算法 。 这 一 过 程 需 要 多 长 时 
间 ? 转换 代码 所 需 的 时 间 为 OCx)， 因 此 |e (2) | 二 OCn')， 这 是 因为 品行 计算 机 的 输出 不 可 能 比 
其 运行 时 间 更 长 。 求 解 关于 e (2) 的 问题 所 需 的 时 间 为 O eCi)1*) 二 OCn*)， 因 为 c 和 都 是 党 
数 ， 所 以 这 也 是 多 项 式 时 间 的 。 加 

综 上 所 述 ， 对 一 个 抽象 问题 的 实例 ， 无 论 采用 二 进 制 或 三 进 制 来 进行 编码 ， 对 其 “复杂 
性 ”都 没有 影响 ， 也 就 是 说 ， 对 其 是 否 为 多 项 式 时 间 可 解 没有 影响 。 但是， 如 果 对 实例 进行 
一 元 编码 ， 则 其 复杂 性 可 能 会 变化 。 为 了 能 够 用 一 种 与 编码 无 关 的 方式 进行 描述 ， 一 般 都 假 
定 用 合理 的 、 简 洁 的 方式 对 问题 实例 进行 编码 ， 除 非 我 们 特殊 指明 。 更 准确 地 说 ， 我 们 将 候 
定 一 个 整数 的 编码 与 其 二 进 制 表示 是 多 项 式 相关 的 ， 并 且 一 个 有 限 集合 的 编码 与 其 相应 的 括 
在 括号 中 元 素 间 用 逗号 隔 开 的 列表 的 编码 是 多 项 式 相关 的 (ASCII 码 就 是 这 样 的 一 种 编码 方 
案 ) 。 有 了 这 样 一 种 “标准 的 ”编码 ， 就 可 以 合理 地 推导 出 其 他 数学 对 象 (如 元 组 、 图 和 公式 
等 ) 的 编码 了 。 为 了 表示 一 个 对 象 的 标准 编码 ， 我 们 将 对 象 用 尖 括 号 括 起 来 ， 如 《Gy MR 
图 G 的 标准 编码 。 

只 要 隐 式 地 使 用 与 标准 编码 多 项 式 相关 的 编码 ， 就 可 以 避免 参照 任何 特定 的 编码 ， 而 直接 
讨论 抽象 问题 ， 因 为 我 们 知道 ， 选 取 哪 一 种 编码 对 问题 是 否 多 项 式 时 间 可 解 没 有 任何 影响 。 从 
本 章 起 ， 除 显 式 地 指明 其 他 情况 外 ， 我 们 一 般 假 设 所 有 问题 实例 都 是 采用 标准 编码 的 二 进 制 
串 。 此 外 ， 我 们 也 将 忽略 抽象 问题 与 具体 问题 之 间 的 差别 。 但 是 ， 读 者 也 应 该 注意 对 实际 中 产 
生 的 某 些 问 题 ， 其 标准 编码 并 非 是 显而易见 的 ， 并 且 ， 选 择 编码 方式 对 问题 的 求解 会 带 来 不 同 
的 影响 。 

形式 语言 体系 

关注 判定 问题 有 一 个 方便 之 处 ， 就 是 它们 使 得 形式 语言 理论 的 使 用 变 得 比较 容易 了 。 让 我 
们 先 来 回顾 一 下 这 一 理论 中 的 一 些 定义 。 字 母 表 已 是 符号 的 有 限 集合 。 字 母 表 马上 的 语言 工 是 


O ”从 技术 上 说 ， 我 们 还 要 求 函 数 fis 和 fa “将 非 实例 映射 到 非 实例 "。 对 于 某 一 编码 。， 其 非 实例 是 指 一 个 虽 
zE {0，1)* ,使 得 没有 任何 实例 能 满足 Ci) 一 z。 我 们 要 求 对 于 编码 o 的 每 个 实例 =， 都 存在 fi2(z) 二 y， 其 
中 yy 是 6 的 某 个 非 实例 ， 并且， 对 ez 的 每 个 非 实例 z'， 都 有 fu (zx) 二 y， 其 中 是 61 的 某 个 实例 。 
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HEPAT SARN BAKERS. Min, MRo={0, 1}, BA L=({10, 11, 101, 111, 1011, 
1101，10001} 是 关于 素数 的 二 进 制 表示 的 语言 。 我 们 用 e 表示 空 串 ， 用 % 表 示 空 语言 ， 之 上 所 有 
串 构 成 的 语言 表示 为 之 ” 。 例 如 ， 如 果 之 王 (0，1)， 则 >” 一 {e，0，1，00，01，10，11，000，…}) 
就 是 所 有 二 进 制 串 的 集合 。 之 上 的 每 个 语言 工 都 是 2 "的 一 个 子 集 。 

我 们 可 以 把 多 种 运算 作用 于 语言 。 集 合 论 中 的 运算 (如 并 与 交 ) ， 其 直接 来 自 集合 论 定义 。 定 
义工 的 补 为 工 三 之 一 L。 两 种 语言 L! ML, 的 连结 (concatenation)LiLs 是 语言 

L= {zz :zx E L Hz € Lz} 
语言 上 的 闭 包 (或 Kleene 星 ) 为 语言 
L ={e} ULUL UL ls 

Hp 是 LL 与 其 自身 进行 & 次 并 置 运算 后 得 到 的 语言 。 

从 语言 理论 的 观点 来 看 ， 任 何 判 定 问题 Q@ 的 实例 集 即 集合 >" ， 其 中 多 二 {0，1}。 因 为 Q 完 全 
是 由 解 为 1( 是 ) 的 问题 实例 来 描述 的 ， 因 而 可 以 把 Q@ 看 做 是 定义 在 2 二 {0，1} 的 一 个 语言 L， 其 中 

L={X€2" : Q(x) = 1} 
例如 ， 与 判定 问题 PATH 对 应 的 语言 
PATH ={(G,u,v,k) :G = (VE) 是 一 个 无 向 图 ,xmvEV,R 志 0 是 一 个 整数 ， 
即 G 中 从 xz 到 wv 存在 一 条 长 度 至 多 为 k 的 路 径 } 

(在 对 问题 本 身 无 影响 的 时 候 ， 有 时 用 同一 个 名 称 ( 如 上 述 的 PATH) 来 表示 一 个 判定 问题 和 与 其 
相应 的 语言 。 

形式 语言 体系 可 以 用 来 表示 判定 问题 与 求解 这 些 问题 的 算法 之 间 的 关系 。 如 果 对 给 定 输入 
x， 算法 输出 A(x) 二 1， 我 们 就 说 算法 A 接受 串 zxE (0，1}*" 。 被 算法 A 接受 的 语言 是 串 的 集合 
L=({x€{0, 1}* : A(z) 二 1}， 即 为 算法 所 接受 的 串 的 集合 。 如 果 AG) = 二 0， 则 算法 A 拒绝 
Bx. 

即使 语言 被 算法 A 所 接受 ， 该 算法 也 不 一 定 会 拒绝 输入 一 个 串 z 氏 工 。 例 如 ， 某 一 算法 可 
能 会 永远 循环 下 去 。 如 果 工 中 每 个 二 进 制 串 只 是 被 算法 A 接受 或 拒绝 ， 则 称 语言 L 由 算法 A FA 
定 。 如 果 存 在 某 个 常数 有 ， 使 得 对 任意 长 度 为 n 的 串 xEL， 算法 A EHHO ARZ c MA 
言 工 在 多 项 式 时 间 内 被 算法 A 接受 。 如 果 存 在 某 个 常数 有 &， 使 得 对 于 任意 长 度 为 n WR 
x€{0, 1}, 算法 A 可 以 在 时 间 OCw) 内 正确 地 判定 xEL， 则 称 语言 工 在 多 项 式 时 间 内 被 算法 A 
判定 。 因 此 ， 要 接受 一 个 语言 ， 算 法 只 需 根 据 提供 的 L 中 的 字符 串 给 出 一 个 答案 但 是 要 判定 某 
一 语言 ， 算 法 必须 正确 地 接受 或 者 拒绝 (40，1》 中 的 每 一 个 串 。 

例如 ， 语 言 PATH 就 能 够 在 多 项 式 时 间 内 被 接受 。 一 个 多 项 式 时 间 的 接受 算法 要 验证 G 是 否 编 
码 一 个 无 向 图 GC，x 和 wv 是 否 是 G 中 的 顶点 。 利 用 广度 优先 搜索 计算 出 G 中 从 到 wv 的 最 短路 径 。 然 
后 把 得 到 的 最 短路 径 上 的 边 数 与 进行 比较 。 如 果 G 编 码 了 无 向 图 ， 并 且 从 到 wv 的 路 径 中 至 多 有 
条 边 ， 则 算法 输出 1 并 停机 。 否 则 ， 该 算法 永远 运行 下 去 。 但 是 ， 这 一 算法 并 没有 对 PATH 问题 进行 
判定 ， 因 为 对 最 短路 径 长 度 多 于 & 条 边 的 实例 ， 算 法 并 没有 显 式 地 输出 0。PATH 的 判定 算法 必须 显 
式 地 拒绝 不 属于 PATH 的 二 进 制 串 。 对 PATH 这 样 的 判定 问题 来 说 ， 很 容易 设计 出 这 样 一 种 判定 算 
法 : 当 不 存在 从 * 到 "至 多 包含 & 条 边 的 路 径 时 ， 算 法 不 是 永远 地 运行 下 去 ， 而 是 输出 0 并 停机 。 对 
于 其 他 的 一 些 问题 (如 图 灵 停 机 问题 )， 存 在 接受 算法 ， 但 是 却 不 存在 判定 算法 。 

我 们 可 以 非 形式 地 定义 一 个 复杂 类 为 语言 的 一 个 集合 ， 某 一 语言 是 否 属于 该 集合 ， 可 以 通 
过 某 种 复杂 性 度量 来 确定 ， 比 如 一 个 算法 的 运行 时 间 ， 该 算法 可 以 确定 某 个 给 定 的 串 zx 是否 属 
于 语言 L。 当 然 ， 复 杂 类 的 实际 定义 要 更 专业 一 些 、 


O 更 多 复杂 类 ， 请 参见 Hartmanis 和 Stearns[162] 的 那 篇 开创 性 文章 。 
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运用 上 述 的 形式 语言 理论 体系 ， 可 以 给 出 关于 复杂 类 P 的 另外 一 种 定义 : 
P= {LE {0,1)* :存在 一 个 算法 A, 可 以 在 多 项 式 时 间 内 判定 工 } 

EKE, P 也 是 能 在 多 项 式 时 间 内 被 接受 的 语言 类 。 

定理 34.2 P={L: 工 能 被 一 个 多 项 式 时 间 算 法 所 接受 } 。 

证 明 因为 由 “多 项 式 时 间 算 法 判定 的 语言 类 ”是 “多 项 式 时 间 算 法 接受 的 语言 类 ”的 一 个 
子 集 ， 所 以 ,我 们 仅 需 要 证 明 如 果 工 能 被 一 个 多 项 式 时 间 的 算法 所 接受 ， 它 也 能 够 被 一 个 多 
项 式 时 间 的 算法 所 判定 。 设 工 是 被 某 个 多 项 式 时 间 算 法 A 所 接受 的 语言 。 我 们 将 运用 经 典 
的 “模拟 ”论证 方法 ， 来 构造 另 一 个 能 够 判定 工 的 多 项 式 时 间 算 法 A'。 因 为 对 某 个 常数 &，A 
能 在 O(x) 时 间 内 接受 工 ， 所 以 也 存在 一 个 常数 c， 使 得 A 至 多 在 cn 步 内 可 以 接受 L。 对 任 
意 输 入 的 串 zx， 算法 A' 模 拟 A 在 cm: 步 内 的 操作 状态 ,在 cx 步 后 ， 算 法 A' 即 检查 算法 AM 
行为 。 如 果 A 接受 了 xz， 则 A' 通 过 输出 1 来 接受 z+。 如 果 A 没有 接受 z+， 则 A' 通 过 输出 0 来 
拒绝 z。A' 模 拟 A 的 运行 时 间 的 增长 不 会 大 于 一 个 多 项 式 因 子 ， 因 此 ，A:' 是 一 个 能 判定 工 的 
多 项 式 时 间 算法 。 

注意 ， 定 理 34. 2 的 证 明 过 程 是 非 构 造 性 的 。 对 于 一 个 给 定 的 语言 LE P， 我 们 也 许 实际 上 并 
不 知道 接受 工 的 算法 A 的 运行 时 间 界 ， 然 而 ， 我 们 知道 这 样 的 一 个 界 是 存在 的 。 因 此 ， 我 们 知 
道 存 在 着 能 够 检查 该 界 的 算法 4A'， 只 是 这 一 算法 不 容易 找到 而 已 。 


练习 

34.1-1 定义 最 优化 问题 LONGEST-PATH-LENGTH 为 一 个 关系 ， 它 将 一 个 无 向 图 的 每 个 实 
例 、 两 个 顶点 与 这 两 个 顶点 间 的 一 条 最 长 简单 路 径 中 所 包含 的 边 数 联系 了 起 来 。 定 义 判 
定 问题 LONGEST-PATH = {((G, u, v, k)}: G 二 (V，E) 为 一 个 元 向 图 ，u，wEV， 
& 之 0 是 一 个 整数 ， 且 G 中 存在 着 一 条 从 到 "的 简单 路 径 ， 它 至 少 包含 上 条 边 } WEH: 
最 优化 问题 LONGEST-PATH-LENGTH 可 以 在 多 项 式 时 间 内 解决 ， 当 且 仅 当 
LONGEST-PATHEP. 

34. 1-2 ”对 于 在 无 向 图 中 寻找 最 长 简单 回路 这 一 问题 ， 给 出 其 形式 化 的 定义 并 给 出 其 相关 的 判定 
问题 。 男 外 ， 给 出 与 该 判定 问题 对 应 的 语言 。 

34.1-3 给 出 一 种 形式 化 的 编码 ， 它 利用 邻接 矩阵 的 表示 形式 ， 将 有 向 图 编码 为 二 进 制 串 。 另 
外 ， 再 给 出 利用 邻接 表 表 示 的 编码 。 论 证 这 两 种 表示 形式 是 多 项 式 相关 的 。 

34. 1-4 ”练习 16.2-2 中 曾 要 求 读者 给 出 的 0-1 背包 问题 的 “动态 规划 算法 ”， 它 是 一 个 多 项 式 时 间 
的 算法 吗 ? 解释 你 的 答案 。 

34.1-5 TER. 对 于 一 个 多 项 式 时 间 的 算法 ， 当 它 调用 一 个 多 项 式 时 间 的 子 例 程 时 ， 如 果 至 多 调 
用 常数 次 ， 则 此 算法 以 多 项 式 时 间 运 行 ， 但 是 ， 当 进行 多 项 式 次 的 子 例 程 调用 时 ， 此 算 
法 就 可 能 变 成 一 个 指数 时 间 的 算法 。 

34.1-6 iE: 类 了 在 被 看 做 是 一 个 语言 集合 时 ， 在 并 集 、 交 集 、 连 结 、 补 集 和 开 Ieene Biz 
ATESA. CREK, WR L, LEP, WLULEP, LALEP, LLEP, 
LEP, L' EP. 


34. 2 ”多 项 式 时 间 的 验证 

现在 来 看 看 对 语言 成 员 进 行 “验证 ”的 算法 。 例如， 假定 对 判定 问题 PATH 的 一 个 给 定 实例 
(G, u, v, k) 3 同时 也 给 定 了 一 条 从 到 w 的 路 径 p。 我 们 可 以 很 容易 地 检查 p 是 否 在 图 G 中 以 
及 上 的 长 度 是 否 至 多 为 &€。 如 果 是 ， 就 可 以 把 pp 看 做 是 该 实例 确 属于 PATH 的 “证 书 ”。 对 于 判定 
问题 PATH 来 说 ， 这 一 证 书 看 似 并 没有 使 我 们 得 益 多 少 。 但 无 论 如 何 ，PATH 属于 P， 事实 上 ， 
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PATH 可 以 在 线性 时 间 内 求解 ， 因 此 ， 根 据 指 定 的 证 书 来 验证 成 员 所 需 的 时 间 与 从 头 开 始 解决 
问题 的 时 间 一 样 长 。 现 在 来 考虑 这 样 一 个 问题 ， 我 们 已 知 此 问题 没有 多 项 式 时 间 的 判定 算法 ， 但 
是 对 于 指定 的 证 书 ， 验 证 却 是 比较 容易 的 。 

哈密 顿 回 路 

在 无 向 图 中 找 出 哈密 顿 回路 这 一 问题 已 被 研究 100 多 年 了 。 形 式 化 地 说 ， 无 向 图 G(V，E) 
中 的 一 条 哈密 顿 回 路 是 通过 Y 中 每 个 顶点 的 简单 回路 。 具 有 这 种 回路 的 图 称 为 哈密 顿 图 ， 否 则 
称 为 非 哈密 顿 图 。 这 一 名 字 是 为 了 纪念 W.R. Hamiltonian， 他 曾经 描述 过 这 样 一 个 在 正 十 二 面体 
上 的 数学 游戏 ? : (图 34-2(a) ) 一 个 游戏 者 在 任意 5 个 连续 顶点 上 钉 上 5 个 图 钉 ， 另 一 个 游戏 者 必 
须 完成 一 个 包含 所 有 顶点 的 回路 。 正 十 二 面体 是 哈密 顿 图 ， 图 34-2(a) 显示 一 条 哈密 顿 回 路 。 但 
是 ， 并 不 是 所 有 的 图 都 是 哈密 顿 图 。 例 如 ， 图 34-2(b) 显 示 了 一 个 具有 奇数 个 顶点 的 二 分 图 。 练 
习 34. 2-2 中 将 要 求 读 者 证 明 所 有 这 样 的 图 都 是 非 哈密 顿 图 。 





Ca) (b) 


图 34-2 (a) 一 个 表示 正 十 二 面体 中 顶点 、 边 、 面 的 图 ， 其 中 哈密 顿 回 路 以 阴影 边 示 出 。 
(b) 一 个 包含 奇数 个 顶点 的 二 分 图 。 任 何 这 样 的 图 都 是 非 哈密 顿 图 


我 们 可 以 用 下 列 形 式 语言 定义 哈密 顿 回 路 问题 :“ 图 G 中 是 否 具有 一 条 哈密 顿 回路 ?” 
HAM-CYCLE = {(G):G 是 哈密 顿 图 } 

那么 如 何 用 算法 来 判定 语言 HAM-CYCLE。 给 定 一 个 问题 实例 (G? ， 一 种 可 能 的 判定 算法 就 是 罗 
列 出 G 的 顶点 的 所 有 排列 ， 然 后 对 每 一 种 排列 进行 检查 ， 以 确定 它 是 否 是 一 条 哈密 顿 回路 。 那 
么 ， 该 算法 的 运行 时 间 是 多 少 呢 ? 如 果 我 们 使 用 “合理 的 ?方式 把 图 编码 为 其 邻接 和 矩阵， 图 中 顶点 
数 m 为 QWn)， 其 中 n==|(G) | 为 G 的 编码 长 度 ， 则 总 共 会 有 m! 种 可 能 的 顶点 排列 ， 因 此 ， 算 
法 的 运行 时 间 为 AMD SANNA"), MRE OCm) (为 任意 常数 ) 。 因 此 ， 这 种 朴素 算法 
的 运行 时 间 不 是 多 项 式 时 间 的 。 事 实 上 ， 哈 密 顿 问题 是 NP 完全 问题 ， 我 们 将 在 34. 5 节 中 进 一 
步 证 明 这 一 结论 。 

验证 算法 

现在 来 考虑 一 个 稍为 容易 一 些 的 问题 。 假 设 有 人 说 某 给 定 图 C 是 哈密 顿 图 ， 并 提出 可 以 
通过 给 出 沿 着 此 哈密 顿 回路 排列 的 顶点 来 证 明 他 的 话 。 证 明 当 然 是 非常 容易 的 : 仅仅 需要 检 
查 所 提供 的 回路 是 否 是 立 中 顶点 的 一 个 排列 ， 以 及 沿 回路 的 每 条 连续 的 边 是 否 确实 在 图 中 


© Hamiltonl157, p. 624]F 1856 年 10 月 17 日 在 给 他 的 朋友 John T. Graves 的 信 中 写 道 ; 我 发 现 一 些 年 轻 人 现在 : 
对 这 样 一 种 数学 游戏 很 感 兴趣 : 一 个 人 将 5 个 图 钉 钉 在 5 个 连续 顶点 上 …… 另 一 个 游戏 者 试图 再 加 入 另外 15 个 
图 钉 ， 试 图 覆盖 正 十 二 面体 上 的 所 有 顶点 。 这 封 信 中 所 提 到 的 理论 总 是 可 以 被 完成 的 。 
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存在 。 这 样 就 可 以 验证 给 定 的 回路 是 否 是 哈密 顿 回路 。 当 然 ， 该 验证 算法 可 以 在 OA 
内 实现 ， 其 中 ”是 G 的 编码 的 长 度 。 因 此 ， 我 们 可 以 在 多 项 式 时 间 内 验证 图 中 存在 一 条 哈密 
顿 回路 。 

我 们 定义 验证 算法 为 含 两 个 自 变量 的 算法 A， 其 中 一 个 自 变量 是 普通 输入 串 z， 另 一 个 是 称 
为 “证 书 ” 的 二 进 制 串 y。 如 果 存 在 一 个 证 书 y 满足 A(z， 妇 于 1， 则 该 含 两 个 自 变 量 的 算法 A 验 
证 了 输入 串 z。 由 一 个 验证 算法 A 所 验证 的 语言 是 : 

L(x € {0,1)" :存在 yE€ {0,1}' ,满足 A(zx,y) = 1} 

从 直观 上 来 看 ， 如 果 对 任意 串 zxE 工 ， 都 存在 一 个 证 书 y HAE A 可 以 用 y RENTEL, 
则 算法 A 就 验证 了 语言 L。 此 外 ， 对 任意 串 xz 人世， 必然 不 存在 一 个 能 证 明 xzEL 的 证 书 。 例 如 ， 
在 哈密 顿 回路 问题 中 ， 证 书 是 某 一 哈密 顿 回路 中 顶点 的 列表 。 如 果 一 个 图 是 哈密 顿 图 ， 哈 密 顿 回 
路 本 身 就 提供 了 足够 的 信息 来 验证 这 一 事实 。 相 反 地 ， 如 果 某 个 图 不 是 哈密 顿 图 ， 那 么 也 不 存在 
这 样 的 顶点 列表 能 使 验证 算法 认为 该 图 是 哈密 顿 图 ， 因 为 验证 算法 会 仔细 地 检查 该 回路 是 否 为 
哈密 顿 回路 。 

复杂 类 NP 

复杂 类 NP 是 能 被 一 个 多 项 式 时 间 算法 验证 的 语言 类 9 。 更 准确 地 说 ， 一 个 语言 工 属于 NP， 
当 且 仅 当 存 在 一 个 两 输入 的 多 项 式 时 间 算 法 A MR, WE: 

L= {x € (0,1)* :存在 一 个 证 书 y, | yl = OC zl), HR Alay) = 1} 

我 们 说 算法 A 在 多 项 式 时 间 内 验证 了 语言 工 。 

根据 先前 我 们 对 哈密 顿 回 路 问题 的 讨论 ， 可 知 HAM-CYCLEE NP. (能 知道 某 个 重要 的 集 
合 是 非 空 的 总 是 件 好 事 。) 此 外 ， 如 果 LEP， 则 LENP。 如 果 存 在 一 个 多 项 式 时 间 的 算法 来 判定 
L， 那 么 只 要 忽略 任何 证 书 ， 并 接受 那些 确定 属于 工 的 输入 串 ， 就 可 以 很 容易 地 把 该 算法 转化 为 
一 个 两 参数 的 验证 算法 。 因 此 ，PCNP。 

目前 还 不 知道 是 否 有 P 王 NP， 但 大 多 数 研究 人 员 认 为 P 和 NP 并 不 是 同一 个 类 。 从 直觉 上 
看 ,类 了 由 一 些 可 以 快速 解决 的 问题 组 成 ， 而 类 NP 则 由 一 些 可 以 快速 验证 其 解 的 问题 组 成 。 许 
多 读者 可 能 已 经 从 实际 经 验 中 发 现 ， 从 头 开始 解决 一 个 问题 往往 要 比 验 证 一 个 明确 给 出 的 解难 
得 多 ， 尤 其 是 在 有 时 间 限 制 的 情况 下 。 从 事理 论 研 究 的 计算 机 科学 家 一 般 都 认为 ， 这 一 类 比 可 以 
延伸 到 类 P 和 类 NP 上， 因此 NP 包括 了 不 属于 PP 的 语言 。 

此 外 ， 还 有 一 些 虽 然 不 具 结论 性 但 却 更 令 人 信服 的 证 据 能 说 明 P 关 NP， 即 存在 着 “NP 完全 ” 
的 语言 。34. 3 节 将 对 这 类 语言 进行 研究 。 

在 PANP 问题 之 外 ， 还 有 许多 其 他 基本 问题 没有 解决 。 尽 管 很 多 研究 人 员 做 了 大 量 工作 ， 
但 还 没有 人 知道 NP 类 在 补 运算 下 是 否 是 封闭 的 ， 即 LE NP 是 否 说 明了 工 ENP。 我 们 可 以 定义 
复杂 类 co-NP 为 满足 LE NP 的 语言 工 构成 的 集合 。 这 样 一 来 ，NP 在 补 运算 下 是 否 封闭 的 问题 
就 可 以 重新 表示 为 是 否 有 NP 二 co-NP。 由 于 P 在 补 运算 下 具有 封闭 性 (练习 34. 1-6)， 所 以 在 练 
习 34. 2-9 会 进一步 说 明 关 于 PENPNcoNP, 但 是 ， 和 上 一 个 问题 一 样 ， 我们 仍 不 知道 是 否 有 
P=NPf)\co-NP, 或 者 在 NP 门 co-NP 一 P 中 是 否 存 在 某 种 语言 。 

因此 ， 我 们 对 了 与 NP 之 间 确 切 关系 的 理解 是 很 不 完全 的 。 然 而 ， 即 使 我 们 可 能 没有 能 力 去 
证 明 一 个 特定 问题 是 “难处 理 的 "， 但 是 通过 探讨 NP 完全 性 理论 ， 如 果 可 以 证 明 这 一 问题 是 NP 
完全 的 ， 那么 我 们 已 经 获取 了 关于 它 的 一 些 有 价值 的 信息 。 





| 


© “NPp”* 这 二 名 称 代表 “ 非 确定 多 项 式 时 间 ”(nondeterministic polynomial time), NP 类 最 初 是 在 非 确 定性 这 一 上 下 
文中 得 到 研究 的 ， 但 本 书 采用 一 种 更 为 简单 但 等 价 的 验证 表示 记号 。Hopcroft 和 Ullman[180] 利 用 非 确定 性 计 
算 模 型 ， 给 出 了 NP 完全 性 的 一 种 很 好 的 表述 。 
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(c) (d) 


图 34-3 复杂 类 之 间 有 4 种 可 能 存在 的 关系 。 在 每 一 个 图 中 ， 一 个 区 域 包含 另 
一 个 区 域 表明 真子 集 关 系 。(a)P= 二 NP 二 co-NP。 多 数 研究 人 员 都 认为 
这 种 情况 是 不 可 能 的 。(b) 告 NP 在 补 集运 算 下 封闭 ， 则 NP=co-NP, 
但 不 一 定 有 P= 二 NP。(c)P= 王 NPN co-NP, 但 NP 在 补 运算 下 不 封闭 。 
(dNPÆco-NP, H P 关 NP 门 co-NP。 多 数 研 究 人 员 认 为 这 种 情况 的 
可 能 性 最 大 


考虑 语言 GRAPH-ISOMORPHISM={(G,, G): G 和 Gi 是 同 构 图 }。 通 过 描述 一 个 可 
以 在 多 项 式 时 间 内 验证 该 语言 的 算法 ， 来 证 明 GRAPH-ISOMORPHISME NP. 

证 明 : 如 果 G 是 一 个 有 奇数 个 顶点 的 无 向 二 分 图 ， 则 G 是 非 哈密 顿 图 。 

WEAR: 如 果 HAM-CYCLEEP， 则 按 序列 出 一 条 哈密 顿 回路 中 各 个 顶点 的 问题 是 多 项 式 
时 间 可 解 的 。 

证 明 : 由 语言 构成 的 NP 类 在 并 集 、 空 集 、 连 结 和 Kleene 星 运算 下 是 封闭 的 ， 讨 论 一 下 
NP 在 补 集运 算 下 的 封闭 性 。 

HEAR: 对 某 个 常数 &，NP 中 的 任何 语言 都 可 以 用 一 个 运行 时 间 为 2 的 算法 来 加 以 
判定 。 

图 中 的 哈密 顿 路 径 是 一 种 简单 路 径 ， 它 遍历 图 中 每 个 顶点 且 只 有 一 次 。 证 明 : 语言 
HAM PATH={(G, u, v): 图 G 中 存在 一 条 从 到 w 的 哈密 顿 路 径 } 属 于 NP. 

证 明 : 在 练习 34. 2-6 中 的 哈密 顿 路 径 问 题 中 ， 在 有 向 无 环 图 中 ， 哈 密 顿 路 径 问 题 可 以 
在 多 项 式 时 间 内 求解 。 给 出 解决 该 问题 的 一 个 有 效 算 法 。 

设 $ 为 一 个 布尔 公子 9 它 由 布尔 输入 变量 zx， L29 °°° Thr 非 (一 )、 ANDC A), ORCV ) 
和 括号 组 成 。 如 果 对 公式 的 输入 变量 的 每 一 种 1 和 0 赋值 ， 公 式 的 结果 都 为 1， 则 此 公 
式 为 重 言 式 (tautology) 。 和 定义 TAUTOLOGY 为 由 重 言 式 布 尔 公 式 所 组 成 的 语言 。 证 
HH: TAUTOLOGYE co-NP, 

证 明 ，PCco-NP。 

GEAR: 如 果 NP 关 co-NP， 则 PANP. 

设 G 为 一 个 至 少 包含 3 个 顶点 的 连通 无 回 图 ， 并 设 对 G 中 所 有 由 长 度 至 多 为 3 的 路 径 
连接 起 来 的 点 对 ， 将 它们 直接 连接 后 所 形成 的 图 为 G。 证明: C 是 一 个 哈密 顿 图 。 
(提示 : 为 G 构 造 一 棵 生成 树 ， 并 采用 归纳 法 进行 证 明 。) 


NP 完全 性 与 可 归 约 性 


从 事理 论 研究 的 计算 机 科学 家 们 之 所 以 会 相信 了 PNP， 最 令 人 信服 的 理由 就 是 存在 着 一 类 
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“NP 完全 ”问题 。 该 类 问题 有 一 种 令 人 惊奇 的 特质 ， 即 如 果 任 何 一 个 NP 完全 问题 能 在 多 项 式 时 
间 内 得 到 解决 ， 那 么 ，NP 中 的 每 一 个 问题 都 存在 一 个 多 项 式 时 间 解 ， 即 P=NP, (HB, RES 
过 了 多 年 的 研究 ， 目 前 仍 没有 找 出 任何 NP 完全 问题 的 多 项 式 时 间 算 法 。 

语言 HAM-CYCLE 就 是 一 个 NP 完全 问题 。 如 果 我 们 能 够 在 多 项 式 时 间 内 判定 HAM 
CYCLE， 就 能 够 在 多 项 式 时 间 内 求解 NP 中 的 每 一 个 问题 。 事 实 上 ， 如 果 能 证 明 NP 一 P 为 非 空 
集合 ， 就 可 以 肯定 地 说 HAM-CYCLE€ NP 一 P。 

在 某 种 意义 上 说 ，NP 完全 语言 是 NP 中 “最 难 ” 的 语言 。 在 本 节 中 ， 我 们 将 说 明 如 何 运 用 称 
为 “多 项 式 时 间 可 归 约 性 ”的 确切 概念 ， 来 比较 各 种 语言 的 相对 “难度 ”。 首 先 ， 我 们 先 正式 定义 
NP 完全 语言 ， 然 后 ， 再 简要 地 证 明 一 种 称 为 CIRCUIT-SAT 的 语言 是 NP 完全 的 。 在 34.4 节 和 
34. 5 节 中 ， 将 运用 可 归 约 性 概念 来 证 明 许多 其 他 问题 都 是 NP 完全 的 。 

可 归 约 性 ， 

从 直觉 上 看 ， 问 题 Q 可 以 被 归 约 为 另 一 个 问题 Q'。 如 果 Q 的 任何 实例 都 可 以 被 “容易 地 重新 
描述 ”为 Q 的 实例 ， 而 Q 的 实例 的 解 也 是 Q 的 实例 的 解 。 例 如 ， 求 解 关 于 未 知 量 z 的 线性 方程 
问题 可 以 转化 为 求解 二 次 方程 问题 。 已 知 一 个 实例 az 十 6 二 0， 可 以 把 它 变 换 为 0x? 十 az 十 b= 二 0， 
其 解 也 是 方程 cz 十 5 一 0 的 解 。 因 此 ， 如 果 一 个 问题 Q 可 以 转化 为 另 一 个 问题 Q'， 则 从 某 种 意义 
上 来 说 ，Q 并 不 比 Q' 更 难 解决 。 

回 到 关于 判定 问题 的 形式 语言 体系 中 。 我 们 说 语言 L 在 多 项 式 时 间 内 可 以 归 约 为 语言 L;， 
记 作 Li Spl,» 如 果 存 在 一 个 多 项 式 时 间 0 cas A ee ae 
可 计算 的 函数 f: (0, 1}* 一 (0, 1)", HO : > 
足 对 所 有 的 zE {0，1)*， 

zx ED YERL flz) = LL (84.1) 
则 称 函 数 f 为 归 约 函数 ， 计 算 f 的 多 项 式 
时 间 算 法 下 称 为 归 约 算法 。 dD o à. 

图 34-4 说 明了 关于 从 语言 到 另 一 Aa 
种 语言 L 的 多 项 式 时 间 归 约 的 思想 。 每 一 Pe 
种 语言 都 是 (0，1} 的 子 集 ， 归 约 函 数 f 提 






eos ese 


图 34-4 通过 归 约 函数 f， 在 多 项 式 时 间 内 将 语言 Li 归 


OAN 项 十 4A Ee 
供 了 | 多 页 式 时 间 的 映射 ， 使 得 知 约 为 语言 Ls 对 任何 输入 XE 1{0， Eg ‘ EBA 
TEL, WADDEL. MHArcEFL, W ELi 这 一 问题 与 是 否 有 f(x) EL: 的 答案 是 一 
f(z) EL,。 因 此 归 约 函数 提供 了 从 语言 L 样 的 


表示 的 判定 问题 的 任意 实例 x 到 语言 L 表 
示 的 判定 问题 的 实例 f(z) 上 的 映射 。 如 果 能 提供 是 否 有 f(z) EL 的 答案 ,也 就 直接 提供 了 是 否 有 
XL 的 答案 。 

多 项 式 时 间 归 约 为 证 明 各 种 语言 属于 了 提供 了 一 种 有 力 的 工具 。 

引 理 34.3 如 果 L，L: 导 (0，1) "是 满足 LlpL 的 语言 ， 则 L, EP 冀 涵 着 LCP. 

证 明 A, 是 一 个 判定 问题 L 的 多 项 式 时 间 算 法 ,下 是 计算 归 约 函数 了 的 多 项 式 时 间 归 约 
算法 。 下 面 来 构造 一 个 判定 的 多 项 式 时间 算 法 A, 

图 34-5 说 明了 A 的 构造 过 程 。 对 给 定 的 输入 zxE {0，1}"， 算 法 A 利用 下 把 zx 变换 为 
f(z)， 然 后 它 利用 A, 测试 是 否 有 f(x) Cli. A 的 输出 值 提供 A 作为 输入 ， 并 产生 答案 作为 
输出 。 | 

根据 条 件 (34. 1) 可 以 推导 出 A WER. AA FAA 的 运行 时 间 都 是 多 项 式 时 间 ， 所 以 
该 算法 的 运行 时 间 为 多 项 式 时 间 ( 参 见 练习 34. 1-5)。 a 
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NP 完全 性 
1067 多 项 式 时 间 归 约 提 供 了 一 种 形式 方法 ， 用 来 证 明 一 个 问题 在 一 个 多 项 式 时 间 因 子 内 至 少 与 
ne AAT eee. Wee, WRLSL., M L KFL 的 难度 不 会 超过 一 个 多 项 式 时 间 因 
子 。 这 就 是 我 们 采用 “小 于 或 等 于 ”来 表示 归 约 记号 的 原因 。 现 在 ,我们 就 可 以 定义 NP 完全 语言 
的 集合 ， 这 类 问题 是 NP 中 最 难 的 问题 。 





函数 f, Ar 是 一 个 能 判定 La 的 多 项 式 时 间 算 法 。 算 法 Al 通过 利用 下 将 任何 输入 z 转 
RA f(x), BAA A, 来 判定 是 否 有 f(x) ELL， 最终 判 定 是 否 有 rEL 


语言 LE40，1) 是 NP HZR, WR: 

1. LENP. 

2. 对 每 一 个 L'ENP,， A L'<pL. 

如 果 一 种 语言 工 满 足 性 质 2， 但 不 一 定 满足 性 质 1， 则 称 L 是 NP 难度 (NP-hard) 的 。 同 时 ， 
我 们 定义 NPC 为 NP 完全 语言 类 。 

正如 下 列 定理 所 述 ，NP 完全 性 是 判定 P 是 否 等 于 NP 的 关键 。 

定理 34.4 ”如果 任何 NP 完全 问题 是 多 项 式 时 间 可 求解 的 ， 则 P= 二 NP。 等 价 地 ， 如 果 存 在 某 
一 NP 中 的 问题 不 是 多 项 式 时 间 可 求解 的 ， 则 所 有 NP 完全 问题 都 不 是 多 项 式 时 间 可 求解 的 。 

证 明 假定 LEP 并 且 LENPC， 对 任意 L' ENP, h NP 完全 性 定义 中 的 性 质 2， 有 L SL. 
因此 ， 根 据 引 理 34. 3， 就 有 上 EP， 这 样 就 证 明了 本 定理 的 第 一 个 结论 。 第 二 个 结论 是 第 一 个 结 
论 的 对 换 句 ， 因 此 第 二 个 结论 也 得 证 。 图 

正 是 因为 如 此 ， 对 PANP 问题 的 研究 都 是 以 NP 完全 问题 为 中 心 的 。 大 部 分 从 事理 论 研究 
的 计算 机 科学 家 们 都 认为 P 了 NP， 据 此 可 以 导出 图 34-6 中 所 示 的 P、NP 与 NPC 之 间 的 关系 。 
但 是 ， 我 们 都 知道 ， 或 许 有 一 天 会 找 出 关于 一 个 NP 完全 问题 的 多 项 式 时 间 算 法 ， 这 样 就 能 证 明 

P 二 NP。 然 而 ， 由 于 迄今 为 止 还 没有 找 出 任何 NP 完全 问题 的 多 项 式 时 间 算 法 ， 所 以 在 目前 ， 证 
明了 一 个 问题 具有 NP 完全 性 ， 也 就 找到 了 可 以 提供 其 难处 理性 的 极 好 证 明 。 


Fas 





ea dal 


图 34-6 大 多 数理 论 计算 机 科学 家 们 眼中 的 P、NP 和 NPC 三 者 之 间 的 关系 。P 和 
NPC 都 完全 包含 在 NP A, H PANPC= Ø 


电路 可 满足 性 

前 面 已 经 定义 过 NP 完全 问题 这 ~-- 概 念 ， 但 到 现在 为 止 ， 我 们 实际 上 还 没有 证 明 任何 问题 是 
NP 完全 问题 。 一 旦 我 们 证 明了 至 少 有 一 个 问题 是 NP 完全 问题 ， 就 可 以 用 多 项 式 时 间 可 归 约 性 
作为 工具 ， 来 证 明 其 他 问题 也 具有 NP 完全 性 。 因 此 ， 下 面 来 着 重 证 明 存 在 一 个 NP 完全 问题 : 
电路 可 满足 性 问题 。 
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遗憾 的 是 ， 在 电路 可 满足 性 问题 的 形式 化 证 明 中 ， 需 要 一 些 超出 本 书 范围 的 技术 细节 。 因 
此 ， 我 们 将 非 形式 地 描述 一 种 基于 布尔 组 合 电路 知识 的 证 明 过 程 。 

布尔 组 合 电路 是 由 布尔 组 合 元 素 通过 电路 互 连 后 构造 而 成 的 ， 布 尔 组 合 元 素 是 指 任何 一 种 
电路 元 素 ， 它 有 着 固定 数目 的 输入 和 输出 ， 执 行 的 是 某 种 良 定 义 的 函数 功能 。 布 尔 值 取 自 集合 
(0，1)， 其 中 0 代表 FALSE( 假 )，1 代表 TRUKE). 

在 电路 可 满足 性 问题 中 ， 所 用 到 的 布尔 组 合 元 素 计算 的 是 一 个 简单 的 布尔 函数 ， 这 些 元 素 
称 为 逻辑 门 。 图 34-7 表示 出 了 在 电路 可 满足 性 问题 中 用 到 的 三 种 基本 的 逻辑 门 : NOT nET, 
也 称 为 反 向 器 )、AND 门 (与 门 ) 和 OR 门 (或 门 )。NOT 门 只 有 一 个 二 进 制 输 入 z， 它 的 值 为 0 或 
1， 产 生 的 是 二 进 制 输出 z， 其 值 与 输入 值 相反 。 另 外 的 两 种 门 都 取 两 个 二 进 制 输入 zx 和 y， 然 后 
产生 一 个 二 进 制 输出 z。 





(a) Cb) (c) 


图 34-7 ”此 三 种 基本 的 逻辑 门 都 具有 二 进 制 形式 的 输入 和 输出 。 在 每 一 种 门下 面 ， 是 描述 该 逻 
辑 门 的 真 值 表 。(a)NOT 门 。(b)AND 门 。(c)OR 门 


每 一 种 门 及 任何 一 种 布尔 组 合 元 素 的 操作 都 可 以 用 一 个 真 值 表 来 描述 ， 如 图 34-7 所 示 。 真 
值 表 给 出 了 对 于 输入 组 合 元 素 的 每 一 种 可 能 取 值 ， 以 及 组 合 元 素 的 输出 情况 。 例 如 ，OR 门 的 真 
值 表 告诉 我 们 ， 当 输入 为 z=0 和 y=1 时 ， 输 出 值 ==1。 我 们 用 符号 一 来 表示 NOT MH, FAA 
来 表示 AND 函数 ， 用 V 来 表示 OR BR. HMM, OVI=1. 

我 们 可 以 将 ANDIA OR 门 加 以 推广 ， 使 其 可 以 有 多 于 两 个 的 输入 。 对 AND 门 来 说 ， 如 
果 其 所 有 输入 均 为 1， 则 其 输出 为 1; 否则 ， 其 输出 为 0。 对 OR 门 来 说 ， 如 果 其 任何 一 个 输入 为 
1， 则 其 输出 为 1; 否则 ， 其 输出 为 0。 

布尔 组 合 电路 由 一 个 或 多 个 布尔 组 合 元 素 通过 线路 连接 而 成 。 一 个 电路 可 以 将 某 一 元 素 的 
输出 与 另 一 个 元 素 的 输入 连接 起 来 ， 即 将 第 一 个 元 素 的 输出 值 提供 给 第 二 个 元 素 作为 其 输入 值 。 
图 34-8 给 出 了 两 个 类 似 的 布尔 组 合 电路 ， 它 们 仅 在 一 个 门 上 有 所 不 同 。 图 34-8(a) 给 出 了 当 输 入 
为 (zl 二 1，zs 二 1，zs 二 0) 时 ， 每 根 接线 上 的 值 。 虽 然 一 个 线 上 不 可 能 有 多 于 一 个 的 布尔 元 素 的 输 
出 与 其 相连 ， 但 它 可 以 作为 其 他 几 个 元 素 的 输入 。 由 一 根 接线 提供 输入 的 元 素 的 个 数 称 为 该 接线 
的 扇 出 (fan-out) 。 如 果 没 有 哪 一 元 素 的 输出 是 接 到 某 根 接线 上 ， 则 称 该 接线 是 电路 输入 ， 它 接受 来 
自 外 部 的 数据 。 如 果 没有 哪 一 个 元 素 的 输入 连接 到 某 根 接线 上 ， 则 称 该 接线 为 电路 输出 ， 它 将 电 
路 的 计算 结果 提供 给 外 部 。( 一 根 内 部 接线 也 可 以 扇 出 至 电路 的 输出 上 。) 为 了 定义 电路 可 满足 性 问 
题 ， 我 们 限制 电路 的 输出 为 1， 在 实际 的 硬件 设计 中 ， 布 尔 组 合 电路 是 可 以 有 多 个 输出 的 。 

布尔 组 合 电路 不 包含 回路 。 换 句 话 说， 假设 我 们 创建 了 一 个 有 向 图 G 二 (V，E)， 其 中 每 一 个 
顶点 代表 一 个 组 合 元 素 ，& 条 有 向 边 代 表 每 一 根 扇 出 为 上 的 接线 ， 如 果 某 一 接线 将 一 个 元 素 “的 输 
出 与 另 一 个 元 素 v 的 输入 连接 了 起 来 ， 图 中 就 会 包含 一 条 有 向 边 (u，v)。 那 么 ，G 必定 是 无 回 
路 的 。 : 

一 个 布尔 组 合 电路 的 真 值 赋值 是 指 一 组 布尔 输入 值 。 如 果 一 个 单 输出 布尔 组 合 电路 具有 一 
个 可 满足 性 赋值 (即使 得 电路 的 输出 为 1 的 一 个 真 值 赋值 )， 就 称 该 布尔 组 合 电路 是 可 满足 的 。 例 
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如 ， 图 34-8(a) 中 的 电路 具有 可 满足 性 赋值 (zi 二 1，zs 二 1，zs 二 0;)， 所 以 它 是 可 满足 的 。 如 练习 
34. 3-1 中 要 求 读者 说 明 的 那样 ， 不 存在 对 21. zp 和 x; 的 赋值 ， 使 得 图 34-8(b) 中 的 电路 产生 输 
出 为 1， 它 总 是 输出 0， 因此 ， 它 是 不 可 满足 的 。 





(a) (b) 


图 34-8 电路 可 满足 性 问题 的 两 个 实例 。(a) 对 此 电路 的 输入 赋值 (xi 二 1，zz 二 1，zs 二 0;， 使 得 电路 的 输 
出 为 1。 因 而 ， 此 电路 是 可 满足 的 。(b) 对 此 电路 输入 的 任何 一 种 赋值 都 不 能 使 得 电路 的 输出 为 1. 
因而 ， 此 电路 是 不 可 满足 的 


电路 可 满足 性 问题 就 是 :“ 给 定 某 一 个 由 AND、OR 和 NOT 门 构 成 的 布尔 组 合 电 路 ， 它 是 
可 满足 电路 吗 ?? 为 了 给 出 这 一 问题 的 形式 定义 ， 必 须 对 电路 的 编码 有 一 个 统一 的 标准 。 布 尔 组 合 
电路 的 规模 是 指 其 中 布尔 组 合 元 素 的 数目 加 上 电路 中 接线 的 数目 。 我 们 可 以 设计 出 一 种 “类 图 形 
编码 ”(graphlike encoding)， 使 其 可 以 把 任何 给 定 电路 C 映射 为 一 个 二 进 制 串 (C? ， 该 串 的 长 度 与 
电路 本 身 的 规模 呈 多 项 式 关 系 。 作 为 一 种 形式 语言 ， 我 们 可 以 定义 

CIRCUIT-SAT = {(C):C 是 一 个 可 满足 的 布尔 组 合 电 路 } 

电路 可 满足 性 问题 在 计算 机 辅助 硬件 优化 领域 中 越 来 越 凸 显 出 其 重要 性 。 如 果 一 个 子 电路 
总 是 输出 0， 那 么 这 个 子 电 路 对 整个 电路 结果 来 讲 就 是 非 必要 的 ， 我 们 就 可 以 用 一 个 更 为 简单 的 
子 电路 来 取代 原 电 路 。 该 子 电路 省 略 了 所 有 逻辑 门 ， 并 提供 常数 值 0 作为 其 输出 。 如 此 ， 我 们 可 
以 很 容易 地 理解 开发 出 这 一 问题 相应 多 项 式 算 法 的 优点 。 

给 定 一 个 电路 C， 通 过 检查 输入 的 所 有 可 能 赋值 来 确定 它 是 否 是 可 满足 性 电路 。 遗 憾 的 是 ， 
WRA k TWA, MZA 2 种 可 能 的 赋值 。 当 电路 C 的 规模 为 & 的 多 项 式 时 ， 对 每 个 电路 的 检 
查 将 花费 QC2*) 的 时 间 ， 这 与 电路 的 规模 呈 超 多 项 式 关系 。 事 实 上 ， 如 前 面 所 述 ， 有 很 强 的 证 
据 表 明 ， 能 解决 电路 可 满足 性 问题 的 多 项 式 时 间 算 法 是 不 存在 的 、 因 为 该 问题 是 NP 完全 的 。 根 
据 NP 完全 性 定义 中 的 两 个 部 分 ， 把 对 这 一 事实 的 证 明 过 程 也 分 为 两 部 分 。 

引 理 34.5 ”电路 可 满足 性 问题 属于 NP 类。 

WEAR 我们 将 提出 一 个 能 验证 CIRCUIT-SAT 的 、 两 输入 的 多 项 式 时 间 算 法 A。A 的 一 个 输 
入 是 布尔 组 合 电路 C(C 的 一 个 标准 编码 ) ， 另 一 个 输入 是 一 个 相应 于 C 中 线路 的 一 个 布尔 型 赋值 
的 证 书 。( 练 习 34. 3-4 中 提供 了 一 个 更 小 的 证 书 。) 

对 算法 A 的 构造 如 下 : 对 电路 中 的 每 个 逻辑 门 ， 算 法 要 检查 输出 线路 上 证 书 所 提供 的 值 ， 
看 它 是 否 是 根据 输入 线路 值 正 确 计算 出 的 一 个 函数 值 。 然 后 ， 因 为 对 电路 C 的 输入 的 赋值 提供 
了 一 种 可 满足 性 赋值 ， 所 以 如 果 整 个 电路 的 输出 为 1， 则 算法 输出 为 1; 否则， 算法 A 输出 0。 

每 当 将 一 个 可 满足 的 电路 C 输 入 算法 A 时 ， 必 会 存在 一 个 证 书 ， 其 长 度 为 C 的 规模 的 多 项 


O 另 一 方面 ， 若 电路 C 的 规模 为 6(2) ， 则 对 于 运行 时 间 为 OC(2*) 的 算法 来 说 ， 其 运行 时 间 与 电路 规模 是 呈 多 项 式 
关系 的 。 即 使 P 坟 NP， 这 种 情况 也 不 会 与 该 问题 是 NP 完全 的 这 一 事实 矛盾 ; 对 某 种 特例 存在 多 项 式 时 间 的 算 
法 ， 并 不 意味 着 对 于 所 有 情况 都 存在 多 项 式 时 间 的 算法 。 
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st, 并 使 A 输出 1。 每 当 将 一 个 不 可 满足 的 电路 作为 A 的 输入 时 ， 则 不 存在 这 样 的 证 书 让 A A 
为 该 电路 是 可 满足 的 。 算 法 A 的 运行 时 间 为 多 项 式 时 间 ， 如 果 运 用 较 好 的 实现 方法 ， 可 以 达到 
线性 时 间 。 因 此 ，CIRCUIT-SAT 可 以 在 多 项 式 时 间 内 被 验证 ， 从 而 有 CIRCUIT-SATENP。 W 

证 明 CIRCUIT-SAT 是 NP 完全 问题 的 第 二 部 分 ， 就 是 要 证 明 该 语言 是 NP 难度 的 。 也 就 是 
说 ， 必 须 证 明 NP 中 的 每 一 种 语言 都 可 以 在 多 项 式 时 间 内 归 约 为 CIRCUIT-SAT。 这 一 事实 的 实 
际 证 明 过 程 在 技术 上 是 比较 难 解决 的 ， 因 此 ， 我 们 将 基于 计算 机 硬件 的 工作 机 理 来 给 出 一 个 简 
要 的 证 明 过 程 。 

计算 机 程序 是 作为 一 个 指令 序列 存储 于 计算 机 存储 器 中 的 。 一 条 典型 的 指令 包含 操作 代码 、 
操作 数 在 存储 器 中 的 地 址 以 及 结果 的 存储 地 址 。 一 个 特定 的 称 为 程序 计数 器 的 存储 器 单元 记录 
了 将 被 执行 的 下 一 条 指令 的 地 址 。 每 当 取出 一 条 指令 时 ， 程序 计数 器 即 进行 自 增 操作 ， 这 样 就 可 
以 使 计算 机 按 顺序 执行 指令 。 但 是 ， 一 条 指令 执行 后 ， 可 以 使 一 个 值 被 写 和 人 程序 计数 器 中 ， 于 是 
正常 的 执行 顺序 发 生 改 变 ， 从 而 允许 计算 机 执行 循环 和 条 件 分 支 语 句 。 

在 程序 执行 的 过 程 中 ， 计 算 过 程 的 整个 状态 都 表示 于 计算 机 的 存储 器 里 。( 我 们 此 处 所 说 的 
存储 器 包括 程序 自身 、 程 序 计 教 器 、 工 作 存 储 器 以 及 计算 内 务 操 作 所 设置 的 各 种 状态 位 。) 我 们 把 
计算 机 存储 的 任何 一 种 特定 状态 称 为 一 个 配置 (configuration) 。 执 行 一 条 指令 可 以 看 做 建立 从 一 
个 配置 到 另 一 个 配置 的 映射 。 实 现 这 种 映射 关系 到 的 计算 机 硬件 可 以 用 一 个 布尔 组 合 电 路 来 实 
现 ， 在 下 面 引 理 的 证 明 过 程 中 ， 用 M 来 表示 该 布尔 组 合 电路 。 

引 理 34.6， 电 路 可 满足 性 问题 是 NP 难度 的 。 

证 明 设 工 是 NP 中 的 任意 一 种 语言 。 我 们 将 描述 一 个 多 项 式 时 间 的 算法 下 来 计算 归 约 函数 
f, 该 函数 把 每 个 二 进 制品 x 都 映射 为 一 个 电路 C= 二 f(x), 使 得 x€EL 4YAMYCE 
CIRCUIT-SAT, 

由 于 LENP， 因 此 必定 存在 一 个 算法 A， 它 可 以 在 多 项 式 时 间 内 验证 工 。 我 们 将 构造 的 算法 
FF 将 使 用 含有 两 个 输入 的 算法 A 来 计算 归 约 函数 了。 

设 T(n) 表 示 算 法 A 对 长 度 为 ”的 输入 串 在 最 坏 情 况 下 的 运行 时 间 ， 并 设 & 宇 1 为 一 个 常数 ， 
满足 T(n)=OC'), AiEBRKEE OG!) (A 的 运行 时 间 实 际 上 是 关于 整个 输入 规模 的 一 个 多 
项 式 ， 既 包括 输入 串 也 包括 证 书 ， 但 由 于 证 书 的 长 度 是 关于 输入 串 长 度 的 多 项 式 ， 所 以 运行 时 
间 也 是 关于 ”的 多 项 式 )。 

证 明 的 基本 思想 是 把 A 的 计算 过 程 表示 成 一 系列 配置 。 如 图 34-9 所 示 ， 我 们 可 以 把 每 个 配 
置 划分 为 数 个 部 分 ， 包 括 A 的 程序 、 程 序 计数 器 、 辅 助 机 器 状态 、 输 入 z、 证 书 y 和 工作 存储 
器 。 从 初始 配置 开始 ， 每 个 配置 c; 都 由 实现 计算 机 硬件 的 组 合 电路 M 映射 到 其 随后 的 配置 
Coe SRR A 终止 执行 时 ， 其 输出 0 或 1 被 写 人 到 工作 存储 器 的 某 个 指定 单元 中 。 并 且 ， 如 果 
我 们 假定 此 后 A 会 停止 ， 则 该 值 不 会 改变 。 因 此 ， 如 果 算 法 至 多 执行 TOS, NHS 
cr 中 的 一 位 上 。 

归 约 算法 下 构造 出 一 个 组 合 电路 ， 它 根据 已 给 的 初始 配置 计算 出 产生 的 全 部 配置 。 其 设计 
思想 为 复制 TO) SS M 的 副本 ， 并 把 它们 粘贴 在 一 起 。 产 生 配 置 c; 的 第 i 个 电路 的 输出 直接 
作为 第 (i 十 1) 个 电路 的 输入 。 因 此 ， 这 些 配置 并 非 终 止 于 一 个 状态 寄存 器 中 ， 而 是 仅仅 驻 留 在 连 
接 M 的 副本 之 间 的 线路 上 。 

我 们 来 回顾 一 下 多 项 式 时 间 归 约 算法 F 必须 做 的 工作 。 给 定 一 个 输入 z， 它 必须 计算 出 一 个 
电路 C= f(x), C 是 可 满足 电路 当 且 仅 当 存在 一 个 证 书 >， 使 得 A(x，y) 二 1。 当 下 获得 一 个 输 
和 工时， 它 首先 计算 出 * 一 |z| ， 然 后 构造 出 一 个 由 T(z) 个 电路 M 的 副本 组 成 的 组 合 电路 C'。 
C ' 的 输入 是 对 应 于 对 A(z，y) 进 行 计算 的 初始 配置 ， 输 出 为 配置 cr 。 

算法 下 所 计算 出 的 电路 C 二 了 (z) 是 对 C' 稍 作 修 改 而 得 到 的 。 首 先 ， 相 应 于 A 的 程序 的 C 的 
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和 输入， 初始 的 程序 计数 器 、 输 入 z 和 存储 器 的 初始 状态 的 线路 直接 与 这 些 已 知 值 相 连 。 因 此 ， 电 
路 剩 下 的 唯一 输入 对 应 于 证 书 y>。 其 次 ， 电 路 的 所 有 来 自 C 输出 都 被 忽略 ， 但 对 应 于 A 的 输出 
Crom 中 的 一 位 除外 。 这 样 构造 成 的 电路 C 对 长 度 为 O(x) 的 任意 输入 计算 出 C(y) 二 A(z+，y)。 当 
PA Ae ie F lee la x ead a asc C 





图 34-9 算法 A 在 输入 zx 和 证 书 y 上 运行 时 所 产生 的 配置 序列 。 每 个 配置 都 表示 计 
算 机 在 一 步 计 算 后 的 状态 ,除了 A, xz 和 yy 外 ， 还 包括 程序 计数 器 (PC)、 
辅助 机 器 状态 和 工作 存储 器 。 除 了 证 书 y 外 ， 初 始 配 置 oo 是 固定 的 。 通 过 
一 个 布尔 组 合 电路 M， 每 个 配置 都 会 被 映射 到 下 一 个 配置 之 上 。 输 出 是 工 
作 存 储 器 中 一 个 特别 的 位 


我 们 还 需要 证 明 两 条 性 质 。 第 一 ， 必 须 证 明 下 能 够 正确 地 计算 出 归 约 函数 上 ， 即 必须 证 明 C 
是 可 满足 的 当 且 仅 当 存在 一 个 证 书 y， WEA, y=1. WZ, PARE 下 的 运行 时 间 为 多 项 
式 时 间 。 

为 了 证 明 下 能 够 正确 地 计算 出 归 约 函数 ， 假设 存 在 一 个 长 度 为 OC) 的 证 书 y, WE 
A(z, y=1. ABA, WRI y 的 各 位 作为 C 的 输入 ， 那 么 C 的 输出 为 CCy) 二 A(x，y)==1。 因 此 ， 如 
采 有 一 个 证 书 存 在 ， 则 C 是 可 满足 的 (电路 )。 另 一 方面 ， 假 定 C 是 可 满足 的 ， 因 此 对 C 存 在 一 个 输入 
>y， 满 足 C(y) 二 1， 据 此 ， 可 以 得 到 A(zx，») 二 1]。 因 此 ,下 能 够 正确 地 计算 出 一 个 归 约 函数 。 

为 了 完成 此 证 明 过 程 ， 仅 需 证 明 下 的 运行 时 间 是 关于 nn 二 | z| 的 多 项 式 时 间 。 首 先 需要 注意 
的 是 ， 表 示 一 个 配置 所 需 的 位 数 是 关于 ”的 多 项 式 。A 的 程序 本 身 的 规模 为 常数 ， 与 输入 z 的 长 
EAR. WA r 的 长 度 为 %， 证书 y 的 长 度 为 OC(mw)。 由 于 算法 至 多 运行 OC(mw) 步 ， 所 以 A 所 要 
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求 的 工作 存储 器 总 量 也 是 的 多 项 式 。( 假 定 该 存储 器 单元 是 连续 的 ;练习 34. 3-5 要 求 读者 把 证 
AAD eS PON: A 所 存 取 的 存储 单元 散布 于 存储 器 的 一 个 更 大 的 范围 内 ， 对 每 个 输入 xz， 其 
特定 的 散布 方式 也 可 能 不 同 。) 

实现 计算 机 硬件 的 组 合 电 路 M 的 规模 是 关于 配置 的 长 度 的 多 项 式 。 即 为 O() 的 多 项 式 ， 因 
而 也 是 关于 ”的 多 项 式 。( 这 个 电路 的 大 部 分 实现 了 存储 系统 的 逻辑 .) 电 路 C 至 多 由 t=O") M 
的 副本 组 成 ， 因 此 其 规模 是 关于 n 的 多 项 式 。 由 于 构造 过 程 的 每 一 步 都 需要 多 项 式 时 间 ， 所 以 用 
归 约 算法 下 可 以 在 多 项 式 时 间 内 完成 从 工 构 造 电 路 C 的 过 程 。 

综 上 所 述 ， 因 为 语言 CIRCUIT-SAT 至 少 与 NP 中 的 任意 语言 具有 同样 的 难度 ， 并 且 又 因为 
它 是 属于 NP 的 ， 所 以 它 是 NP 完全 的 。 

定理 34.7 ;电路 可 满足 性 问题 是 NP 完全 的 。 

证 明 根据 引 理 34.5 和 引 理 34. 6， 以 及 NP 完全 性 的 定义 ， 可 以 直接 推 得 结论 。 图 


练习 | 

34.3-1 验证 图 34-8(b) 中 的 电路 是 不 可 满足 的 。 

34.3-2 WH: <S 关系 是 语言 上 的 一 种 传递 关系 ， 即 证 明 如 果 有 LpL;， 且 L:SrL: WA 
Dl 

34.3-3 证明; LSL 当 且 仅 当 Li 二 pL，。 

34.3-4 HEAR. 在 对 引 理 34. 5 的 另 一 种 证 明 中 ， 可 满足 性 赋值 可 以 当做 证 书 来 使 用 。 试 问 哪 一 
个 证 书 可 以 使 证 明 过 程 更 容易 些 ? 

34.3-5 ”在 引 理 34.6 的 证 明 中 ， 假 定 算法 A 的 工作 存储 占用 的 是 一 块 具 有 多 项 式 大 小 的 连续 存 
储 区 域 。 在 该 证 明 的 什么 地 方 用 到 了 这 一 假设 ? 论证 这 一 假设 的 过 程 要 具有 普 适 性 。 

34.3-6 ”如 果 对 所 有 L'EC， 有 LEC 且 L'<pL， 则 相对 于 多 项 式 时 间 的 归 约 来 说 ， 一 个 语言 L 
对 语言 类 C 是 完全 的 。 证明 : 相对 于 多 项 式 时 间 的 归 约 来 说 ,上 和 {0，1} * 是 P 中 仅 有 


的 对 了 不 完全 的 语言 。 
34.3-7 WEH: 关于 多 项 式 时 间 归 约 ( 人 参见 练习 34. 3-6)， 工 对 NP 是 完全 的 ， 当 且 仅 当世 对 
co-NP 是 完全 的 。 


34.3-8 在 引 理 34. 6 的 证 明 中 ， 归 约 算法 下 基于 有 关 z、A 和 % 的 信息 ， 构 造 了 电路 C= f(x). 
Sartre 教授 观察 到 串 zx 是 下 的 输入 ,但 只 有 A、& 的 存在 性 和 运行 时 间 O( 愉 ) 中 所 隐 含 
的 常数 因子 对 下 来 说 是 已 知 的 (因为 语言 L 属于 NP)， 实 际 值 对 下 来 说 却 是 未 知 的 。 因 
此 ， 这 位 教授 就 得 出 了 这 样 的 结论 ， 即 下 不 可 能 构造 出 电路 C， 并 且 语 言 CIRCUIT- 
SAT 不 一 定 是 NP 难度 的 。 试 说 明 在 这 位 教授 的 推理 中 存在 哪些 缺陷 ? 


34.4 NP 完全 性 的 证 明 

通过 直接 证 明 对 于 任意 语言 LENP， 都 有 LpCIRCUIT-SAT,， 我 们 可 以 证 明 电 路 可 满足 性 
问题 是 NP 完全 的 。 在 本 节 中 ， 我们 将 说 明 如 何在 不 把 NP 中 的 每 一 种 语言 直接 归 约 为 给 定语 言 
的 前 提 下 ， 证 明 一 种 语言 是 NP 完全 的 。 我 们 将 通过 证 明 各 类 公式 可 满足 性 问题 是 NP 完全 问题 
来 阐明 这 一 方法 。34.5 节 中 提供 了 更 多 用 于 说 明 这 一 方法 的 更 多 例子 。 

下 面 的 引 理 是 证 明 一 种 语言 是 NP 完全 语言 的 方法 的 基础 。 

引 理 34. 8 | 如 果 语 言 卫 是 一 种 满足 对 任意 工 'ENPC 都 有 L'<pL 的 语言 ， 则 上 是 NP 难度 
的 。 此 外 ， 如 果 LENP， 则 LE NPC。 

证 明 ”由 于 LL 是 NP 完全 语言 ， 所 以 对 所 有 L'ENP， 都 有 LpL'。 根 据 假设 ，L' 志 pL。 因 此 
根据 传递 性 ( 见 练习 34. 3-2), A L'S L, XMH LÆ NP 难度 的 。 如 果 LENP， 则 也 有 LE NPC, 
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换 句 话说 ， 通 过 把 一 个 已 知 为 NP 完全 的 语言 L' 归 约 为 L， 就 可 以 把 NP 中 的 每 一 种 语言 都 
隐 式 地 归 约 为 工 。 因 此 ， 引 理 34. 8 提供 了 证 明 某 种 语言 L 是 NP 完全 语言 的 一 种 方法 : 

1. 证 明 LE NP. 

2. 选取 一 种 已 知 的 NP 完全 语言 工 。 

3. 描述 一 种 可 计算 函数 f(x) 的 算法 ， 其 中 了 可 将 工 中 每 一 个 实例 zxE {0，1) 映射 为 工 中 
的 实例 f(x). 

4. 证 明 函 数 了 满足 zEL 当 且 仅 当 对 于 所 有 的 zE{0，1}) “都 有 f(x) EL。 

5. 证 明 计算 函数 了 的 算法 具有 多 项 式 运 行 时 间 。 
(第 2 步 到 第 5 步 说 明了 工 是 NP 难度 的 。.) 这 种 根据 一 种 已 知 的 NP 完全 语言 进行 归 约 的 方法 ， 比 说 
明 如 何 直接 根据 NP 中 每 一 种 语言 进行 归 约 这 一 复杂 的 过 程 要 简单 得 多 。 证 明 CIRCUIT-SAT € 
NPC 使 我 们 有 了 一 个 立足 点 ， 由 于 已 知 电路 可 满足 性 问题 是 一 个 NP 完全 问题 ， 因 此 现在 可 以 更 
为 简单 地 证 明 其 他 问题 也 是 NP 完全 问题 。 而 且 ， 随 着 我 们 逐渐 建立 起 一 个 已 知 NP 完全 问题 的 目 
录 ， 选 择 根据 哪 一 种 语言 进行 归 约 的 余地 就 更 大 了 。 

公式 可 满足 性 

对 于 确定 布尔 公式 (而 非 电 路 ) 是 否 可 满足 这 一 问题 ， 通 过 给 出 一 个 NP 完全 性 的 证 明 ， 来 说 
明 上 面 提 到 的 归 约 方法 。 这 一 问题 是 我 们 已 知 历史 上 第 一 个 被 证 明 的 NP 完全 问题 。 

我 们 根据 语言 SAT 来 形式 化 地 定义 可 满足 性 问题 ，SAT 的 一 个 实例 就 是 由 下 列 成 分 组 成 的 
布尔 公式 $: 

1.7n 个 布尔 变量 : Tis Les "ts Lro 

2. 思 个 布尔 连接 词 : 具有 一 个 或 两 个 输入 和 一 个 输出 的 任何 布尔 函数 ， 如 入 (与 )、V (或 )、 一 
( 非 ) 、 一 ( 列 涵 ) 、*>( 当 且 仅 当 ) 。 

3. 括号 。( 不 失 一 般 性 ， 假 定 没有 了 元 余 的 括号 ， 即 每 个 布尔 连接 符 至 多 包含 一 对 括号 。) 
很 容易 对 一 个 布尔 公式 $ 进行 编码 ， 使 其 长 度 是 关于 ntm 的 多 项 式 。 如 在 布尔 组 合 电路 中 一 
样 ， 关 于 一 个 布尔 公式 $ 的 真 值 赋值 是 为 $ 中 各 变量 所 取 的 一 组 值 ， 可 满足 性 赋值 是 指使 公式 $ 
的 值 为 1 的 真 值 赋值 。 具 有 可 满足 性 赋值 的 公式 就 是 可 满足 公式 。 可 满足 性 问题 提出 如 下 间 题 : 
“一 个 给 定 的 布尔 公式 是 不 是 可 满足 的 ?” 用 形式 语言 的 术语 来 表达 ， 就 是 : 

SAT=((6): $8 是 一 个 可 满足 的 布尔 公式 ) 
例如 ， 公 式 
$= (zx) Vm rT) Va) Anz 
具有 可 满足 性 赋值 (zi =0, Xs=0, x3=1, z=1), 因为 
$= ((0O>0) V 一 (人 〇 0c1) VIDATO=AVr7dV1)A!1 
=(1V0A1l=1 | (34. 2) 

因此 ， 该 公式 $ 属 于 SAT. 

“确定 一 个 任意 的 布尔 公式 是 否 是 可 满足 的 ”这 一 问题 没有 多 项 式 运 行 时 间 的 朴素 算法 。 在 
一 个 具有 7 个 变量 的 公式 中 ， 有 2" 种 可 能 的 赋值 。 如 果 ($) 的 长 度 是 关于 的 多 项 式 ， 则 检查 每 
一 种 赋值 需要 QC(2") 时 间 ， 这 是 ($8) 长 度 的 超 多 项 式 。 正 如 下 面 定 理 所 述 ， 此 时 ,不 太 可 能 存在 
多 项 式 时 间 的 算法 。 

定理 34.9 布尔 公式 的 可 满足 性 问题 是 NP 完全 的 。 

WEAR 首先 证 明 SATE NP， 然 后 通过 证 明 CIRCUIT-SAT<,pSAT, 来 证 明 SAT 是 NP 难度 
的 ; 根据 引 理 34.8， 这 将 证 明定 理 成 立 。 

为 了 证 明 SAT 属于 NP， 我 们 来 证 明 对 于 输入 公式 $， 由 它 的 一 个 可 满足 性 赋值 所 组 成 的 证 
书 可 以 在 多 项 式 时 间 内 得 到 验证 。 验 证 算法 将 公式 中 的 每 个 变量 替换 为 其 对 应 的 值 ， 再 对 公式 
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进行 求解 ， 这 一 做 法 与 式 (34. 2) 的 做 法 非常 类 似 。 这 一 任务 很 容易 在 多 项 式 时 间 内 完成 ， 如 果 表 
达 式 的 值 为 1， 则 算法 得 到 验证 ， 此 表达 式 是 可 满足 的 。 因 此 ， 引 理 34. 8 中 有 关 NP 完全 性 的 第 
一 个 条 件 就 成 立 了 。 

为 了 证 明 SAT 是 NP 难度 的 ， 首 先 来 证 明 CIRCUIT- SAT 入 SAT。 换 名 话说， 我 们 需要 证 
明 的 是 ， 电 路 可 满足 性 问题 的 任何 实例 可 以 在 多 项 式 时 间 内 归 约 为 公式 可 满足 性 问题 的 一 个 实 
例 。 利 用 归纳 法 ， 可 以 将 任意 布尔 组 合 电路 表示 为 一 个 布尔 公式 。 观 察 一 下 产生 电路 输出 的 逻辑 
门 ， 并 归纳 地 将 每 个 逻辑 门 的 输入 表示 为 公式 。 于 是 ， 通 过 写 出 一 个 表达 式 ， 将 逻辑 门 的 功能 作 
用 于 其 输入 的 公式 ， 即 可 获得 与 电路 对 应 的 公式 了 。 

遗憾 的 是 ， 用 这 种 直接 的 方法 并 不 能 构成 一 个 多 项 式 时 间 的 归 约 过 程 。 如 练习 34. 4-1 所 要 
求 的 ， 证 明 共享 的 子 公式 (它们 源 自 于 那些 输出 线 的 扇 出 为 2 或 更 多 的 逻辑 门 ) 会 使 得 所 生成 的 公 
式 的 规模 呈 指 数 增长 。 因 此 ， 从 某 种 意义 上 来 说 ， 我 们 采用 归 约 算法 是 更 明智 的 。 

图 34-10 利用 图 34-8(a) 中 的 电路 说 明了 我 们 该 如 何 克 服 这 一 问题 。 对 电路 C 中 的 每 一 根 线 
xz;， 公 式 $ 中 都 有 一 个 变量 z;。 我 们 现在 可 以 说 明 如 何 将 逻辑 门 操作 表示 为 关于 其 附属 线路 变量 
的 公式 。 例 如 ， 输 出 “与 ? 门 的 操作 为 Po*>*(z 人 zs 人 zs)。 我 们 把 这 些 附属 公式 称 为 子 旬 。 


xX, 


X3 





Æ 34-10 ”把 电路 可 满足 性 归 约 为 公式 可 满足 性 。 在 归 约 算法 所 
产生 的 公式 中 ， 电 路 的 每 根 线 都 有 着 一 个 对 应 的 变量 


此 归 约 算法 产生 的 公式 为 %， 它 是 电路 输出 变量 与 描述 每 个 门 操作 的 子 句 合 取 式 的 “与 ”。 对 
图 中 的 电路 ， 相 应 的 公式 为 : 
| $ = Zio 人 (t1 7 23) 
A (zz V x)) 
A Greena) 
A mela A zs A zx)) 
A (ze (zxs V ze)) 
A (zo (z; V zx)) 
A (zx A £s N xo)) 


给 定 一 个 电路 C， 就 可 以 直接 在 多 项 式 时 间 内 产生 这 样 的 一 个 公式 $。 

为 什么 只 有 当 公式 多 可 满足 时 ， 电 路 C 才 是 可 满足 的 呢 ? 如 果 C 具有 一 个 可 满足 性 赋值 ， 那 
么 电路 的 每 条 线路 都 有 一 个 良 定义 的 值 ， 并 且 电 路 的 输出 为 1。 因 此 ， 用 线路 的 值 对 % 中 的 每 个 
变量 赋值 后 ， 就 使 得 $ 中 每 个 子 句 的 值 为 1， 因而， 所 有 子 句 的 合 取 值 也 为 1。 反之， 如 果 存 在 
一 个 赋值 # 的 值 为 1， 则 类 似 可 证 电路 C 是 可 满足 的 。 这 样 就 证 明了 CIRCUIT-SAT<; SAT, M 
而 问题 得 证 。 a 

3-CNF 可 满足 性 

根据 公式 可 满足 性 进行 归 约 ， 可 以 证 明 很 多 问题 是 NP 完全 问题 。 归 约 算法 必须 能 够 处 理 任 
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何 输入 公式 ， 但 这 样 一 来 ， 就 必须 考虑 大 量 的 情况 。 因 此 ， 常 常 需要 根据 布尔 公式 的 一 种 限制 性 
语言 来 进行 归 约 ， 以 减少 考虑 的 情况 。 当 然 ， 我 们 不 应 该 由 于 对 该 语言 的 限制 过 多 ， 而 使 其 成 为 
多 项 式 时 间 可 解 的 语言 。3-CNF 可 满足 性 (或 3-CNF-SAT) 就 是 这 样 一 种 方便 的 语言 。 

我 们 运用 下 列 术语 来 定义 3-CNF 可 满足 性 。 布 尔 公式 中 的 一 个 文字 (literal) 是 指 一 个 变量 或 
变量 的 “ 非 ?。 如 果 一 个 布尔 公式 可 以 表示 为 所 有 子 句 的 “与 ”， 并 且 每 个 子 句 都 是 一 个 或 多 个 文字 
的 “或 ?>， 则 称 该 布尔 公式 为 合 取 范 式 ， 或 CNF(Cconjunctive normal formn) 。 如 果 公 式 中 每 个 子 句 
恰好 都 有 三 个 不 同 的 “文字 ”， 则 称 该 布尔 公式 为 3 合 取 范 式 ， 或 3-CNF。 

例如 ， 布 尔 公式 

(zy Vota VN (a3 Var Va) A xm V m2, Vi 
就 是 一 个 3 合 取 范式 ， 其 三 个 子 句 中 的 第 一 个 为 (x1 V 一 zi1V 一 zz)， 它 包含 了 三 个 文字 xa. n Tı 
和 一 zz 。 

在 3-CNF-SAT 问题 中 ， 有 这 样 的 问题 ，3-CNF 形式 的 一 个 给 定 布尔 公式 $$ 是 否 可 满足 ?下 
面 的 定理 说 明 ， 即 便当 布尔 公式 表述 为 这 种 简单 范式 时 ， 也 不 可 能 存在 多 项 式 时 间 的 算法 以 确 
定 其 可 满足 性 。 

定理 34. 10 3 合 取 范式 形式 的 布尔 公式 的 可 满足 性 问题 是 NP 完全 的 。 

证 明 为 了 证 明 3-CNF-SATCNP, 我 们 可 以 采用 在 证 明 
定理 34.9 时 ， 为 证 明 SATE NP 所 采用 的 方法 。 因 此 ， 根 据 
引 理 34.8， 仅 需要 证 明 SAT<p3-CNF-SAT。 

归 约 算法 可 以 分 为 三 个 基本 步骤 。 每 一 步骤 都 逐渐 使 输 
人 公式 % 回 所 要 求 的 3 合 取 范 式 接 近 。 

第 一 步 与 在 定理 34. 9 中 用 于 证 明 CIRCUIT-SAT<pSAT 
的 过 程 相同 ， 首 先 ， 为 输入 公式 $8 构造 一 棵 二 又 “语法 分 析 ” 
树 ， 将 文字 作为 树叶 而 连接 词 作为 内 部 顶点 。 图 34-11 说 明了 
公式 

$= (Ca >x) V 一 (( 人 TieTZ)) Va) Nor 





(34.3) ”图 34-11 与 公式 $=((z1 一 zx2)V 
的 一 棵 语法 分 析 树 。 如 果 输 入 公式 中 有 包含 数 个 文字 的 “或 ” Be re A 
的 子 句 ， 就 可 以 利用 结合 律 对 表达 式 加 上 括号 ， 使 得 在 所 产 
生 的 树 中 的 每 一 个 内 部 结 点 上 均 有 一 个 或 者 两 个 孩子 。 现 在 ， 我 们 就 可 以 把 二 叉 语法 分 析 树 视 
为 计算 该 函数 的 一 个 电路 了 。 
仿照 证 明定 理 34. 9 所 用 到 的 归 约 过 程 ， 我 们 为 每 个 内 部 顶点 的 输出 引入 一 个 变量 yo RE 
把 原始 公式 $ 改 写 为 根 变量 与 描述 每 个 顶点 操作 的 子 句 的 合 取 的 “与 ”"。 公 式 (34. 3) 经 改写 后 所 得 
的 表达 式 为 ; 
= y A (yy 人 一 To)) 
A (yy V y)) 
A (yr > ZX)) 
A (yy 7 ys) 
A Cys (ys V x)) 
A (ym 21> 23)) 
注意 ， 这 样 得 到 的 公式 是 所 有 子 句 出 的 合 取 式 ， 每 一 个 子 句 内 至 多 有 3 个 “文字 ”。 此 
外 ， 我 们 唯一 有 可 能 忽略 的 就 是 每 个 子 句 都 是 文字 的 “或 ”。 
归 约 的 第 二 步 是 把 每 个 子 句 H 都 转换 为 合 取 范 式 。 通 过 对 党 中 变量 的 所 有 的 赋值 进行 计 
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算 ， 从 而 构造 出 ¢ 的 真 值 表 。 真 值 表 中 的 每 一 行 都 包括 子 句 变量 的 一 种 可 能 的 赋值 和 根据 这 一 
赋值 所 计算 出 来 的 子 句 的 值 。 如 果 运 用 真 值 表 中 值 为 0 的 项 ， 就 可 以 构造 出 公式 的 析 取 范式 
(disjunctive normal form, DNF), ， 即 一 个 “与 ?的 “或 ?>， 它 等 价 
于 -# 。 然 后 ， 运 用 德 ， 摩根 定律 (等 式 (B. 2)) 0 
“(ab 一 一 4V 一 0 
~(a V b) =>a Nb 
把 所 有 文字 取 补 ， 并 把 或 ? 变 成 "与 "、“ 与 " 变 成 "或 ?>， 就 
可 以 把 公式 变换 为 CNF AR $. 
在 我 们 所 举 的 例子 中 ， 按 如 下 方式 把 子 名 内 二 (y+> (ys 人 
一 zz)) 变 换 为 GNF。 图 34-12 中 给 出 了 内 的 真 值 表 。 与 一 和 等 图 34-12 FA C e C A722) 
价 的 DNF 公式 为 : 的 真 值 表 
| Cy A ye A ze) V On A A z) V 
| (y AT A722) V Oyn A y Nox) 
应 用 德 。 摩根 定律 ， 可 以 得 到 CNF 公式 : | 
| = Vim Vom) A Om VV» V 722) 
A Mma V x» V 22) A Cn V aoe V z) 





] 
0 
0 
l 
0 
1 
1 


它 等 价 于 原始 子 句 内 ，。 

现在 ， 公 式 #8 的 每 个 子 句 内 已 经 转换 为 一 个 CNF ARP, Ke, SENT L 的 合 取 式 组 
成 的 CNF 公式 光 。 此 外 ， 风 的 每 个 子 句 至 多 包含 3 个 “文字 ”。 

归 约 的 第 三 步 ( 即 最 后 一 步 ) 就 是 对 公式 进一步 进行 变换 ， 使 得 每 个 子 句 恰好 有 3 个 不 同 的 文 
字 。 最 后 根据 CNF 公式 # 的 子 名 构造 出 3-CNF AR g. ASK 入 使 用 了 两 个 辅助 变量 p 和 g。 对 
入 中 的 每 个 子 名 C,， 使 迷 中 包含 下 列子 句 : 

。 WER C! 中 有 3 个 不 同 的 文字 ， 则 直接 把 C 作为 #” 中 的 一 个 子 句 。 

。 如 果 G: 中 有 两 个 不 同 的 文字 ， 即 如 果 GHGVL), HPL ML 为 文字 ， 那 么 就 把 (UV lV 

人 CUV LV DER PRF. 文字 p 和 -pp 仅仅 是 为 了 满足 每 个 子 句 必须 恰 有 3 个 不 同 
的 文字 这 一 语法 要 求 。 不 论 p=0 R P=1, A VAVP) AG VL V7 DRENT Lh V h. 
。 WEC 中 仅 有 一 个 文字 !， 则 把 
UV pVDAUVEVADMAUV-7pVODAUV-7pV7q@ 
作为 扩 的 子 句 。 注 意 p 和 4g 的 每 一 种 取 值 都 使 4 个子 句 的 合 取 式 的 值 为 1。 

现在 我 们 可 以 看 出 3-CNF 公式 六 是 可 满足 的 ， 当 且 仅 当 上 述 三 个 步骤 的 每 一 步 中 ，#$ 都 是 
可 满足 的 。 像 从 CIRCUIT-SAT 归 约 为 SAT 的 过 程 一 样 ， 第 一 步 根据 $ 构 造 $ 的 过 程 保持 可 满 
足 性 ， 第 二 步 产生 的 CNF 公式 六 在 代数 上 与 等 价 ， 第 三 步 产 生 的 3-CNF 公式 六 也 等 价 于 凡 ， 
这 是 因为 对 变量 之 和 4 的 任意 赋值 所 产生 的 公式 在 代数 上 与 加 等 价 ， 

此 外 ， 还 必须 证 明 归 约 可 以 在 多 项 式 时 间 内 完成 。 从 $ 构 造 中 的 每 个 连接 词 至 多 引入 一 个 
变量 和 一 个 子 名 。 从 构造 的 过 程 对 中 的 每 一 个 子 句 则 至 多 在 六 中 引入 8 个 子 句 ， 这 是 因为 
# 中 的 每 个 子 句 至 多 有 3 个 变量 ， 因 此 每 个 子 句 的 真 值 表 至 多 有 2* 一 8 行 。 从 构造 六 的 过 程 对 
中 的 每 个 子 句 至 多 在 六 中 引入 4 个 子 句 。 因 此 ， 所 产生 的 最 终 公式 扩 的 规模 是 关于 原始 公式 长 
度 的 多 项 式 。 因 此， 我 们 可 以 轻松 地 在 多 项 式 时 间 内 完成 每 一 步 构造 过 程 。 m 


练习 


34. 4-1 考虑 一 下 在 定理 34. 9 的 证 明 过 程 中 运用 直接 ( 非 多 项 式 时 间 ) 归 约 。 描 述 一 个 规模 为 n 的 
电路 , | 运用 这 种 归 约 思想 将 其 转换 为 一 个 公式 时 ， 能 产生 一 个 规模 为 n 的 指数 的 公式 。 
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34. 4-3 


34. 4-4 


34. 4-5 
34. 4-6 


34. 4-7 
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写 出 将 定理 34. 10 中 的 方法 应 用 于 公式 (34. 3) 时 所 得 到 的 3-CNF 公式 。 

Jagger 教授 提出 ， 在 定理 34. 10 的 证 明 中 ， 可 以 仅 利 用 真 值 表 技 术 而 无 需 其 他 步 台 ， 就 
能 证 明 SAT<p3-CNF-SAT。 也 就 是 说 ， 这 位 教授 试图 取 布 尔 公 式 %， 形 成 有 关 其 变量 
的 真 值 表 ， 根 据 其 真 值 表 导出 一 个 3-CNF 形式 的 、 等 价 于 一 $ 的 公式 ， 再 对 公式 取 反 ， 
并 运用 德 。 摩根 定律 ， 从 而 可 以 得 到 一 个 等 价 于 8 的 3-CNF 公式 。 证明 : 这 一 策略 不 能 
产生 多 项 式 时 间 的 归 约 。 

证 明 : 确定 某 一 布尔 公式 是 否 为 重 言 式 这 一 问题 对 coNP 来 说 是 完全 的 。( 提 示 : WH 
习 34. 3-7。) 

HERR: 确定 析 取 范式 形式 的 布尔 公式 的 可 满足 性 这 一 问题 是 多 项 式 时 间 可 解 的 。 

假设 已 知 某 一 个 判定 公式 可 满足 性 的 多 项 式 时 间 算 法 。 请 说 明 如 何 利 用 这 一 算法 在 多 项 
式 时 间 内 找 出 可 满足 性 赋值 。 

设 2-CNF-SAT 是 CNF 形式 的 、 每 个 子 句 中 恰 有 两 个 文字 的 可 满足 公式 的 集合 ， 证 明 : 
2-CNF-SATEP。 尽 可 能 优化 你 的 算法 效率 。( 提 示 : 注意 rV y 与 一 x 一 y 是 等 价 的 。 将 


2-CNE-SAT 归 约 为 一 个 在 有 四 图 上 高 效 可 解 的 问题 。) 


34.5 NP 完全 问题 


NP 冤 全 问题 产生 于 各 种 不 同 领域 : 布尔 逻辑 ， 图 论 ， 算法， 网 络 设计 ， 人 和 集合 与 划分 ， 存 储 


与 检索 ， 排 序 与 调度 ， 数 学 程序 设计 ， 代 数 与 数 
论 ， 游 戏 与 难 解 问题 ， 目 动机 与 语言 理论 ， 程 序 优 
Me, AM, he, WMH, SS. EARTH, RN 
将 运用 归 约 方法 ， 对 于 从 图 论 到 集合 划分 的 各 种 问 
题 进行 NP 完全 性 的 证 明 。 

图 34-13 给 出 了 在 本 节 和 34. 4 节 中 进行 的 NP 
完全 性 证 明 的 流程 结构 。 图 中 每 种 语言 都 含有 指向 


“O 
SE 


它 的 语言 ， 我 们 把 该 语言 进行 归 约 ， 从 而 证 明 其 所 | 
-VERTENEE ne 


指向 语言 的 NP 完全 性 。 其 根 为 CIRCUIT-SAT， 
我 们 在 定理 34. 7 中 已 经 证 明了 它 是 NP 完全 语言 。 


34.5.1 团 问题 


无 向 图 G= 二 (VY，E) 中 的 团 (clique) 是 一 个 顶点 
子 集 VSEV， 其 中 每 一 对 顶点 之 间 都 由 五 中 的 一 条 
边 来 连接 。 换 句 话 说， 一 个 团 是 G 的 一 个 完全 子 
图 。 团 的 规模 是 指 它 所 包含 的 顶点 数 。 团 问题 是 关 
于 寻找 图 中 规模 最 大 的 团 的 最 优化 问题 。 作 为 判定 





ph Uf inet ih 
COM eS Laue 


图 34-13 34.4 节 和 34.5 节 中 NP 完全 性 证 
明 的 结构 ， 所 有 的 证 明 最 终 都 是 通 
过 对 CIRCUIT-SAT 的 NP 完全 性 
归 约 而 得 到 的 


问题 ， 我 们 仅仅 要 考虑 的 是 ， 在 图 中 是 否 存在 一 个 给 定 规模 为 有 的 团 ?其 形式 定义 为 : 
CLIQUE={(G, $): G 是 一 个 包 合 规 模 为 的 团 的 图 ) 
要 确定 具有 |V| 个 项 点 的 图 G 一 (V，E) 是 否 包含 一 个 规模 为 的 团 ， 一 种 朴素 算法 是 列 出 V 
的 所 有 上 子 集 ， 并 对 其 中 的 每 一 个 进行 检查 ， 看 它 是 否 形成 一 个 团 。 该 算法 的 运行 时 间 是 
0( 尼 “7 ) 。 如 果 上 为 常数 ， 那 么 该 算法 是 多 项 式 时 间 的 。 但 是 ， 在 一 般 情况 下 ，& 可 能 接近 于 


1Y| /2， 这 样 一 来 ， 算 法 的 运行 时 间 就 是 超 多 项 式 时 间 。 事 实 上 ， 团 问题 的 有 效 算法 是 不 大 可 能 


存在 的 。 
定理 34. 11 团 问 题 是 NP 完全 的 。 


第 34 章 NP 完全 性 ，。， 639 


证 明 为 了 证 明 CLIQUEE NP， 对 一 个 给 定 的 图 G=(V，E)， 用 团 中 顶点 集 V'CV 作为 G 
的 一 个 证 书 。 对 于 任意 一 对 顶点 w，vEV'， 通 过 检查 边 (u，wv) 是 否 属于 玉 ， 就 可 以 在 多 项 式 时 
间 内 确定 V 是 否 是 团 。 
下 一 步 来 证 明 3-CNF-SAT<pCLIQUE， 以 此 来 说 明 团 问题 是 NP 难度 的 。 从 某 种 意义 来 说 ， 
我 们 能 证 明 这 一 结论 是 令 人 惊奇 的 ， 因 为 从 表面 上 看 ， 逻 辑 公式 与 图 几乎 没有 什么 联系 。 
该 归 约 算法 从 一 个 3-CNF-SAT 的 实例 开始 。 设 9 一 CAC A+ AC, 是 3-CNF 形式 中 一 个 具 
有 上 个 子 句 的 布尔 公式 。 对 r= 二 1，2，…，k， 每 个 子 句 C, 中 恰好 有 3 ARARE K, gA g. [1087 
我 们 将 构造 一 个 图 G 使 得 $ 是 可 满足 的 ， 当 且 仅 当 G 包 含 一 个 规 摸 为 的 团 。 
我 们 按照 以 下 要 求 构 造 图 G: 对 #$ 中 的 每 个 子 句 G, 二 CIV 如 V4 )， 我 们 把 3 个 顶点 WwW、w 
和 要 组 成 的 三 元 组 放 入 立 中 。 如 果 下 列 两 个 条 件 同 时 满足 ， 就 用 一 条 边 连接 顶点 v7 和 vw;。 
。 v7 和 wi; 处 于 不 同 的 三 元 组 中 ， 即 rés. 
。 它们 的 相应 “文字 ”是 一 致 的 ， 即 二 不 是 好 的 非 。 
根据 #$ 可 以 很 轻易 地 在 多 项 式 时 间 内 计算 出 该 图 。 通 过 以 下 例子 来 说 明 这 一 构造 过 程 。 如 果 有 : 
$= (2, Vox Vox) A Ca Va V xa) A (rr V xe V z) 
则 G 就 是 图 34-14 所 示 的 图 。 


Cix Vax Vax, 


EAN 
C= 一 X Vx Vx Mega) G=x Va Vx 
1 VX V X3 PAn 3= XI V X2 V X: 
> 





图 34-14 在 由 3-CNF-SAT 归 约 到 CLIQUE 的 过 程 中 ， 由 3-CNF 公式 $= 二 C1 和 CsA 人 Cs 导出 的 
AAG, EF O= Vo a2 V3), Co= (Cra VaV), C=(rV x2 V 23) 


该 公式 的 一 组 可 满足 赋值 为 Xs—=0, n=l, x 为 0 或 者 l; 这 一 赋值 以 一 TX? 满足 C ， 以 T3 
满足 C 和 Cs， 与 浅 阴影 顶点 所 构成 的 团 集 相对 应 。 

我 们 必须 证 明 从 #$ 到 G 的 转换 过 程 是 一 种 归 约 过 程 。 首 先 ， 假 定 上 有 一 个 可 满足 性 赋值 。 那 
么 ， 每 个 子 句 C, 至 少 包含 一 个 文字 必 ， 将 此 文字 赋值 为 1， 并 且 把 每 个 这 样 的 文字 对 应 于 一 个 顶 
点 叶 。 从 上 述 的 每 个 子 句 中 挑选 出 一 个 这 样 的 “ 真 ” 文 字 ， 就 得 到 个 顶点 组 成 的 集合 内。 可 以 
断言 V' 是 一 个 团 。 对 于 任意 的 两 个 顶点 牙 ， 攻 EV'(r 关 :;)， 根 据 给 定 的 可 满足 性 赋值 ， 两 个 顶点 
相应 的 文字 UF A Li 都 被 映射 为 1， 这 两 种 文字 不 可 能 是 互补 的 关系 。 因 此 ， 根 据 G 的 构造 ， 
Wu, vydEE, 1088 

反之 , 假定 G 有 一 个 规模 为 的 团 V'。G 中 没有 连接 同一 个 三 元 组 中 的 顶点 的 边 ， 因 此 ，V 
中 恰好 包含 每 个 三 元 组 的 一 个 顶点 。 我 们 可 以 把 每 个 满足 vi EV' 的 文字 /赋值 为 1， 并 且 不 必 担 心 
会 出 现 一 个 文字 与 其 补 同时 为 1 的 情况 ， 这 是 因为 在 G 中 ， 不一致 文 字 之 间 不 存在 连 线 。 由 于 每 
个 子 句 都 是 可 满足 的 ， 因 此 多 也 是 可 满足 的 。( 不 与 团 之 中 顶点 相对 应 的 变量 可 以 随意 设置 。) 
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在 图 34-14 的 例子 中 ，#$ 的 一 个 可 满足 性 赋值 为 x, 二 0，zs 二 1。 规 模 为 3 的 相应 团 由 对 应 于 
第 一 个 子 句 中 的 一 z;、 第 二 个 子 句 中 的 zs 和 第 三 个 子 句 中 的 zs 的 顶点 所 组 成 。 由 于 该 团 不 包含 
对 应 于 Tı 或 一 Tı 的 顶点 ， 因此 ， 在 这 个 可 满足 性 赋值 中 ， 可 以 将 Tı 设置 为 0 或 Ls 

注意 在 定理 34. 11 的 证 明 中 ， 我 们 将 3-CNF-SAT 的 任意 一 个 实例 归 约 成 了 具有 某 种 特定 结 
构 的 CLIQUE 的 实例 。 从 表面 上 看 来 ， 似 乎 是 我 们 仅 证 明了 CLIQUE 在 有 些 图 中 是 NP 难度 的 . 
在 这 些 图 中 ,顶点 被 限制 为 以 三 元 组 形式 出 现 ， 且 同一 三 元 组 中 的 顶点 之 间 没 有 边 。 事 实 上 ， 我 
们 的 确 仅 证 明了 CLIQUE 在 这 种 受 限 的 情况 下 才 是 NP 难度 的 ， 但 是 ， 这 一 证 明 足 以 证 明 在 一 般 
的 图 中 ，CLIQUE 也 是 NP 难度 的 。 这 是 为 什么 呢 ? 如 果 有 一 个 能 在 一 般 的 图 上 解决 CLIQUE 
问题 的 多 项 式 时 间 算 法 ， 那 么 它 就 能 在 受 限 的 图 上 解决 CLIQUE 问题 。 

另 一 方面 ， 将 带 有 某 种 特殊 结构 的 3-CNF-SAT 的 实例 归 约 为 一 般 性 的 CLIQUE 的 实例 还 不 
够 。 为 什么 这 人 么 说 呢 ? 有 可 能 我 们 选择 来 进行 归 约 的 3-CNF-SAT 的 实例 比较 容易 ， 因 而 无 法 将 
一 个 NP 难度 的 问题 归 约 为 CLIQUE。 

男 外 ， 还 要 注意 一 下 3-CNF-SAT 的 实例 中 所 用 到 的 归 约 ， 而 不 仅 是 它 的 解决 方案 。 如 果 多 
项 式 时 间 的 归 约 的 前 提 是 已 经 知道 公式 % 是 否 是 可 满足 的 ， 则 会 导致 错误 ， 因 为 我 们 并 不 知道 如 
何在 多 项 式 时 间 内 判定 $ 是 否 是 可 满足 的 。 


34.5.2 项 点 覆盖 问题 


无 向 图 G 二 (V，E) 的 顶点 覆盖 (vertex cover) 是 一 个 子 集 CV, WEWRA U, VEE, W 
uEV 或 EV' (或 两 者 同时 成 立 ) 。 也 就 是 说 ， 每 个 顶点 “覆盖 ?与 其 相关 联 的 边 ， 并 且 G 的 顶点 
履 盖 是 窗 盖 EE 中 所 有 边 的 顶点 所 组 成 的 集合 。 顶 点 覆盖 的 规模 是 指 它 所 包含 的 顶点 数 。 例 如 ， 
图 34-15(b) 中 有 一 个 规模 为 2 的 顶点 覆盖 {zw，z)} 。 





Ca) (b) 


图 34-15 ”把 CLIQUE 归 约 为 VERTEX-COVER, (a—-t ASH V'={u, v, z, y HEA 
G 二 (V，E)。(b) 由 归 约 算法 产生 图 G。 此 图 中 包含 顶点 覆盖 V 一 V'=={w，z) 


顶点 覆盖 问题 是 指 在 一 个 给 定 的 图 中 ， 找 出 具有 最 小 规模 的 顶点 覆盖 。 把 这 一 最 优化 问题 
重新 表述 为 一 个 判定 问题 ， 即 确定 一 个 图 是 否 具有 一 个 给 定 规模 & 的 顶点 覆盖 。 作 为 一 种 语言 ， 
我 们 定义 

VERTEX-COVER=({(G, k): 图 G 有 一 个 规模 为 & 的 顶点 覆盖 ) 

下 面 的 定理 证 明了 这 一 问题 是 一 个 NP 完全 的 。 

定理 34. 12 ”顶点 履 盖 问题 是 NP 完全 的 。 

证 明 首先 来 证 明 VERTEX-COVERENP。 假 定 已 知 一 个 图 G=(V, EMBER k, RE 
取 的 证 书 是 顶点 覆盖 VSYV 自身 。 验 证 算法 可 证 实 |V | 二 k， 然 后 对 每 条 边 (u，v) EE， 检 查 是 
否 有 xEY 或 vEV 。 我 们 可 以 很 容易 在 多 项 式 时 间 内 验证 这 一 问题 。 

我 们 通过 证 明 CLIQUE<p VERTEX-COVER 来 证 明 顶 点 覆盖 问题 是 NP 难度 的 。 这 一 归 约 
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过 程 是 以 “ 补 图 ”的 概念 为 基础 的 。 给 定 一 个 无 向 图 G= 二 (V，E)， 定 义 G 的 补 图 G= 二 (V, E), 其 
thE={(u, v): u, vEV, uxv, (u, WEE}. RUB, GCGREPAAAEG 中 的 那些 边 的 
图 。 图 34-15 显示 出 了 一 个 图 与 其 补 图 ， 并 说 明了 从 CLIQUE 到 VERTEX-COVER 的 归 约 过 程 。 
归 约 算法 的 输入 是 团 问题 的 实例 (G，&)。 它 计算 出 补 图 G， 这 很 容易 在 多 项 式 时 间 内 完成 。 
归 约 算法 的 输出 是 项 点 覆盖 问题 的 实例 (G，|V| 一 £)。 为 了 完成 证 明 ， 下 面 来 说 明 该 变换 的 确 
是 一 个 归 约 过 程 : 图 G 具有 一 个 规模 为 & 的 团 ， 当 且 仅 当 图 G 有 一 个 规模 为 |V| 一 & 的 顶点 
覆盖 。 
假设 G 包含 一 个 团 V'CV， 其 中 |V'| =k, RIKE: V-V EG 中 的 一 个 顶点 覆盖 。 设 
(uy DEE PRESH, WAG, VEE, KERT 或" 中 至 少 有 一 个 不 属于 六， 这 是 由 于 
V' 中 每 一 对 顶点 间 都 至 少 有 一 条 玉 中 的 边 与 其 相连 。 等 价 地 ，v 或 u 中 至 少 有 一 个 属于 V 一 V"， 
这 意味 着 边 (u，v) 是 被 V 一 V' 所 覆盖 。 由 于 (u，v) 是 从 巨 中 任意 选取 的 边 ， 所 以 巨 的 每 条 边 都 
被 V 一 V' 中 的 一 个 顶点 所 覆盖 。 因 此 ， 规 模 为 |V| 一 & 的 集合 V 一 V' 形 成 了 GG 的 一 个 顶点 覆盖 。 
反之 , 假设 具有 一 个 顶点 覆盖 V'SV， 其 中 |V'|==1V| 一 &。 那么 ,对 所 有 u, vEV, w 
Ru, VEE, 则 wEV' 或 EV 或 两 者 同时 成 立 。 与 此 相对 ， 对 所 有 wu，vEV， 如 果 u&V 且 
vfV'， 则 (wu，v) EE。 换 句 话 说 ,，V 一 V' 是 一 个 团 ， 其 规模 为 |V| 一 |V'| =e. m 
由 于 VERTEX-COVER 是 NP 完全 的 ， 所 以 我 们 并 不 期 望 能 找 出 一 种 多 项 式 时 间 的 算法 来 
寻找 最 小 规模 的 顶点 覆盖 。 然 而 ，35. 1 节 介绍 了 一 种 多 项 式 时 间 的 “近似 算法 ”， 它 可 以 产生 顶 
点 覆盖 问题 的 “近似 ” 解 。 该 算法 所 产生 的 顶点 覆盖 的 规模 至 多 为 最 小 规模 顶点 覆盖 的 2 倍 。 
因此 ， 我 们 不 应 该 因为 某 个 问题 是 NP 完全 的 而 放弃 希望 。 对 这 样 的 问题 ， 尽 管 寻 找 其 最 优 
解 是 NP 完全 问题 ， 但 依然 可 能 设计 出 某 种 多 项 式 时 间 的 近似 算法 ， 来 获得 它 的 近似 最 优 解 。 第 
35 ENAT JLA NP 完全 问题 的 近似 算法 。 


34.5.3 ”哈密 顿 回 路 问题 

现在 ， 我 们 再 回 过 头 来 讨论 34. 2 节 中 定义 的 哈密 顿 回路 问题 。 

定理 34.13 哈密 顿 回路 问题 是 NP 完全 问题 。 

证 明 先 来 说 明 HAM-CYCLE 属于 NP. BXI—TAIG=(V, E), 我们 选取 的 证 书 是 形成 
哈密 顿 回路 的 |V| 个 顶点 所 组 成 的 序列 。 验 证 算法 检查 到 这 一 序列 恰好 包含 v 中 每 个 顶点 一 次 
(但 第 一 个 顶点 会 在 末尾 重复 出 现 一 次 )， 并 且 它 们 在 G 中 形成 一 个 回路 。 也 就 是 说 ， 它 要 检查 
每 一 对 连续 顶点 及 首 、 尾 顶点 之 间 是 否 都 存在 着 一 条 边 。 我 们 可 以 在 多 项 式 时 间 内 验证 这 一 
证 书 。 | 

现在 ， 我 们 来 证 明 VERTEX-COVER 生 "HAM-CYCLE。 从 而 证 明 HAM-CYCLE 是 NP 完全 
的 。 给 定 一 个 无 向 图 G 二 (V，E) 和 一 个 整数 &， 构 造 一 个 无 向 图 G =V, EN, EREE — 
个 哈密 顿 回 路 ， 当 且 仅 当 G 中 有 一 个 大 小 为 & 的 顶点 覆盖 。 

上 述 构造 过 程 需 应 用 到 附件 图 (widget)， 它 是 一 个 图 的 一 部 分 ， 往 往 加 上 了 某 些 特性 。 
图 34-16(a) 中 示 出 了 我 们 用 到 的 附件 图 。 对 于 每 条 边 (u，v) EE， 我 们 所 构造 的 图 G 都 将 包含 这 
一 附件 图 的 一 份 副本 ， 用 W,, 来 表示 。 对 W, 中 的 每 个 顶点 ， 用 Lu，wv， 纪 或 [uv，wu， 纪 来 表示 ， 
其 中 1<i<6， 因 此 ， 每 个 附件 图 W 包 含 12 个 顶点 。 如 图 34-16(a) 所 示 ， 附 件 图 W。 还 包含 14 
条 边 。 | 

除 附 件 图 的 内 部 结构 外 ， 我 们 还 通过 限制 附件 图 与 构造 出 来 的 图 G 其 余部 分 之 间 的 连接 ,来 
强加 一 些 有 用 的 特性 。 特别 地 ， 只 有 顶点 Lu， Us 1j、 Lu, Us 6], Lv, Us 1 和 [Lv， Us 6 包含 与 外 
界 相连 的 边 。G 中 的 任何 哈密 顿 回路 都 必须 以 图 34-16(b) 一 (9) 中 所 示 三 种 方法 中 的 某 一 种 来 遍历 
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Ww 中 的 边 。 如 果 回 路 由 顶点 Lu，v，1j 进 入 ， 则 必定 由 顶点 Lu，v，6j 退 出 。 且 它 或 者 访问 附件 图 
中 的 12 个 顶点 (图 34-16(c))， 或 者 访问 从 [x，v，1] 到 [xu，v，6j 的 6 个 顶点 (图 34-16(c))。 在 后 一 
种 情况 中 ， 回 路 必须 重新 进入 附件 图 以 访问 顶点 Lu，v，1j 到 [Lu，v，6]。 类 似 地 ， 如 果 回 路 是 从 顶 
点 Lu，v，1j 进 入 的 ， 则 必须 从 顶点 Lu，v，6j 退 出 ， 且 它 或 者 访问 附件 图 中 的 所 有 12 个 顶点 
(图 34-16(d)), 或 者 访问 从 [v，wu，1j 到 [v，u，6j 的 6 个 顶点 (图 34-16(c))。 不 存在 上 述 以 外 的 其 
他 路 径 能 访问 附件 图 中 所 有 12 个 顶点 。 特 别 地 ， 不 可 能 构造 出 两 个 “顶点 不 相交 ”路 径 ， 其 中 一 条 
连接 [Lu，wv，1j 与 Lv,w， 6]， 男 一 一 条 连接 了 Lv，wu，1j] 和 [Lu，wv，6j」， 使 得 两 条 路 径 的 并 包含 了 附件 
图 中 的 所 有 顶点。 












uul Q © [vul] moll Stel) wall Q Fowl] 
[u,v,2] ©) [v,u,2] > : he 
[u,v,3] Ce) ED [v,u,3] 


i | 
[uu] = lowe] [o6] 
ear ia 





ae (d) 


图 34-16 在 将 顶点 覆盖 问题 归 约 为 哈密 顿 回路 的 过 程 中 所 用 到 的 附件 图 。 图 G 的 一 条 边 (w， 必 对 应 于 归 
约 过 程 所 产生 的 图 G 中 的 附件 玖 。。(a) 附 件 图 ， 其 中 的 每 个 顶点 都 加 上 了 标记 。(b) 一 (d) 加 上 
了 阴影 的 路 径 是 通过 附件 图 上 且 包 含 所 有 顶点 的 仅 有 的 可 能 路 径 ， 假 设 从 该 附件 图 到 G 的 其 余部 
分 的 唯一 连接 是 通过 顶点 Lu， Vs IJ; Lu, Dy 6]. Lv, us 1 和 [Lv， us 1j 完 成 的 


除了 附件 图 中 的 那些 顶点 外 ，V 中 唯一 的 其 他 顶点 为 选择 器 顶点 《selector vertex)s, ss +t, 
%。 我 们 利用 与 G 中 选择 器 顶点 关联 的 边 来 选择 G 中 那些 能 实现 & 个 顶点 覆盖 的 顶点 。 

除了 附件 图 中 的 边 之 外 ，E 中 还 有 另外 两 类 边 ， 如 图 34-17 所 示 。 首 先 ， 对 于 每 个 顶点 wEV， 
都 加 入 一 些 边 来 连接 一 对 一 对 的 附件 图 ， 从 而 形成 一 条 路 径 ， 它 包含 了 所 有 对 应 于 G 中 与 关联 
的 边 的 附件 图 。 对 于 与 每 个 顶点 KEY 相 邻 的 所 有 顶点 ， 将 其 任意 地 排序 为 w”?，w”，…， 
u E<, Herh degree(z) 是 与 相 邻 的 顶点 的 数目 。 通 过 将 边 Cuu? 6], Lusu? ,1]:1 过 i 过 
degree(u) —1)} 加 入 E' 中 ， 即 可 在 G 中 构造 出 一 条 穿越 所 有 附件 图 的 路 径 ， 这 些 附件 图 与 那些 
关联 于 顶点 w 上 的 边 相 对 应 。 例 如 ， 在 图 34-17 中 ， 我 们 将 与 ww 相 邻 的 顶点 排序 为 z-，y，z， 这 
样 图 34-17(b) 中 的 图 G 就 包含 了 边 ([w，z， 6], Lw, y, 1DACw, y, 6], Lw, z, 1]). X} 
于 每 个 顶点 wEV，G 中 的 这 些 边 形成 了 一 条 包含 一 系列 附件 图 的 路 径 ， 这 些 附件 图 都 与 C 中 关 
联 于 顶点 wu 上 的 边 对 应 。 

这 些 边 给 我 们 的 直 党 就是， 如果 选择 了 G 的 顶点 覆盖 中 的 某 一 顶点 EV， 就 可 以 在 G HH 
iH—-AMLu, u, 1d lu, ur, CRE, EB” TRAST u 的 边 对 应 的 
附件 图 。 也 就 是 说 ， 对 于 这 些 附件 图 中 的 每 一 个 (如 We )， 该 路 径 或 者 包含 所 有 的 12 个 顶点 
(如 果 u 在 顶点 覆盖 中 ’ 但 uy 不 在 顶点 履 盖 中 ) ’ 或 者 只 是 6 个 顶点 Lu, u? , 1] ’ Lu, u”, 2] ’ 
Lu, u?, 3], =e, Lu, uv, 6IQRu Mu? REMAR AP). 

F' 中 的 最 后 一 类 边 将 这 些 路 径 中 的 第 一 个 顶 点 [u，, u R3 1 及 最 后 一 个 顶点 Lau， 6] 
与 每 一 个 选择 器 顶点 连接 起 来 。 也 就 是 将， 包含 了 以 下 的 边 ; 

{(s;,[usu? 1D)DuEV, 1Kj Sk} U (65,,.Lu,uer™ 6 ):u EV, IKj<k} 

接着 ， 我 们 要 证 明 G 的 规模 是 G 的 规模 的 多 项 式 ， 因 而 可 以 在 G 规模 的 多 项 式 时 间 内 构造 
出 G 。G 的 顶点 由 附件 图 中 的 顶点 及 选择 器 顶点 所 构成 。 每 一 个 附件 图 包含 12 SR, FERS 
1V| 个 选择 器 顶点 ， 总 计 : 


(a) 
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图 34-17 顶点 覆盖 问题 的 一 个 实例 归 约 为 哈密 顿 回路 问题 的 一 个 实例 的 过 程 。(a) 一 个 无 向 图 G， 
它 有 一 个 规模 为 2 的 顶点 覆盖 ， 由 图 中 小 阴影 的 顶点 w Aly 组 成 。(b) 归 约 过 程 所 产生 
的 无 向 图 G ， 其 中 顶点 覆盖 所 对 应 的 哈密 顿 回路 用 阴影 标识 。 顶 点 覆盖 {w，») 对 应 于 出 
现在 哈密 字 回 路 中 的 边 (9 » [w ey IDAG, Cyr 2 1D 


IV'| =12|E| +k<12|E| + |V| 
个 顶点 。G 中 的 边 包 括 附件 图 中 的 边 、 连接 不 同 附件 图 的 边 和 连接 选择 器 顶点 与 附件 图 的 边 。 每 
一 个 附件 图 中 包含 14 条 边 ， 所 有 附件 图 加 起 来 有 14| 王 | 条 边 ， 对 于 每 个 顶点 zxEV， 图 G 有 
degree(u)— 1 Ae He 于 是 ， 对 V 中 所 有 的 顶点 求 和 ， 则 附件 图 之 间 共 有 
| D> (degree(u) 一 1) = 2| E| — |V| 


uE€EV 


条 边 。 最 后 ， 每 一 对 附件 图 之 间 有 两 条 边 ， 每 一 对 边 都 由 一 个 选择 器 顶点 和 V 中 的 一 个 顶点 所 
构成 ， 共 有 2k|V| 条 这 样 的 边 ， 因此 ，G 中 总 边 数 为 : 
|E|= 4|E|)+ (C2|IE|—|Vv|)+ (CIVv|) 

= 16| E| +@2k—1)|V| <16| E| + @2|Vi|—DIlv| 
现在 来 证 明 从 图 G 到 图 G 的 变换 是 一 个 归 约 ， 即 必须 证 明 G 中 有 一 个 规模 为 的 顶点 覆盖 ， 当 
HA G 中 有 一 个 哈密 屯 回路 。 

假设 G=(V， E) 中 有 一 个 规模 为 & 的 顶点 覆盖 V* CV. RV = (u, w, > wm}. WE 
34-17 所 示 ， 通过 过 为 每 个 顶点 wu eV 包含 以 下 边 S ， 就 可 以 在 G 中 形成 一 条 哈密 顿 回 路 。 包 含 边 
(Cus uj? 6], [u;, uf, 1]): 1 二 1 二 degreel(w) 一 1}， 它 们 连接 了 所 有 与 关联 于 的 边 对 
应 的 附件 图 。 此 外 ， 还 要 包含 如 图 34-16(b)~(d) 所 示 的 附件 图 中 的 边 ， 具 体 取决 于 那 条 边 是 否 


| 


O 从 技术 来 说 ， 我 们 是 根据 顶点 定义 边 而 不 是 根据 边 来 定义 回路 ( 见 B4 节 )。 出 于 清晰 性 的 考虑 ， 此 处 故意 “ 误 
用 "这 一 义 而 根据 边 来 定义 哈密 顿 回路 。 


| 


| 
| 
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被 人 中 的 一 个 或 两 个 顶点 所 覆盖 。 哈 密 顿 回路 还 包含 边 
(Cs; s Luy su” ,11]):1 过 7 过 &} 
U (Cs „Luj T ,6 :1 委 J 委 4 一 ]1) 
U {Cs s Lur iad ,6 ])} 
只 要 仔细 观察 图 34-17， 就 可 以 验证 这 些 边 确 实 形成 了 一 个 回路 。 此 回路 从 s 开始 ， 访 问 与 所 有 
关联 于 wu 的 边 对 应 的 附件 图 ， 再 访问 s;， 访 问 与 所 有 关联 于 u 的 边 对 应 的 附件 图 ， 等 等 ， 直 到 
ERE s 时 为 止 。 每 个 附件 图 都 被 回路 访问 了 一 次 或 两 次 ， 具体 取决 于 V' 中 的 一 个 还 是 两 个 顶 
点 覆盖 了 其 对 应 的 边 。 由 于 V’ 是 图 G 的 一 个 顶点 覆盖 ，E 中 的 每 条 边 都 与 V* 中 的 某 个 顶点 关 
联 ， 因 此 回路 访问 G 的 每 个 附件 图 中 的 每 个 顶点 。 由 于 该 回路 还 要 访问 每 个 选择 器 顶点 ， 因 此 ， 
该 回路 为 哈密 顿 回 路 。 
反之 , 假设 G =(V'， EF ) 中 包含 了 一 个 哈密 顿 回路 CCSE 。 我 们 断言 集合 

V* = {u € V: (ss uu ,1)) EC C,1l<j<k} (34. 4) 
是 G 的 一 个 顶点 覆盖 。 为 了 探究 其 原因 ， 我 们 可 以 把 C 划分 为 一 些 从 某 个 选择 器 顶点 s: 开始 的 
最 大 路 径 ， 对 于 某 个 EV， 它 们 遍历 一 条 边 (s;:，[u，wu ”，1]」)， 并 终止 于 某 个 选择 器 顶点 9， 
而 不 会 经 过 任何 其 他 的 选择 器 顶点 。 我 们 称 每 一 条 这 样 的 路 径 为 “覆盖 路 径 >。 根 据 G 的 构造 方 
式 ， 每 一 条 和 窗 盖 路 径 都 必须 从 某 个 顶点 s; 开始 ， 对 某 个 顶点 we V 取 边 (s;，[Lu，wu，”，1j)， 经 过 
RAS E PRR u 的 边 对 应 的 附件 图 ， 然 后 终止 于 某 个 选择 髓 顶点 s;。 我 们 称 这 一 覆盖 路 径 为 
pP.， 根 据 式 (34. 4)， 将 UBAV" 。 对 于 某 个 顶点 EV, p, 所 访问 的 每 个 附件 图 都 一 定 是 WB 
Wao MF p, 所 访问 的 每 个 附件 图 ， 其 顶点 都 会 被 一 个 或 两 个 覆盖 路 径 所 访问 。 如 果 这 些 顶 点 被 
一 条 覆盖 路 径 所 访问 ， 那 么 边 (u，v) EE 在 G PRAM Au 所 覆盖 。 如 果 有 两 条 覆盖 路 径 访问 了 
该 附件 图 ， 那 么 为 一 条 禾 盖 路 径 必 定 为 p,， 这 就 暗示 着 VEV", AMM, WCE RMA u Mv 
所 覆盖 。 因 为 每 一 个 附件 图 中 的 每 一 个 顶点 都 要 被 某 条 覆盖 路 径 所 访问 ， 所 以 不 难 发 现 ， 已 中 的 
每 一 条 边 都 由 V* 中 的 某 个 顶点 所 覆盖 。 E 


34.5.4 旅行 商 问题 


旅行 商 问题 与 哈密 顿 回路 问题 有 着 密切 的 联系 。 在 该 问题 中 ， 一 个 售货员 必须 访问 ”个 城 
市 。 如 果 把 该 问题 模型 化 为 一 个 具有 ?个 顶点 的 完全 图 ， 人 

就 可 以 说 这 个 售货员 希望 进行 一 次 巡回 旅行 ， 或 经 过 哈密 顿 <p 
回路 ， 恰 好 访问 每 个 城市 一 次 ， 并 最 终 回 到 出 发 城市 。 这 个 3 4 
售货员 从 城市 i 到 城市 j 的 旅行 费用 为 一 个 整数 c(i， 让， 旅 Tm. 
行 所 需 的 全 部 费用 是 他 旅行 经 过 的 各 边 费 用 之 和 ， 而 售货员 
希望 使 整个 旅行 费用 最 低 。 例 如 ， 在 图 34-18 中 ， 费 用 最 低 
的 旅行 路 线 是 (u，w，v，z，w) ， 其 费用 为 7， 与 旅行 商 问题 图 3418 旅 生 商 问题 的 一 个 实例 。 阴 
对 应 的 判定 问题 的 形式 语言 是 ， er ern a lhl 

TSP={(G, c, k): G 一 (V，E) 是 一 个 完全 图 ，c 是 


VXV 一 ZZ 上 的 一 个 函数 ,k& EC Z,G 中 包含 一 个 最 大 花费 为 & 的 旅行 回路 } 
下 面 的 定理 说 明 不 太 可 能 存在 一 种 关于 旅行 商 问题 的 快速 算法 。 
定理 34. 14 旅行 商 问 题 是 NP 完全 的 。 
ma) ”证明 首先 来 说 明 TSP 属于 NP。 给 定 该 问题 的 一 个 实例 ， 用 回路 中 个 顶点 所 组 成 的 序列 
do| 作为 证 书 。 验 证 算法 检查 该 序列 是 否 恰好 包含 每 个 顶点 一 次 ， 并 且 对 这 些 边 的 花费 进行 求 和 后 ， 
检查 和 是 否 至 多 为 &。 这 一 过 程 是 可 以 在 多 项 式 时 间 内 完成 的 。 | 
为 了 证 明 TSP 是 NP 难度 的 ， 我 们 先 来 证 明 HAM-CYCLE<pTSP。 #£G=(V, EE) 是 HAM- 
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CYCLE 的 一 个 实例 。 构 造 TSP 的 实例 如 下 。 首 先 建立 一 个 完全 图 C =V, E), HRE=(G, 
j): is JEV, ij), PERF cH: 
0 #G j EE 
1 #G,j) E 
(注意 ， 由 于 G 是 无 向 图 ， 所 以 它 没有 自 环 路 ， 因 而 对 所 有 顶点 vEV， 都 有 clv, )=1) FR 
(G ，c，0)? 就 是 TSP 的 一 个 实例 ， 它 可 以 轻易 地 在 多 项 式 时 间 内 产生 。 
现在 ， 我 们 来 说 明 图 G 中 具有 一 个 哈密 顿 回路 ， 当 且 仅 当 图 G' 中 有 一 个 费用 至 多 为 0 的 回 
路 。 假 定 图 G 中 有 一 个 哈密 顿 回 路 hh，h 中 的 每 条 边 都 属于 玉 ， 因 此 在 G' 中 的 费用 为 0。 因 此 , h 
是 G' 中 费用 为 0 的 回路 。 RZ, 假定 图 G 中 有 一 个 费用 至 多 为 0 的 回路 六。 由 于 EF 中 边 的 费用 
只 能 是 0 或 1， 故 回路 尹 的 费用 就 是 0， 且 回路 上 每 条 边 的 费用 必 为 0。 因此， 尹 仅 包含 正中 的 
边 。 综 上 ， 我 们 可 以 得 出 结论 ， 刀 是 图 G 中 的 一 个 哈密 顿 回路 。 x 


34.5.5 子 集 和 问题 


下 面 我 们 来 考虑 一 个 算术 的 NP 完全 问题 ， 即 子 集 和 问题 (subset-sum problem) 。 在 该 问题 
中 ， 给 定 一 个 正 整 数 的 有 限 集 S 和 一 个 整数 目标 上 之 0， 试 问 是 否 存在 一 个 子 集 SSS, RRA 
Art. 例如 ， 如 果 S=(1，2，7，14，49，98，343，686，2409，2793，16 808, 17 206, 117 
705, 117 993)， 且 t= 二 138 457, WF S'={1, 2, 7, 98, 343, 686, 2409, 17206, 117 705} 
就 是 该 问题 的 一 个 解 。 
和 通常 一 样 ， 我 们 把 该 问题 定义 为 一 种 语言 : 
-SUBSET-SUM={(S, t): 存在 一 个 子 集 S'SS， 使 得 一 2/5) 


与 任何 算术 问题 一 样 ， 重 要 的 是 记 住 在 标准 编码 中 ， 假定 输入 的 整数 都 是 以 二 进 制 形式 编 
码 的 。 在 这 个 假设 下 ， 可 以 证 明 对 于 子 集 和 问题 ， 不 太 可 能 存在 一 种 快速 的 算法 。 
定理 34. 15 子 集 和 问题 是 NP 完全 的 。 
证 明 为 了 说 明 SUBSET-SUM 属于 NP， 对 该 问题 的 实例 (S，t)， 设 子 集 S 是 证 书 。 我 们 
使 用 验证 算法 可 以 在 多 项 式 时 间 内 检查 是 否 有 : 一 27s 。 
现在 来 证 明 3-CNF-SAT<, SUBSET-SUM, years Lis Hos t, 2, 上 的 一 个 3-CNF 公式 
它 由 子 句 C ，Cs ，…，Cx 构成 ， 每 个 子 句 恰好 包含 3 个 不 同 的 文字 ， 归 约 算 法 构造 出 子 集 和 
问题 的 一 个 实例 (S，z) 使 得 $ 是 可 满足 的 ， 当 且 仅 当 存 在 S 的 一 个 子 集 ， 其 元 素 和 恰 为 :。 不 失 
一 般 性 ， 下 面 对 $ 做 两 个 简化 性 的 假设 。 首 先 ，$ 的 任 一 子 句 都 不 会 既 包 含 某 个 变量 ， 又 包含 该 
变量 的 非 ， 因 为 这 样 的 子 句 对 变量 的 任何 赋值 来 说 恒 成 立 。 其 次 ， 每 一 个 变量 至 少 在 一 个 子 句 中 
出 现 一 次 ， 和 否则， 对 没有 出 现在 任何 子 句 中 的 变量 赋 任 意 值 都 是 没有 影响 的 。 
对 每 个 变量 x;， 归 约 算法 都 要 在 S 中 生成 两 个 数 ， 对 每 个 子 句 C; ， 也 要 在 S 中 生成 两 个 数 。 
所 生成 的 数 都 是 十 进 制 的 ， 且 每 个 数 都 包含 n 十 & 个 数位 ， 每 个 数位 对 应 于 一 个 变量 或 一 个 子 句 。 
十 进 制 (或 其 他 进 制 ) 有 着 我 们 所 需要 的 、 可 以 避免 从 低位 向 高 位 进位 的 性 质 。 
如 图 34-19 所 示 ， 我 们 构造 集合 S 和 目标 上 如 下 :， 对 于 每 一 个 数位 ， 都 用 一 个 变量 或 一 个 子 
句 来 标记 。 最 低 有 效 4 位 用 子 句 标记 ， 最 高 有 效 ”位 用 变量 标记 。 
。 目标 :在 每 个 用 变量 标记 的 数位 上 都 有 个 1， 在 每 个 用 子 句 标记 的 数位 上 都 有 个 4。 
。 对 于 每 个 变量 = ， 集 合 包含 两 个 整数 w 和 w;。 每 个 v My; 在 zx; 所 标记 的 数位 上 都 是 1， 
其 他 变量 位 上 都 是 0。 如 果子 句 C; 中 包含 文字 ri， 那么 w PRC, 所 标记 的 数位 包含 一 
Mi WREG PEELE, WA v PRC, 所 标记 的 数位 包含 一 个 1。 在 ww 和 w! p, 
所 有 其 他 由 子 句 标记 的 数位 都 是 0。 


cCi,j) = 
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在 集合 S 中 ， 所 有 Mv; 的 值 都 是 唯一 的 。 这 是 为 什么 呢 ? Bl, MAFIA, ER 

高 有 效 的 n 个 数位 上 ， 没 有 或 的 值 会 与 v; 和 wi; 相等。 此 外 ， 根 据 上 面 所 做 的 简化 性 
假设 ， 在 最 低 有 效 & 位 上 也 不 存在 w 和 w; 的 值 相等 。 如 果 uy Mv; 相等 ， 那 么 x, 和 一 zz, 
将 不 得 不 恰好 出 现 于 同一 子 句 集 x x XK CC CC, CC, CC, 
中 。 但 是 我 们 又 假设 任何 一 个 子 pO 
句 中 都 不 能 同时 包含 zx; 和 一 zi， 
而 且 zx; Moz; 其 中 之 一 出 现在 某 
一 子 句 中 ， 所 以 必定 存在 某 一 子 
ACG, 其 中 vv Alu; 是 不 同 的 。 

。 对 于 每 个 子 句 C;， 集 合 S 包含 两 
个 整数 ;; 和 s;， 除 了 由 G 标记 
的 数位 外 ，s; Als; 的 所 有 数位 上 
都 是 0。 对 于 so ÆC 的 数位 上 
为 1， 而 对 于 so ÆG 的 数位 上 
为 2。 这 些 整 数 都 是 “松弛 变量 ”， 
数位 ， 从 而 将 它们 的 值 加 到 目标 ee oe ee 
值 4 中 。 ne 

只 要 简单 地 观察 一 下 图 34-19， 就 会 
发 现 所 有 s Fs! 的 值 在 集合 S 中 都 是 唯 ”图 34-19 从 3-CNF-SAT 到 SUBSET-SUM 的 归 约 。3- 





一 的 CNF 的 公式 为 ¢=C AC, AC; ACi 其 中 
、 yes <a C= (x V7 zs Voz), C 一 (一 XIV 一 ToV 
注意 在 任意 数位 上 ， 数位 和 的 最 大 一 C; = (一 Tı Var V x3) C, = (zx V 

值 为 6， 这 个 和 出 现在 由 子 句 所 标记 的 数 zz Vx), $ 的 一 个 可 满足 性 赋值 为 (zi 二 0， 

MECRA v Mo; 的 3 个 1， 加 上 来 自 s; Zz 二 0，Zs 二 1)。 归 约 过 程 所 产生 的 集合 S 包 

Als; 的 值 1 和 2)。 因 此 ， 按 照 十 进 制 来 含 了 一 些 十 进 制 数 ， 按照 从 上 往 下 的 顺序 ， 
ee nee ea aga S= {1001001, 1000110, 100001, 101110, 

e 就 不 会 出 现 由 低位 向 高 位 10011，11100，1000，2000，100，200，10， 

TEDL TH OLS 。 20, 1, 2}, HÆR t X 1114444, F S'ES 
以 上 的 归 约 过 程 可 以 在 多 项 式 时 间 在 图 中 用 浅 阴 影 表 示 ， 它 包含 了 vi, v 和 

内 完成 。 集 合 S 包含 了 2n+2k 个 值 ， 其 Us, 对 应 于 可 满足 性 赋值 。 它 还 包含 了 松弛 变 

中 每 一 个 值 都 有 ntk 个 数位 ， 产 生 每 一 His. sis soy say s 和 s4， 以 便 在 由 G 到 

个 数位 的 时 间 都 是 nth 的 多 项 式 。 目 标 nl 


t 有 n 十 & 个 数位 ， 其 中 的 每 一 个 数位 都 可 以 由 归 约 过 程 在 常量 时 间 内 产生 ，。 

现在 ， 我 们 来 证 明 3-CNF 公式 $ 是 可 满足 的 ， 当 且 仅 当 存 在 一 个 子 集 SSS， 其 元 素 之 和 为 
t。 首 先 ， 假设 $ 有 一 个 可 满足 性 赋值 。 对 i 二 1，2,，…，n， 如 果 在 此 赋值 中 存在 zx; 二 1， 就 将 v 
包含 在 集合 S' 中 。 否 则 ， 就 将 vi 包含 在 集合 S 中 。 换 句 话 说 ， 我 们 是 把 在 可 满足 性 赋值 中 ， 与 
值 为 1 的 文字 对 应 的 w 和 mi 值 包 含 在 S' 中 。 在 对 所 有 的 i 包含 了 vw; 或 v; (两 者 取 其 一 ) 之 后 ， 并 
且 将 所 有 由 s; Ms, 中 的 变量 所 标记 的 数位 置 0 后， 我 们 可 以 看 出 ， 对 于 每 个 由 变量 标记 的 数位 ， 
S' 中 元 素 之 和 必 为 1， 这 与 目标 上 中 的 那些 数位 正好 是 匹配 的 。 由 于 每 个 子 句 都 是 可 满足 的 ， 故 
子 句 中 必 有 某 个 文字 的 值 为 1。 于 是 ， 由 一 个 子 句 所 标记 的 每 个 数位 都 至 少 有 一 个 1， 这 一 数据 
可 以 在 S' 元 素 的 和 值 中 ， 作 为 v 或 v; 的 值 。 事 实 上 ， 在 每 个 子 句 中 ， 可 能 有 1、2 或 3 个 文字 的 


O 事实 上 ,任何 一 个 满足 b 宇 7 的 进 制 2 都 是 可 以 的 。 这 一 节 开 头 给 出 的 实例 是 如 图 34-19 所 示 的 集合 S 和 目标 i， 
它们 是 按照 七 进 制 来 解释 的 ， 且 S 是 按照 排序 顺序 列 出 的 。 
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值 为 1， 因 此 ， RES 中 所 包含 的 wv 或 v'; 值 的 情况 ， 每 个 由 子 句 所 标记 的 数位 和 为 1、2 或 3。 
例如 ， 在 图 34-19 中 ， 在 某 一 可 满足 性 赋值 中 ， 文字 一 Xi. T x Fl x 的 值 为 ls FAJ G AC, 都 
恰 包 含 这 三 个 文字 中 的 一 个 ， 因 此 ，vi1、vs 和 um 共同 为 C 和 C 中 数位 的 和 值 贡献 了 一 个 1。 
FC, 包含 这 些 文字 中 的 两 个 ， 因 而 ，w v: 和 ws 共同 为 C 中 数位 的 和 值 贡献 了 一 个 2。 子 
名 C 包含 所 有 这 三 个 文字 ， 因而 ， vis v2 和 vs 共同 为 Cs 中 数位 的 和 值 贡献 了 一 个 3。 在 每 个 
由 子 句 C; 所 标记 的 数位 中 ， 通 过 将 松弛 变量 {5 ，s; } 的 一 个 非 空子 集 包 含 进 S ， 即 可 达到 目标 值 
4。 在 图 34-19 中 ， 5; BET ss 51， 52， ss，54 和 5S4， 由 于 我 们 已 经 在 和 值 的 所 有 数位 中 匹配 了 
目标 值 ， 且 不 会 发 生 进位 ， 因 此 ，S' 中 元 素 的 和 值 为 +。 

接 下 来 ， 假设 有 一 个 子 集 SSS, 其 元 素 之 和 为 to 对 每 一 个 2 一 1]，2，…，71， 子 集 S 必定 
恰好 包含 u 和 vw; 两 者 中 的 一 个 ， 和 否则 ， 变 量 所 标记 的 数位 和 就 不 会 为 1。 如果 wES ， 就 将 xz; 
fl, 人 否则， vS, 就 将 zx; 置 0。 我 们 断言 : 对 7 一 1， 2，…，A， 每 个 子 句 C; 可 以 通过 此 赋值 
得 到 满足 。 为 了 证 明 这 一 断言 ， 注 意 到 由 于 松弛 变量 Ms’ 合 起 来 的 贡献 至 多 为 3， 因 此 为 了 
在 CG 标记 的 数位 中 达到 和 值 4， 子 集 S' 必 须 至 少 包含 v 或 v; 值 中 的 一 个 ， 使 得 G 在 标记 的 数 
位 上 有 个 1。 如 果 S' 包 含 一 个 v,, CEG 位 置 上 有 个 1， 则 文字 r 会 出 现在 子 句 C; H. 4u€ 
S 时 ,我们 已 将 z; 置 1， 因 此 , FAC 是 可 满足 的 。 如 果 S' 包 含 一 个 vi 且 它 在 该 位 置 上 有 个 1， 
则 文字 一 z; 会 出 现在 子 句 C; 中 。 当 w';ES 时 ,我 们 已 将 z; BO, Ak, FC 再 次 被 证 明 是 可 
满足 的 。 于 是 ，$ 的 所 有 子 句 都 是 可 满足 的 ， 这 样 就 完成 了 整个 证 明 。 a 


练习 

34. 5-1 子 图 同 构 问题 取 两 个 无 向 图 G AG, BASG 是 否 与 G* 的 一 个 子 图 同 构 这 一 问题 。 
iE: 子 图 同 构 问 题 是 NP 完全 的 。 

34. 5-2 ”给 定 一 个 mXn 的 整数 矩阵 A 和 一 个 整 型 的 m BAO, 0-1 整数 规划 问题 即 研究 是 否 有 
一 个 整 型 的 ” 维 向 量 z， 其 元 素 取 自 集合 {0，1) ， 满 足 Az 生 5。 证明 : 0-1 整数 规划 问 
题 是 NP 完全 的 。( 提 示 : 由 3-CNF-SAT 问题 进行 归 约 。) 

34.5-3 ”整数 线性 规划 问题 与 练习 34. 5-2 中 给 出 的 0-1 整数 规划 十 分 相似 ， 区 别 仅 在 于 向 量 z 的 
值 可 以 取 任何 整数 ， 而 不 仅 是 0 或 1。 假定 0-1 整数 规划 问题 是 NP 难度 的 ， 证明: 整 
数 线性 规划 问题 是 NP 完全 的 。 

34.5-4 jE: 如果 目标 值 上 表示 成 一 元 形式 ， 试 说 明 如 何在 多 项 式 时 间 内 解决 子 集 和 问题 。 

34. 5-5 集合 划分 问题 的 输入 为 一 个 数字 集合 S。 问 题 是 : 这 些 数字 是 否 能 被 划分 成 两 个 集合 A 
FIA=S—A, (48 之 人 一 = Dae: 证 明 :， 集合 划分 问题 是 NP 完全 的 。 


34.5-6 证 明 : us NP 完全 的 。 

34. 5-7 最 长 简单 回路 问题 是 在 一 个 图 中 ， 找 出 一 个 具有 最 大 长 度 的 简单 回路 (无 重复 的 顶点 )。 
证 明 : 这 个 问题 是 NP 完全 的 。 

34.5-8 在 半 3-CNF 可 满足 性 中 ， 给 定 一 个 3-CNF 形式 的 公式 $， 它 包含 n 个 变量 和 m 个子 
句 ， 其 中 m 是 偶数 。 我 们 希望 确定 是 否 存在 对 $ 中 变量 的 一 个 真 值 赋 值 ， 使 得 #$ 中 
恰 有 一 半 的 子 句 为 0， 同 时 恰 有 另 一 半 的 子 名 为 1。 证明: Æ 3-CNF 可 满足 性 问题 
是 NP 完全 的 。 


思考 题 


34-1 GREE) 图 G==(V，E) 的 独立 集 是 子 集 V'CV， 使 得 EE 中 的 每 条 边 至 多 与 V' 中 的 一 个 
顶点 相关 联 。 独 立 集 问题 是 要 找 出 G 中 具有 最 大 规模 的 独立 集 。 
a 给 出 与 独立 集 问题 相关 的 判定 问题 的 形式 化 描述 ， 并 证 明 它 是 NP 完全 的 。( 提 示 : 根 
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据 团 问 题 进行 归 约 。) 

b. 假设 给 定 一 个 “黑箱 ” 子 程序 ， 用 于 解决 (a) 中 定义 的 判定 问题 。 试 写 出 一 个 算法 ， 以 找 
出 最 大 规模 的 独立 集 。 所 给 出 的 算法 的 运行 时 间 应 该 是 关于 |V| 和 |E| 的 多 项 式 ， 其 中 
查询 黑箱 的 工作 被 看 做 是 一 步 操作 。 
尽管 独立 集 判 定 问 题 是 NP 完全 的 ， 但 在 特殊 情况 下 ， 该 问题 是 多 项 式 时 间 可 解 的 。 

e 当 G 中 的 每 个 顶点 的 度数 均 为 2 时， 请 给 出 一 个 有 效 的 算法 来 求解 独立 集 问 题 。 分 析 该 
算法 的 运行 时 间 ， 并 证 明 算 法 的 正确 性 。 

d. 当 G 为 二 分 图 时 ， 试 给 出 一 个 有 效 的 算法 以 求解 独立 集 问题 。 分 析 算 法 的 运行 时 间 ， 
并 证 明 算 法 的 正确 性 。( 提 示 : 利用 26. 3 节 中 的 结论 。) 

(Bonnie 和 Clyde) Bonnie 和 Clyde 刚刚 抢劫 了 一 家 银行 。 他 们 抢劫 到 一 袋 钱 ， 并 打算 将 

钱 分 光 。 对 于 下 面 的 每 一 种 场景 ， 都 给 出 一 个 多 项 式 时 间 算 法 ， 或 者 证 明 该 问题 是 NP 完 

全 的 。 每 一 种 情况 下 的 输入 是 关于 和 袋子 里 件 东西 的 一 份 清单 ， 以 及 每 一 件 东 西 的 价值 。 

a 袋子 里 共有 nn 枚 硬币 ,但 只 有 两 个 不 同 的 面值 一 些 面值 x 美元， 一 些 面值 y 美元 。 
Bonnie 和 Clyde 希望 平分 掉 这 笔 钱 。 

b. 袋子 里 共有 nn 枚 硬币 ， 它 们 有 着 任意 数量 的 不 同 面值 ， 但 每 一 种 面值 都 是 2 的 非 负 整数 
次 客 ， 即 可 能 的 面值 为 1 美元 、2 美元 、4 美元 等 。 他 俩 希望 平分 掉 这 笔 钱 。 

c. 袋子 里 共有 nn 张 文 票 ， 十 分 巧合 的 是 ， 这 些 支 票 恰 好 是 支付 给 “Bonnie 或 Clyde” 的 。 他 
俩 希望 平分 掉 这 些 文 票 ， 从 而 可 以 分 得 同样 数目 的 钱 。 

d 与 (c) 一 样 ， 袋 子 里 共有 n 张 支票 ， 但 这 一 次 ， 他 俩 愿意 接受 这 样 的 一 种 文 票 分 配方 案 ， 
两 人 所 分 得 的 钱 数 差距 不 大 于 100 美元 。 

(图 的 着 色 ) 地 图 制造 商 想 要 使 用 尽 可 能 少 的 颜色 在 一 张 地 图 上 把 不 同 的 国家 着 色 ， 前 提 

是 相 邻 的 两 国家 不 使 用 同一 种 颜色 。 我 们 构造 如 下 的 模型 ， 对 于 无 向 图 G 二 (V，E), 图 

中 的 每 个 顶点 代表 一 个 城市 ， 相 邻 的 两 个 点 所 代表 的 城市 也 是 相 邻 的 。 如 此 ， 一 个 无 向 图 

G 二 (V，E) 的 着色 就 是 一 个 函数 c: V 一 {1，2，…，k}， 使 得 对 每 条 边 (u，v) EE， 有 

c(w) 关 clv)。 换 句 话 说 ， 数 1]，2，…,， 上 表示 & 种 颜色 ， 并 且 相 邻 顶点 必须 染 上 不 同 的 颜 

色 。 图 的 着 色 问 题 就 是 确定 要 对 某 个 给 定 图 着 色 所 必需 的 最 少 的 颜色 种 类 。 

a 写 出 一 个 有 效 的 算法 以 判定 一 个 图 的 2 着 色 ( 如 果 存 在 )。 

b. 把 图 的 着 色 问 题 描 述 为 一 个 判定 问题 。 证 明 : 该 判定 问题 在 多 项 式 时 间 内 可 解 ， 当 且 
仅 当 图 的 着 色 问 题 在 多 项 式 时 间 内 可 解 。 

ce 设 语言 3-COLOR 是 能 够 进行 三 着 色 的 图 的 集合 。 证 明 : WR 3-COLOR 是 NP 完全 的 ， 
则 (b) 中 的 判定 问题 是 NP 完全 的 。 

为 了 证 明 3-COLOR 具有 NP 完全 性 ， 我 们 利用 3-CNF-SAT 来 进行 归 约 。 给 定 一 个 由 

m 个 子 句 组 成 的 关于 ?2 个 变量 zl 22, °°, =, 的 公式 5， 构 造 图 G 二 (V，E) 如 下 。 对 每 个 

变量 和 每 个 变量 的 “ 非 ?， 集 合 V 分 别 包 含 一 个 顶点 。 对 每 个 子 句 ,，V 包含 5 个 顶点 ， 另 

外 ，V 中 还 有 三 个 特殊 的 顶点 TRUE, FALSE 和 RED。 图 的 边 分 为 两 种 类 型 ， 与 子 句 

无 关 的 “文字 ? 边 和 依赖 于 子 句 的 “ 子 句 ? 边 。 对 三 1，2，…，7， 文 字 边 形成 一 个 由 特殊 顶 

点 构成 的 三 角形 ， 并 且 还 形成 了 一 个 由 xz;、 一 z; 和 RED 构成 的 三 角形 。 

d. 论证 在 对 包含 “文字 ” 边 的 图 的 任意 一 个 3 着 色 c 中 ， 一 个 变量 和 它 的 “ 非 ” 中 恰好 有 一 个 
被 着 色 为 <CTRUE) ， 另 一 个 被 着 色 为 <(FALSE) 。 论 证 对 于 $ 的 任何 真 值 赋值 ， 对 仅 
包含 文字 边 的 图 都 存在 一 种 3 FE. 

图 34-20 所 示 的 附件 图 用 于 实现 对 应 于 子 句 (zV yV z) 的 条 件 。 每 个 子 句 都 要 求 图 中 
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涂 黑 的 5 个 顶点 的 一 个 副本 ， 且 此 副本 唯一 。 如 图 所 示 ， 它 们 把 子 句 中 的 文字 与 特殊 顶点 

TRUE 相连 。 

e 证 明 : 如 果 z、> 和 x 中 每 个 顶点 均 着 色 为 c(TRUE) 或 (FALSE)， 那 么 该 附件 图 是 3 
EBR, MENÍ z, y 和 x 中 至 少 有 一 个 被 着 色 为 c<(TRUE)。 

f TER: 3 着 色 问 题 是 NP 完全 问题 。 


Sirs 
ay 
oe 





图 34-20 思考 题 34-3 中 用 到 的 对 应 于 子 句 (zV yV z) 的 附件 图 


34-4 〔 带 收益 和 完工 期 限 的 调度 ) ”假设 有 一 台 机 器 和 nn 项 任务 al，a;，…，a,;。 每 项 任务 a; Æ 
机 器 上 都 需要 处 理 时 间 i;、 利 润 p; 和 完工 期 限 4;。 这 台 机 器 一 次 只 能 处 理 一 项 任务 ， 而 
任务 a, 必须 不 间断 地 运行 t; 个 连续 时 间 单位 。 如 果 能 赶 在 完工 期 限 d; 之 前 完成 任务 a， 
就 能 获取 利润 p;,， 但 是 ， 如 果 是 在 到 期 之 后 完成 任务 ， 就 得 不 到 任何 利润 。 作 为 一 个 最 优 
化 问题 ， 给 定 ”项 任务 的 处 理 时 间 、 利 润 和 完工 期 限 ， 我 们 希望 找 出 一 种 调度 方案 既 能 完 
成 所 有 的 任务 ， 又 能 获取 最 大 的 利润 。 

a. 将 这 个 问题 表述 为 一 个 判定 问题 。 

b. VERA: 此 判定 问题 是 NP 完全 的 。 

c 假定 所 有 的 处 理 时 间 都 是 从 l~n 之 间 的 整数 ， 给 出 此 判定 问题 的 一 个 多 项 式 时 间 算 法 。 
(提示 : 采用 动态 规划 。) 

d. 假定 所 有 的 处 理 时 间 都 是 1~n 之 间 的 整数 ， 给 出 此 最 优化 问题 的 一 个 多 项 式 时 间 算 法 。 


本 章 注 记 

Garey 和 Johnson 撰写 的 书 L129j 中 为 学 习 NP 完全 性 提供 了 很 好 的 指南 ， 书 中 详细 地 讨论 了 
这 一 理论 ， 并 列 出 了 一 个 目录 ， 其 中 包括 许多 自 1979 年 以 来 已 知 的 NP 完全 问题 。 本 章 中 定理 
34. 13 的 证 明 就 是 参考 该 书 ，34. 5 节 开 头 给 出 的 NP 完全 问题 领域 列表 也 是 取 自 该 书 。Johnson 
在 1981 年 到 1992 年 之 间 ， 在 Journal of Algorithms 上 撰写 了 一 系列 ( 共 23 期 ) 专 栏 文章 ， 报 告 
NP 完全 性 方面 的 最 新 研究 进展 。Hopcroft、Motwani 和 Ullman[ 177]、Lewis 和 Papadimitriou 
[236]、PapadimitriouL270 以 及 SipserL317j 在 复杂 性 理论 这 一 背景 中 ， 很 好 地 处 理 了 NP 完全 问 
fil, Aho, Hopcroft, Ullman[5], Dasgupta, Papadimitriou 和 Vazirani[ 82 | 也 涉及 了 NP 完全 问 
题 和 一 些 归 约 问题 。 

P 类 是 在 1964 年 由 Cobham[72], 1965 年 由 Edmonds[100] 独 立地 提出 的 ， 后 者 还 提出 了 
NP 类 ， 并 推测 有 P 了 NP。NP 完全 性 概念 是 在 1971 年 由 Cook[75j 提 出 的 ， 他 给 出 了 公式 可 满足 
性 问题 和 3-CNF 可 满足 性 问题 的 第 一 个 NP 完全 性 证 明 。Levin[234] 独 立地 提出 了 这 一 概念 ， 并 
给 出 了 “ 铺 瓷砖 问题 ”的 NP 完全 性 证 明 。KarpL199 在 1972 年 提出 了 归 约 方法 ， 并 总 结 了 各 种 
NP 完全 问题 。 在 Karp 的 论文 中 ， 给 出 了 对 团 问题 、 顶 点 覆盖 问题 、 哈 密 顿 回路 问题 的 NP 完全 
性 的 原创 性 证 明 。 自 此 以 后 ， 许 多 问题 继而 被 研究 人 员 证 明 是 NP 完全 的 。 在 1995 年 庆祝 Karp 
60 岁 生 日 的 聚会 的 谈话 中 ，Papadimitriou 在 发 言 中 提 到 ,“ 每 年 ， 大 约 有 6 000 篇 论文 在 标题 、 
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摘要 或 关键 词 中 有 “NP 完全 ”这 一 字眼 。 这 一 数字 比 有 关 “编译 器 、 数据库、 “专家 ”、 “神经 
网 络 ? 或 “操作 系统 这 些 术 语 中 每 一 个 的 论文 数量 都 要 多 。” 

近来 ， 复 杂 性 理论 方面 的 最 新 研究 成 果 为 计算 近似 解 的 复杂 性 问题 带 来 了 希望 。 这 一 方面 
的 工作 利用 “概率 意义 下 可 检验 的 证 明 ” 这 一 概念 ， 给 出 了 NP 的 新 定义 。 这 一 新 的 定义 意味 着 对 
于 诸如 团 、 顶 点 覆盖 、 旅 行商 等 带 有 三 角 不 等 式 的 问题 ， 还 有 许多 其 他 的 问题 ， 计 算 有 效 的 近似 
解决 方案 是 NP 难度 的 ， 因 而 并 不 比 计算 最 优 解 更 容易 。 有 关 这 一 领域 的 介绍 可 以 参见 Arora 的 
论文 [20]; Arora 和 Lund 在 Hochbaum[172] 中 的 一 章 ; Arora 21 所 写 的 一 篇 综述 性 文章 ;一 本 

由 Mayr, Prömel 和 Steger 编辑 的 书 [246]; 以 及 Johnson 的 一 篇 综述 性 文章 [191 ] 。 
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许多 具有 实际 意义 的 问题 都 是 NP 完全 问题 。 我 们 不 知道 如 何在 多 项 式 时 间 内 求 得 最 优 解 。 
但 是 ， 这 些 问题 通常 十 分 重要 ， 我 们 不 能 因此 而 放弃 对 它们 的 求解 。 即 使 一 个 问题 是 NP 完全 
的 ， 也 有 其 解决 方法 。 解 决 NP 完全 问题 至 少 有 三 种 方法 : 1) 如 果实 际 输入 数据 规模 较 小 ， 则 用 
数 级 运行 时 间 的 算法 就 能 很 好 地 解决 问题 ，2) 对 于 一 些 能 在 多 项 式 时 间 内 解决 的 特殊 情况 ， 可 
以 把 它们 单独 列 出 来 求解 ; 3) 可 以 寻找 一 些 能 够 在 多 项 式 时 间 内 得 到 近似 最 优 解 (near-optimal 
solution) 的 方法 (最 坏 情 况 或 平均 情况 )。 在 实际 应 用 中 ， 近 似 最 优 解 一 般 都 能 满足 要 求 。 返 回 近 
似 最 优 解 的 算法 就 称 为 近似 算法 (approximation algorithm) 。 本 章 主要 介绍 几 个 解决 NP 完全 问题 
的 多 项 式 时 间 近 似 算法 。 

近似 算法 的 性 能 比 

假定 我 们 在 求解 一 个 最 优化 问题 ， 该 问题 的 每 个 可 能 解 都 有 正 的 代价 ， 我 们 希望 找 出 一 个 
近似 最 优 解 。 根 据 所 要 解决 的 问题 ， 最 优 解 可 以 定义 成 具有 最 大 可 能 代价 的 解 或 具有 最 小 可 能 
代价 的 解 。 也 就 是 说 ， 该 问题 可 能 是 最 大 化 问题 ， 也 可 能 是 最 小 化 问题 。 

如 果 对 规模 为 ”的 任意 输入 ， 近 似 算法 所 产生 的 近似 解 的 代价 C 与 最 优 解 的 代价 C* 只 差 一 
个 因子 p(n) : 





max( & <) < p(n) (35.1) 


则 称 该 近似 算法 有 近似 比 o(z) 。 如 果 一 个 算法 的 近似 比 达到 pCn)， 则 称 该 算法 为 MEAE. 
近似 比 和 p(n) 近似 算法 的 定义 对 求 最 大 化 和 最 小 化 问题 都 适用 。 对 于 一 个 最 大 化 的 问题 ，C 与 
C* 满 足 0<C<C" ， 比 值 C* /C 表示 最 优 解 代价 大 于 近似 解 代价 的 倍数 。 类 似 地 ， 对 于 一 个 最 小 
化 的 问题 ，C 与 C" 满足 0<C" 委 C， 比 值 C/C" 表示 近似 解 的 代价 大 于 最 优 解 的 代价 的 倍数 。 因 
为 我 们 假定 所 有 人 解 的 代价 都 是 正 的 ， 故 前 面 定义 的 比值 都 是 良 定义 的 。 一 个 近似 算法 的 近似 比 
不 会 小 于 1， 因 为 C/C" <1 蕴涵 着 C /C>1。 于 是 ,一 个 1 近似 算法 产生 的 解 是 最 优 解 ， 而 一 
个 近似 比较 大 的 近似 算法 可 能 会 返回 和 最 优 解 差 很 多 的 解 。 

对 于 很 多 问题 ， 已 经 设计 出 具有 较 小 的 固定 近似 比 的 多 项 式 时 间 近 似 算法 。 然 而 ， 对 于 另 一 
些 问题 ， 在 其 已 知 的 最 佳 多 项 式 时 间 近 似 算法 中 ， 近 似 比 是 输入 规模 n 的 函数 ， 随 着 n 的 变化 而 
变化 。35. 3 节 讨论 的 集合 覆盖 问题 就 属于 这 类 问题 ，。 

一 些 NP 完全 问题 可 以 采用 特定 的 多 项 式 时 间 近 似 算 法 求解 ， 这 些 算法 通过 消耗 更 多 的 计算 
时 间 ， 可 以 得 到 不 断 缩小 的 近似 比 。 也 就 是 说 ， 可 以 用 更 多 的 计算 时 间 换 取 更 小 的 近似 比 。35. 5 
节 讨 论 的 子 集 和 问题 就 属于 这 类 问题 。 这 类 问题 非常 重要 ， 值 得 专门 研究 。 

一 个 最 优化 问题 的 近似 模式 (approximation scheme) 就 是 这 样 一 种 近似 算法 ， 它 的 输入 除了 
该 问题 的 实例 外 ， 还 有 一 个 值 s 之 0， 使 得 对 任何 固定 的 s。， 该 模式 是 一 个 (1 十 e) 近 似 算法 。 对 一 
个 近似 模式 来 说 ， 如 果 对 任何 固定 的 es 之 0， 该 模式 都 以 其 输入 实例 规模 的 多 项 式 时 间 运 行 ， 则 
称 此 模式 为 多 项 式 时 间 近似 模式 。 

随 着 e 的 减 小 ， 多 项 式 时 间 近 似 模式 的 运行 时 间 可 能 会 迅速 增长 。 例 如 ， 一 个 多 项 式 时 间 
近似 模式 的 运行 时 间 复杂 度 可 能 达到 OCw*)。 在 理想 情况 下 ， 如 果 。 按 一 个 常数 因子 减 小 ， 为 


O ” 当 近 侯 比 独立 于 n 时， 我 们 将 使 用 “近似 比 PW o 近似 算法 "等 术语 ， 以 表示 近似 比 与 4 无 关 。 
| 
| 
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了 获得 预期 的 近似 效果 ， 所 增加 的 运行 时 间 不 应 超过 一 个 常数 因子 (尽管 这 两 个 常数 因子 不 一 
定 相同 ) 。 

对 一 个 近似 模式 来 说 ， 如 果 其 运行 时 间 表 达 式 既 为 1/e 的 多 项 式 ， 又 为 输入 实例 规模 n 的 多 
项 式 ， 则 称 其 为 完全 多 项 式 时 间 近 似 模 式 。 例 如 ， 近 似 模式 的 运行 时 间 可 能 是 OCC) n). X 
于 这 样 的 模式 ，e 的 任意 常数 倍 减少 可 以 引起 运行 时 间 相 应 常数 倍 的 增加 。 

本 章 概要 

本 章 的 前 4 节 介 绍 一 些 解决 NP 完全 问题 的 多 项 式 时 间 近 似 算法 的 例子 ,第 5 节 给 出 一 个 完 
全 多 项 式 时 间 近 似 模式 。35. 1 节 以 对 顶点 覆盖 问题 的 研究 开始 。 顶 点 覆盖 问题 是 一 个 NP 完全 的 
最 小 化 问题 ， 其 近似 算法 的 近似 比 为 2。35. 2 节 研 究 了 旅行 商 问题 的 特例 ， 其 代价 函数 要 求 满足 
三 角 不 等 式 ， 给 出 了 一 个 近似 比 为 2 的 近似 算法 。 这 一 节 还 证 明了 如 果 代 价 函 数 不 满 足 三 角 不 等 
式 ， 则 对 任意 常数 >l, PFE p 近似 算法 ， 除 非 P=NP. 35.3 节 说 明 对 集合 覆盖 问题 ， 如 何 
使 用 贪心 方法 设计 一 个 有 效 的 近似 算法 来 获得 一 个 覆盖 ， 其 代价 在 最 差 情况 下 比 最 优 代价 大 对 
数 倍 。35. 4 节 给 出 另外 两 个 近似 算法 。 首 先 研究 3-CNF 可 满足 性 问题 的 最 优化 形式 ， 并 给 出 一 
个 简单 的 随机 化 算法 ， 它 给 出 的 解 具 有 预期 的 近似 比 8/7。 接 着 ,分 析 顶 点 覆盖 问题 的 一 个 带 权 
值 的 变形 ， 并 说 明 如 何 利 用 线性 规划 方法 设计 一 个 2 近似 算法 。 最 后 ，35. 5 节 给 出 子 集 和 问题 
的 一 个 完全 多 项 式 时 间 的 近似 模式 。 


35.1 顶点 覆盖 问题 


在 34.5.2 市 中 ， 我们 定义 了 顶点 覆盖 问题 ,并 且 证 明了 它 是 NP 完全 的 。 无 向 图 GEV, E) 
的 一 个 顶点 覆盖 是 一 个 子 集 VSV， 使 得 如 果 (x， 妇 是 CG 的 一 条 边 ， 则 wu€EV', RA veV' (也 可 能 
两 者 都 成 立 ) 。 一 个 顶点 覆盖 的 规模 是 其 中 所 包含 的 顶点 数 。 

顶点 履 盖 问题 的 目标 是 在 一 个 给 定 的 无 回 图 中 ， 找 出 一 个 具有 最 小 规模 的 顶点 覆盖 。 我 们 
称 这 样 的 一 个 顶点 覆盖 为 最 优 项 点 覆盖 。 顶 点 覆盖 问题 是 一 个 NP 完全 判定 问题 的 最 优化 形式 。 

虽然 在 一 个 图 G 中 寻找 最 优 项 点 覆盖 比较 困难 ， 但 找 出 近似 最 优 的 顶点 覆盖 还 是 相对 容易 
的 。 下 面 给 出 的 近似 算法 以 一 个 无 向 图 C 为 输入 ， 返 回 一 个 其 规模 保证 不 超过 最 优 项 点 覆盖 规 
模 2 倍 的 顶点 覆盖 。 

APPROX-VERTEX-COVER(G) 

1 C= 

2 E'=G.E 

3 whileE’A@ 

4 let(u,v)be an arbitrary edge of E' 

5 C=CU {u,v} 
6 remove from E’ every edge incident on either u or v 
7 


return C 


图 35-1 用 一 个 具体 图 演示 了 APPROX-VERTEX-COVER 的 操作 过 程 。 变 量 C 包含 了 正在 构 
造 的 顶点 覆盖 。 第 1 行将 C 初始 化 为 空 集 。 第 2 行将 已 置 为 图 G 的 边 集 ELG] 的 一 个 副本 。 第 
3 一 6 行 中 的 循环 重复 地 从 EF' 中 任 选 出 一 条 边 (u，v)， 将 某 端点 和 w 加 入 C， 并 删 去 E' 中 所 有 
被 或 v 覆盖 的 边 ， 直 至 EE 为 空 。 最 后 ,第 7 行 返 回 顶点 覆盖 C。 以 邻接 表 来 表示 ， 这 个 算法 
的 运行 时 间 为 O(V 十 E)。 

定理 35. 1 APPROX-VERTEX-COVER 是 一 个 多 项 式 时 间 的 2 近似 算法 。 

证 明 ”前 面 我 们 已 经 证 明了 APPROX-VERTEX-COVER 的 运行 时 间 为 多 项 式 。 

因为 APPROX-VERTEX-COVER 算法 会 一 直 循 环 计算 ， 直 到 ELGj] 中 的 每 条 边 都 被 顶点 集 
合 C 中 的 某 个 顶点 覆盖 为 止 ， 所 以 由 APPROX-VERTEX-COVER 返回 的 C 是 一 个 顶点 覆盖 。 
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图 35-1 APPROX-VERTEX-COVER 的 操作 过 程 ， (a) 具 有 7 个 顶点 和 8 条 边 的 输入 图 G。(b) 以 粗 
阴影 线 标记 的 边 (5，c) 是 被 APPROX-VERTEX-COVER 所 选择 的 第 一 条 边 。 加 了 浅 阴 影 的 
顶点 2 和 < 被 加 入 集合 C， 集 合 C 包 含 了 正 被 构造 的 顶点 覆盖 。 以 虚线 示 出 的 边 (a，6)、 
(c，e) 和 (Cc，qd) 被 删除 ， 因 为 现在 它们 被 C 中 的 某 个 顶点 所 覆盖 。(c) 边 (e， 几 被 选中 ; M 
点 Ee 和 了 被 加 到 C 中 。(d) 边 (4，g) 被 选中 ,顶点 4d 和 gg RMAC 中 。(e) 集 合 C 是 由 
APPROX-VERTEX-COVER 产生 的 近似 最 优 顶 点 覆盖 ， 它 包含 6 顶点 b、c、d、e、 f g 
(人 D 这 个 问题 的 最 优 顶 点 覆盖 仅 包含 三 个 顶点 : 6、d 和 e 


为 了 说 明 APPROX-VERTEX-COVER 返回 顶点 覆盖 的 规模 至 多 为 最 优 覆 盖 的 2 倍 ， 设 A 为 
APPROX-VERTEX-COVER 算法 中 第 4 行 选 出 的 边 集合 。 为 了 覆盖 A 中 的 边 ， 任 意 一 个 顶点 覆 
盖 ( 特 别 是 最 优 覆 盖 C* ) 都 必须 至 少 包含 A 中 每 条 边 的 一 个 端点 。 如 果 一 条 边 在 第 4 行 中 被 先 
中 ， 那 么 在 第 6 行 就 会 从 E' 中 删除 所 有 与 其 端点 关联 的 边 。 因 此 ，A 中 不 存在 两 条 边 具 有 共同 
的 端点 ， 从 而 A 中 不 会 存在 两 条 边 由 C* 中 的 同一 顶点 所 覆盖 。 于 是 ， 最 优 顶 点 覆盖 的 规模 下 界 
WF: | 

| We T AA] (35. 2) 
算法 第 4 行 的 每 一 次 执行 都 会 挑选 出 一 条 边 ， 其 两 个 端点 都 不 在 C 中 ， 因 此 ， 所 返回 顶点 覆盖 的 
规模 上 界 ( 实 际 上 是 一 个 上 界 ) 为 : 
[C| =2|A| (35. 3) 
将 式 (35. 2) 和 式 (35. 3) 结 合 起 来 ， 有 : 
| [Ic] =2|Al <2Ic*| 
因此 年 理 成 立 。 a 

我 们 再 来 回顾 一 下 上 述 证 明 过 程 。 起 初 ， 我 们 可 能 会 好 奇 ， 在 不 知道 最 优 顶 点 覆盖 的 规模 到 
底 是 多 少 的 情况 下 ， 如 何 才能 证 明 APPROX-VERTEX-COVER 算法 所 返回 顶点 覆盖 的 规模 至 多 
为 最 优 顶 点 覆盖 规模 的 2 倍 。 为 此 ， 我 们 巧妙 地 利用 了 最 优 顶 点 覆盖 规模 的 一 个 下 界 ， 从 而 使 证 
明 过 程 不 牵涉 最 优 顶 点 覆盖 的 实际 规模 。 正 如 练习 35. 1-2 要 求 读者 证 明 的 ， 在 APPROX- 
VERTEX-COVER 第 4 行 中 挑选 出 来 的 边 集 A 实际 上 是 图 G 的 一 个 极 大 匹配 (所 谓 极 大 匹配 是 指 | 
这 样 的 一 种 匹配 ， 它 不 是 任何 其 他 匹配 的 真子 集 ) 。 正 如 定理 35. 1 的 证 明 过 程 所 述 ， 一 个 极 大 匹 ”|1110 
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配 的 规模 是 最 优 顶 点 覆盖 规模 的 下 界 。APPROX-VERTEX-COVER 算法 会 返回 一 个 顶点 覆盖 ， 
其 规模 至 多 为 最 大 匹配 A 的 规模 的 2 倍 。 通 过 将 返回 结果 的 规模 与 最 优 解 的 下 界 进行 比较 ， 我 
们 得 到 了 近似 比 。 这 种 方法 还 会 在 后 面 几 节 中 用 到 。 


练习 
35.1-1 给 出 一 个 图 的 例子 ， 使 得 APPROX-VERTEX-COVER 对 该 图 总 是 产生 次 优 解 。 
35. 1-2 证 明 : APPROX-VERTEX-COVER 第 4 行 挑选 出 来 的 边 集 是 图 G 的 一 个 极 大 匹配 。 


*35. 1-3 Bündchen 教授 提出 了 以 下 的 局 发 式 方法 来 解决 顶点 覆盖 问题 : 重复 选择 度数 最 高 的 项 


点 ， 并 去 掉 其 所 有 邻接 边 。 试 举例 证 明 Bündchen 教授 的 启发 式 方法 达 不 到 近似 比 2。 
(提示 : 可 以 考虑 一 个 二 分 图 ， 其 中 左 图 中 顶点 的 度数 一 样 ， 而 右 图 中 顶点 的 度数 
不 一 样 。) 

35.1-4 给 出 一 个 有 效 的 贪心 算法 ， 使 其 能 够 在 线性 时 间 内 找 出 一 棵 树 的 最 优 顶 点 覆盖 。 

35.1-5 通过 定理 34. 12 的 证 明 ， 我 们 知道 了 顶点 上 履 盖 问题 和 NP 完全 的 最 大 团 问 题 在 某 种 意义 
上 来 说 是 互补 的 ， 即 最 优 顶 点 覆盖 是 补 图 中 某 个 最 大 规模 团 的 补 。 这 种 关系 是 否 意 味 着 
存在 一 个 多 项 式 时 间 的 近似 算法 ， 它 对 最 大 团 问 题 有 着 固 定 的 近似 比 ? 请 给 出 回答 ， 并 
予以 证 明 。 


35.2 旅行 商 问题 
34.5.4 节 介 绍 的 旅行 商 问 题 中 ， 输 入 是 一 个 完全 无 向 图 G 二 (V，E)， 其 中 每 条 边 (u,，v) EE 
都 有 一 个 非 负 的 整数 代价 ccu，wv)， 我 们 希望 找 出 G 的 一 条 具有 最 小 代价 的 哈密 顿 回路 。 现 在 我 们 
把 前 面 所 用 的 记号 表示 略 作 扩充 ， 设 c(A) 表 示 子 集 ACE 中 所 有 边 的 总 代价 : 
c(A) = >) clus) 


FERS EDL, WS u BIA PSH we 花费 的 代价 总 是 最 小 的 。 如 果 一 条 
路 径 经 过 了 某 个 中 转 站 ， 则 它 不 可 能 具有 比 直接 到 达 更 小 的 代价 。 换 句 话说， 去 掉 途 中 一 个 中 转 
站 绝 不 会 使 代价 增加 。 将 这 种 情况 加 以 形式 化 ， 即 如 果 对 所 有 的 顶点 u, v wEV, A: 

clu,w) < clu,v) + clv,w) 
就 称 代价 函数 c 满足 三 角 不 等 式 。 

三 角 不 等 式 是 个 很 自然 的 不 等 式 ， 许 多 应 用 都 满足 三 角 不 等 式 。 例 如 ， 如 果 图 的 顶点 为 平面 
上 的 点 ， 并 且 在 两 个 顶点 间 旅 行 的 代价 为 它们 之 间 的 欧 几 里 得 距离 ( 即 两 点 间 的 线段 距离 )， 那 么 
这 种 情况 就 满足 三 角 不 等 式 。 除 了 欧 几 里 得 距离 外 ， 还 有 许多 其 他 的 代价 函数 能 满足 三 角 不 
等 式 。 

如 练习 35-22 所 示 ， 即 使 代价 函数 满足 三 角 不 等 式 ， 也 不 能 改变 旅行 商 问题 的 NP 完全 性 。 
因此 ， 不 能 寄 希 望 于 找到 一 个 准确 解决 旅行 商 问题 的 多 项 式 时 间 算 法 。 相 反 ， 我 们 应 该 寻找 一 些 
好 的 近似 算法 。 

35. 2. 1 节 将 讨论 一 个 2 近似 算法 ， 用 于 解决 符合 三 角 不 等 式 的 旅行 商 问题 。35. 2. 2 节 将 证 
明 如 果 旅 行商 问题 不 符合 三 角 不 等 式 ， 则 不 存在 具有 固定 近似 比 的 多 项 式 时 间 近 似 算 法 ， 除 非 
P=NP., 


35.2.1 满足 三 角 不 等 式 的 旅行 商 问题 


利用 前 一 小 节 的 方法 ， 我们 首先 要 计算 出 一 个 结构 ( 即 最 小 生成 树 )， 其 权 值 是 最 优 旅行 商 路 
线 长 度 的 下 界 。 接 着 ， 要 利用 这 一 最 小 生成 树 来 生成 一 条 遍历 线路 ， 其 代价 不 大 于 最 小 生成 树 权 
值 的 2 倍 ， 只 要 代价 函数 满足 三 角 不 等 式 即 可 。 下 面 的 算法 实现 了 这 一 过 程 ， 该 算法 将 23. 2 节 
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中 的 最 小 生成 树 算法 MST-PRIM 作为 子 程序 加 以 调用 。 输 入 G 是 一 个 完全 无 向 图 。 代 价 函 数 c 
满足 三 角 不 等 式 。 
APPROX-TSP-TOUR(G,c) 
1 select a verte r€EG. V to be a “root” vertex 
2 compute a minimum spanning tree T for G from root r 
using MST-PRIM(G, c,7) 
3 let H be a list of vertices, ordered according to when they are first visited 
ina preorder tree walk of T 


4 return the hamiltonian cycle H 1112 


如 12. 1 节 所 述 ， 先 序 遍 历 会 递归 地 访问 树 中 的 每 个 顶点 ， 在 第 一 次 遇 到 某 个 顶点 时 (在 访问 
其 孩子 之 前 ) 就 输出 该 顶点 。 

图 35-2 说 明了 APPROX-TSP-TOUR 的 操作 过 程 。 图 35-2(a) 给 出 了 一 个 完全 无 向 图 。 
图 35-2(b) 给 出 了 一 棵 由 MST-PRIM 计算 出 来 的 最 小 生成 树 T， 其 以 顶点 a 为 根 结 点 。 图 35-2(c) 
给 出 了 对 工 进行 先 序 遍 历时 ， 各 顶点 的 访问 顺序 。 图 35-2(d) 给 出 了 由 APPROX-TSP-TOUR 返回 
的 旅行 路 线 。 图 35-2(e) 给 出 了 一 个 最 优 的 旅行 路 线 ， 它 比 图 35-2(d) 中 的 旅行 路 线 要 短 约 23%. 


i 
Sa 
oars 








图 35-2 APPROX-TSP-TOUR 的 操作 过 程 。(a) 给 定 一 个 完全 无 向 图 ， 其 顶点 位 于 整数 网 格 线 的 交叉 
点 处 。 例 如 ， 顶 点 f 位 于 顶点 h 右边 一 个 单位 、 上 边 两 个 单位 处 。 此 处 采用 普通 的 欧 几 里 得 
距离 作为 两 点 间 的 代价 函数 。(b) 在 这 些 顶 点 的 基础 上 ， 利 用 MST-PRIM 计算 得 到 的 最 小 生 
成 树 T. MA a 为 根 顶 点 。 这 里 只 显示 出 了 位 于 工 中 的 边 。 各 顶点 的 标记 方式 使 得 它们 恰好 
可 以 按 字典 顺序 ， 由 MST-PRIM 加 入 到 主 树 中 。(c) 从 顶点 a FRX THR. TA 
完整 遍历 可 按 a、b5、c、b、h、b、a、d、e、f、e、g、e、d、&a 的 顺序 访问 各 顶点 。 在 对 工 
进行 先 序 遍 历时 ， 只 在 第 一 次 遇 到 一 个 顶点 时 ， 才 将 该 顶点 列 出 ， 从 而 得 到 访问 顺序 a、6b、 
c、h、d、e、f、g。(d) 按 先 序 遍历 顺序 访问 各 顶点 时 ， 所 得 到 的 顶点 访问 顺序 ， 即 由 
APPROX-TSP-TOUR 返回 的 旅行 路 线 互 。 其 总 代价 约 为 19. 074。(e) 原 完全 无 向 图 的 一 个 最 
HRT BEER H* ， 其 总 代价 约 为 14.715 1113 


根据 练习 23. 2-2， 即 使 是 采用 MST-PRIM 的 简单 实现 ，APPROX-TSP-TOUR 的 运行 时 间 
也 是 @(V*)。 现 在 我 们 来 证 明 : 如 果 旅 行商 问题 某 一 实例 的 代价 函数 满足 三 角 不 等 式 ， 则 
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APPROX-TSP-TOUR 所 返回 的 旅行 路 线 的 代价 不 大 于 最 优 旅行 路 线 代价 的 2 倍 。 

定理 35. 2 APPROX-TSP-TOUR 是 一 个 用 于 解决 满足 三 角 不 等 式 的 旅行 商 问题 的 多 项 式 时 
闻 2 近似 算法 。 

证 明 ”前 面 已 经 证 明了 APPROX-TSP-TOUR 的 运行 时 间 为 多 项 式 。 

设 H* 表示 在 给 定 顶 点 集合 上 的 一 个 最 优 旅行 路 线 。 我 们 通过 删除 一 个 旅行 路 线 中 的 任 一 条 
边 而 得 到 生成 树 ， 并 且 每 条 边 的 代价 都 是 非 负 的 。 因 此 ， 由 APPROX-TSP-TOUR 第 2 行 得 到 的 
最 小 生成 树 T 的 权 值 是 最 优 旅行 路 线 代价 的 一 个 下 界 : 

(A(T) <c(H" ) (35. 4) 
对 全 进行 完全 人 遍历 时 ， 在 初次 访问 一 个 顶点 时 输出 该 顶点， 并 且 在 访问 一 棵 子 树 返 回 后 输出 该 
顶点 。 我 们 称 这 个 遍历 为 WWW。 对 例子 中 的 树 进行 完全 遍历 ， 得 到 次 序 

asb,c,bsh,bsasd,e,fsesg,esdsa 

因为 该 完全 遍历 恰 经 过 了 工 的 每 条 边 两 次 ， 所 以 有 (可 以 将 代价 c 的 定义 加 以 自然 的 扩展 ， 用 以 
处 理 边 集 的 情况 ): 

c(W) = 2c(T) (35.5) 
由 式 (35. 4) 和 式 (35. 5) 4G 

c(W) < 2c(H" ) (35. 6) 
BD W 的 代价 在 最 优 旅行 路 线 代价 的 2 倍 之 内 。 

但 是 ，W 一 般 来 说 不 是 一 个 旅行 路 线 ， 因 为 它 对 于 某 些 顶点 的 访问 次 数 超过 一 次 。 然 而 ， 
根据 三 角 不 等 式 ， 如 果 从 W 中 去 掉 一 次 对 任意 顶点 的 访问 ， 代 价 并 不 会 增加 。( 如 果 在 对 顶点 u 
Alw 的 访问 之 间 ， 从 W 中 去 掉 顶 点 v， 所 得 的 旅行 路 线 顺 序 就 指示 了 直接 从 u Bl wd REA 
这 个 操作 ， 可 以 从 W 中 将 对 每 个 顶点 除 第 一 次 访问 之 外 的 其 他 各 次 访问 去 掉 。 在 我 们 的 例子 中 ， 
这 样 的 一 个 操作 过 程 即 可 得 旅行 次 序 : 

asbscshydye, fsg 
这 个 次 序 与 对 树 TTC Ra ER. RA 为 对 应 先 序 遍历 的 回路 。 它 是 个 哈 
密 顿 回路 ， 因 为 每 个 顶点 仅 被 访问 一 次 ， 并 且 它 实际 上 是 由 APPROX-TSP-TPUR 计算 出 来 的 回 
路 。 因 为 互 是 通过 从 完全 遍历 W 中 删除 了 某 些 顶点 后 得 到 的 ， 所 以 有 : 
c(H) < c(W) (35.7) 
将 不 等 式 (35. 6) 和 不 等 式 (35.7) 结 合 起 来 ， 则 有 cCM<2c(H"*), AMERRE EMER. m 

尽管 定理 35-2 给 出 了 很 好 的 近似 比 ， 但 在 实践 中 ，APPROX-TSP-TOUR 通常 并 不 是 解决 旅 
行商 问题 的 最 佳 选 择 。 有 些 近 似 算 法 的 实际 性 能 要 比 APPROX-TSP-TOUR 算法 好 得 多 (具体 可 
见 本 章 末 的 参考 文献 ) 。 


35.2.2 一 般 旅 行商 问题 


如 果 去 掉 关于 代价 函数 c 满足 三 角 不 等 式 的 假设 ， 则 不 可 能 在 多 项 式 时 间 内 找到 一 个 好 的 近 
似 旅行 路 线 ， 除 非 P=NP. 

定理 35.3 如果 P 天 NP， 则 对 任何 常数 o 之 1， 一 般 旅 行商 问题 不 存在 具有 近似 比 为 的 多 
项 式 时 间 近 似 算 法 。 

证 明 采用 反 证 法 证 明 。 假 设 对 某 个 数 p 宇 1， 存 在 一 个 近似 比 为 o 的 多 项 式 时 间 近 似 算 法 A. 
不 失 一 般 性 ， 假 定 o 是 一 个 整数 (必要 的 话 ， 可 以 对 其 向 上 取 整 )。 我 们 来 说 明 如 何在 多 项 式 时 间 内 
用 A 来 解决 哈密 顿 回 路 问题 (其 定义 见 34. 2 节 ) 的 各 种 实例 。 根 据 定理 34. 13， 哈 密 顿 回路 是 NP 完 
全 问题 ， 因 而 根据 定理 34. 4， 如 果 能 够 在 多 项 式 时 间 内 解决 这 个 问题 ， 必 须 满足 P=NP. 

设 G 一 (V， 已 ) 为 哈密 顿 回 路 问题 的 一 个 实例 。 我 们 希望 利用 假定 的 近似 算法 A 来 确定 G 是 
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否 包含 一 个 哈密 顿 回 路 。 可 将 G 转化 为 如 下 的 一 个 旅行 商 问 题 的 实例 。 设 G=(V, E) 为 V 上 
的 完全 图 ， 也 就 是 说 ， 

E' = {(u,v) :uvE€V,Hufxv} 
再 对 五 中 的 每 条 边 按 如 下 方法 赋 以 一 个 整数 代价 : 


| 


| clu,v) = oV +1 其 他 
GA c 的 表示 可 以 在 关于 |V| 和 |E| 多 项 式 时 间 内 由 G 构造 出 来 。 1115 


现在 来 考虑 旅行 商 问题 (G'，c)。 如 果 原 图 G 中 存在 一 条 哈密 顿 回路 及， 则 代价 函数 c 对 H 
的 每 条 边 赋 以 代价 1， 从 而 (G'，c) 中 包含 了 一 个 代价 为 |V| 的 旅行 路 线 。 另外， 如 果 G 中 不 包 
含 一 条 哈密 顿 回路 ,那么 G' 的 任意 一 个 旅行 路 线 必定 要 用 到 不 在 EE 中 的 某 条 边 。 但 是 ， 任 意 一 
个 用 到 不 在 已 中 边 的 旅行 路 线 的 代价 至 少 为 

| ColVIFD+CVl —D=plVI+IVI >olV| 

因为 不 在 G 中 的 边 的 代价 很 大 ， 故 G 中 哈密 顿 回 路 的 旅行 路 线 代价 (为 |V|) 与 任何 其 他 旅行 路 
线 的 代价 (至 少 为 p|V| 十 |V|) 之 间 相 差 至 少 为 p|V| 。 

现在 ， 假 定 我 们 应 用 近似 算法 A 来 解决 旅行 商 问题 (G'，c)。 因 为 A 能 保证 其 返回 旅行 路 线 
的 代价 不 超过 一 个 最 优 旅行 路 线 代价 的 p 倍 ， 如 果 G 包含 一 条 哈密 顿 回 路 ， 则 A 必定 会 返回 满 
足 上 述 要 求 的 旅行 路 线 。 但 是 ， 如 果 G 不 包含 哈密 顿 回路 ， 则 A 就 会 返回 一 个 代价 大 于 p1V| 的 
旅行 路 线 。 所 以 ， 可 以 用 算法 A 在 多 项 式 时 间 内 解决 哈密 顿 回路 问题 。 a 

定理 35. 3 的 证 明 过 程 展示 了 一 种 通用 技术 ， 这 种 技术 可 以 用 来 证 明 某 一 问题 无 法 被 很 好 地 
近似 。 假 设 给 定 一 个 NP 难度 的 问题 X， 我 们 可 以 在 多 项 式 时 间 内 构造 出 一 个 最 小 化 问题 Y， 使 
得 和 的 “yes” 实 例 对 应 于 值 至 多 为 ROM FRA OR Y KA, T X 的 “no" 实 例 对 应 于 值 大 于 pk 的 
Y 实例 。 那么 ， 我 们 就 证 明了 除非 有 P=NP, BU, MA Y 不 存在 多 项 式 时 间 的 p 近似 算法 。 


练习 


35.2-1 假设 一 个 完全 无 向 图 G=(V，E) 至 少 含有 三 个 顶点 ， 其 代价 函数 c 满足 三 角 不 等 式 。 证 
H: 对 所 有 的 xx，zEV， 有 clu, v>, 

35.2-2 ”说明 如 何 才能 在 多 项 式 时 间 内 ， 将 旅行 商 问题 的 一 个 实例 转换 为 另 一 个 代价 函数 满足 三 
角 不 等 式 的 实例 。 两 个 实例 必须 有 相同 的 最 优 旅行 路 线 。 请 解释 为 什么 这 种 多 项 式 时 间 
的 转换 与 定理 35. 3 并 不 矛盾 ， 假 设 PANP. 1116 

35.23 ”考虑 下 述 用 于 构造 近似 旅行 商旅 行路 线 ( 代 价 函 数 满足 三 角 不 等 式 ) 的 最 近 点 启发 式 ， 从 
只 包含 任意 选择 的 某 一 顶点 的 平凡 回路 开始 ， 在 每 一 步 中 ， 找 出 一 个 顶点 CRED 
路 中 ,但 到 回路 上 任何 顶点 之 间 的 距离 最 短 。 假 设 回 路 上 距离 .最近 的 顶点 为 w， 则 将 
u 插 入 到 v 之 后 ， 从 而 对 回路 加 以 扩展 。 重 复 这 一 过 程 ， 直 到 所 有 顶点 都 在 回路 上 为 止 。 
证 明 : 这 一 启发 式 方法 返回 的 旅行 路 线 总 代价 不 超过 最 优 旅行 路 线 代价 的 2 倍 。 

35.2-4 在 瓶颈 旅行 商 问题 中 ， 目 标 是 找 出 这 样 的 一 条 哈密 顿 回 路 ， 使 得 回路 中 代价 最 大 的 边 的 
代价 相对 于 其 他 回路 来 说 最 小 。 假 设 代价 函数 满足 三 角 不 等 式 ， 证 明 : 这 个 问题 存在 一 
个 近似 比 为 3 的 多 项 式 时 间 近 似 算法 。( 提 示 : 如 思考 题 23-3 中 讨论 的 那样 ， 可 以 采用 
递归 证 明 的 方法 ， 通 过 完全 遍历 瓶颈 生成 树 及 跳 过 某 些 顶点 ， 可 以 恰好 访问 树 中 的 每 个 
顶点 十 次 ， 但 连续 跳 过 的 中 间 顶 点 不 会 多 于 两 个 。 证 明 在 瓶颈 生成 树 中 ， 最 大 的 边 代价 
不 超过 瓶颈 哈密 顿 回路 中 最 大 的 边 代 价 。) 

35. 2-5 ”假设 与 旅行 商 问题 一 个 实例 对 应 的 顶点 是 平面 上 的 点 ， 且 代价 cu, VEA u Mo 之 间 
的 欧 几 里 得 距离 。 证 明 : 一 条 最 优 旅行 路 线 不 会 自我 交叉 。 
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35.3 ”集合 覆盖 问题 
集合 覆盖 问题 是 一 个 最 优化 问题 ， 它 是 许多 资源 分 配 问题 的 模型 ， 其 相应 的 判定 问题 是 NP 
完全 的 顶点 覆盖 问题 的 推广 ， 因 而 也 是 NP 难 问题 。 然 而 ， 用 于 解决 项 点 覆盖 的 近似 算法 并 不 适 
合 解决 集合 覆盖 问题 ， 需 要 尝试 其 他 方法 。 我 们 要 讨论 一 种 简单 的 具有 对 数 近似 比 的 贪心 启发 
式 方法 ， 即 随 着 实例 规模 的 逐渐 增 大 ， ae ma 
大 。 但 是 ， 由 于 对 数 函 数 增长 很 慢 ， 这 个 近似 算 
法 仍然 可 以 产生 很 有 用 的 结果 。 
集合 覆盖 问题 的 一 个 实例 (X，F) 由 一 个 有 穷 
集 X 和 一 个 X 的 子 集 族 F 构成， 且 X 的 每 一 个 元 
素 至 少 属于 下 中 的 一 个 子 集 : 
x= Us 


SEF 
我 们 说 一 个 子 集 SG 多 覆盖 了 它 的 元 素 。 这 个 问题 
是 要 找到 一 个 最 小 规模 子 集 C 和 8， 使 其 成 员 覆 盖 





图 35-3 集合 覆盖 问题 的 一 个 实例 (X，F )， 


X 的 所 有 成 员 : 
Vals (35. 8) 
我 们 说 任何 满足 等 式 (35.8) 的 © 覆盖 X. A 35-3 


说 明了 集合 覆盖 问题 。 蕊 的 规模 是 指 为 它 所 包含 的 
集合 数 ， 而 不 是 这 些 集合 中 的 元 素数 ， 因 为 每 个 


其 中 X 包含 12 个 黑 点 , FHS, 
Sz, S35 Sas S5, S6 } 。 一 个 最 小 规 
模 集 合 履 盖 为 C= 二 {Ss;，Ss ，S;},， 其 
规模 为 3。 通 过 按 序 选择 集合 Si、 
Say Ss 、 S3 或 者 91 、 Say Ss 、 Se, 
贪心 算法 产生 了 一 个 规模 为 4 的 覆盖 


覆盖 X 的 子 集 世 必定 包含 所 有 |X | 个 元 素 。 在 
图 35-3 中 ， 最 小 集合 覆盖 的 规模 为 3。 

集合 覆盖 问题 是 对 许多 常见 的 组 合 问题 的 一 种 抽象 。 考 虑 一 个 简单 的 例子 : 假设 X 表示 解决 某 
一 问题 所 需要 的 技巧 集合 ， 男 外 ， 有 一 个 给 定 的 参与 解决 该 问题 的 人 员 集 合 。 我 们 希望 组 成 一 个 人 数 
尽 可 能 少 的 委员 会 ， 使 得 对 X 中 每 种 必需 的 技巧 ， 委 员 会 中 都 至 少 有 一 位 成 员 掌 握 该 技巧 。 在 集合 

盖 问 题 的 判定 版 本 中 ， 我 们 想 知 道 一 个 集合 覆盖 的 规模 是 否 至 多 为 &， 其 中 & 是 在 该 问题 实例 中 规 
定 的 另 一 个 参数 。 集 合 覆 盖 问 题 的 判定 版 本 是 NP 完全 的 ， 练 习 35. 3-2 要 求 读者 证 明 这 一 点 。 

一 个 贪心 近似 算法 

该 贪心 方法 在 每 一 次 循环 中 ， 都 会 选择 出 能 履 盖 最 多 尚未 被 覆盖 元 素 的 集合 S. 

GREEDY-SET-COVER(X,F) 

1 U=X 

2 C= 

3 while UG 

4 select an SEF that maximizes | SNU | 

5 U=U—S 

6 ~e€=eU{S} 

7 return € 

在 图 35-3 的 例子 中 ，GREEDY-SET-COVER 按 序 将 集合 S1 、Si、 
意 一 个 加 入 到 CC 中。 

这 个 算法 的 工作 过 程 如 下 : 在 每 个 阶段 ， 集 合 U 包含 余下 的 未 被 覆盖 的 元 素 构成 的 集合 ; 
集合 CC 包含 正 在 被 构造 的 覆盖 。 第 4 行 是 贪心 决策 步骤 ， 即 选 出 一 个 子 集 S， 使 它 能 履 盖 尽 可 能 
多 的 未 被 覆盖 的 元 素 ( 如 果 有 两 个 子 集 履 盖 了 同样 多 元 素 ， 可 以 任意 选择 其 中 之 一 )。 在 S 被 选 
出 后 ， 第 5 行将 其 所 含 元 素 从 U 中 去 掉 ， 第 6 行将 S 加 入 CE。 当 算法 终止 时 ， 集 合 C 包 含 一 个 履 


Ss， 以 及 S; Be Ss 中 的 任 
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盖 X 的 多 的 子 族 。 

很 容易 实现 算法 GREEDY-SET-COVER， 使 其 以 |X| 和 | | 的 多 项 式 时 间 运 行 。 因 为 第 
3 一 6 行 间 循 环 的 迭代 次 数 至 多 为 min X|, IF|), 而且 可 以 将 循环 体 实现 以 时 间 OC| X| | F |) 
运行 ， 故 存在 一 个 运行 时 间 为 O(|X| | |min(|X|，|F |)) 的 实现 。 练 习 35. 3-3 要 求 读者 给 出 
一 个 线性 时 间 的 算法 。 

算法 分 析 

下 面 来 证 明 上 述 贪心 算法 可 以 返回 一 个 比 最 优 集 合 覆 盖 大 不 了 很 多 的 集合 覆盖 。 为 方便 起 


Rh, eR, ROA 五 (d) 来 表示 第 d 级 调和 数 H, = Si ( 见 A.1 节 )。 作 为 一 个 边界 条 


件 ， 定 义 五 (0) 王 0。 
定理 35. 4 GREEDY-SET-COVER 是 一 个 多 项 式 时 间 的 pCn) 近 似 算 法 ， 其 中 : 
on) = H(max{| S| :S € F) 

证 明 我们 已 经 证 明了 GREEDY-SET-COVER 以 多 项 式 时间 运 行 。 

为 了 证 明 GREEDY-SET-COVER 是 一 个 p(n) 近 似 算法 ， 对 每 一 个 由 该 算法 选 出 的 集合 赋予 
代价 1， 并 将 这 一 代价 平均 分 配给 被 初次 覆盖 的 元 素 ， 再 利用 这 些 代 价 导出 一 个 最 优 集 合 覆 盖 
C 的 规模 和 由 该 算法 返回 的 集合 覆盖 © 的 规模 之 间 的 关系 。 设 S: 表示 由 GREEDY-SET-COVER 
所 选 出 的 第 i 个 子 集 ; 在 将 S 加 入 C 中 时 要 产生 代价 1。 将 这 个 选择 S 时 产生 的 代价 平均 分 配给 
首次 被 S; 覆盖 的 元 素 。 对 zxEX， 设 c, 表示 分 配给 元 素 xz 的 代价 。 对 每 一 个 元 素 只 分 配 一 次 代 
价 ， 即 仅 当 它 被 首次 覆盖 时 分 配 人 代价。 如 果 z 首次 被 S; Be, MBA 


= 1 
m S= (S U S, U p U Sar) 
在 算法 的 每 一 步 中 ， 要 分 配 1 个 单位 的 代价 ， 因 此 ， 


ed Dica (35. 9) 
由 于 每 一 个 zEX PEDERI REC 中 的 一 个 集合 内 ， 因此 ， 
| > > > Sic. (35. 10) 
; see’ tES EX 
将 式 (35. 9) 和 式 (35. 10) 组 合 起 来 ， 有 : 
lels Se. (35. 11) 
see’ zr€S 
余下 的 证 明 关 键 在 于 下 面 的 不 等 式 ， 我 们 稍 后 将 对 它 进行 证 明 。 对 属于 族 Y 的 任何 集合 S, 
dies < HASI) (35. 12) 


根据 不 等 式 (35. 11) 和 (35. 12) ， 可 得 
lel < SD |€" | e H(max{|S|:S € ¥}) 


因而 定理 成 立 。 
下 面 来 证 明 不 等 式 (35. 12) 。 对 任意 的 集合 SCFMI=1, 2, =, (Cl, 设 
u; = |S— (S, U S: U's U S| 
为 Sis D2 Ss ,5 馈 该 算法 选 出 之 后 ， S 中 余下 的 未 被 覆盖 的 元 素 个 数 。 定义 Uy 一 | S| 为 S 
中 元 素 (开始 时 它们 都 未 被 覆盖 ) 的 个 数 。 设 为 满足 wi 二 0 的 最 小 下 标 ， 使 得 S 的 每 个 元 素 至 少 
BRAS, Sy, S 中 的 一 个 所 覆盖 ， 并 且 S 中 的 某 个 元 素 未 被 S1U S; UUS- MAR. 
这 样 ， 对 i 二 1; 2，…，k，wi-1 之 wu， 且 S 中 共有 wi-1 一 u 个 元 素 首 次 被 $， Tem. THA 


Ze o ee eee 
dye: = D un — |S; — (S, U S, U = U S) | 
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注意 到 
[S;— (S, US Us -US-)| > |1S 一 (CS US Us e U S) =u 
这 是 因为 对 S; 的 贪心 选择 保证 了 S 不 可 能 比 S; 覆盖 更 多 的 新 的 元 素 ( 否 则 ， 选 出 的 就 会 是 S， 而 
不 是 S;)。 由 此 可 得 


k 


Sen X Dj (Hin —u;)° 
ZES 
下 面 的 公式 给 出 这 个 量 的 界 : 
k 
Xe, < S) Cua — u;) L 
zES i=] Ui 
k u, 
= o ee 
E 2 2 + 4i-1 
ku 
去》 D + CELETTE 
i=l jauh J 
ee ee l1 
=2 (2 J Fa i) 
k 
= $) (Hu) — HOw,)) 
i=] 


= Hu) — H(w) (根据 裂 项 相 消 和 和 ) 
= H(u) — H(0) 

= H(w) (因为 H0) = 0) 
= H(|S|) 


从 而 完成 了 对 不 等 式 (35. 12) 的 证 明 。 
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推论 35.5 GREEDY-SET-COVER 是 一 个 多 项 式 时 间 的 (ln | 义 | 十 1) 近 似 算 法 。 E 

WEAR 利用 不 等 式 (A. 14) 和 定理 35.4 即 可 证 明 。 E 

在 某 些 应 用 中 ，max{|S| : SEF} 是 一 个 较 小 的 常数 。 在 这 种 情况 下 ， 由 GREEDY-SET- 
COVER 返回 的 解 至 多 比 最 优 解 大 一 个 很 小 的 常数 倍 。 例 如 ， 对 一 个 顶点 度 至 多 为 3 的 图 来 说 ， 
当 利用 这 种 启发 式 方法 获取 其 近似 顶点 覆盖 时 ， 这 种 方法 就 有 应 用 价值 。 在 这 种 情况 下 ， 由 
GREEDY-SET-COVER 找 出 的 近似 解 不 大 于 一 个 最 优 解 的 电 (3) ==11/6 倍 ， 这 个 近似 比 
APPROX-VERTEX-COVER 的 略 好 一 些 。 


练习 

35.3-1 将 以 下 每 一 个 单词 都 看 做 字母 集合 : {arid, dash, drain, heard, lost, nose, shun, 
slate，snare，thread} 。 当 出 现 有 两 个 集合 可 供 选 择 的 情况 时 ， 如 果 倾 向 于 优先 选择 在 
词典 中 先 出 现 的 单词 ， 则 GREEDY-SET-COVFR 会 产生 怎样 的 集合 覆盖 。 

35.3-2 ”通过 由 顶点 覆盖 问题 对 其 进行 归 约 ， 证 明 : 集合 覆盖 问题 的 判定 版 本 是 NP 完全 的 。 


35.3-3 说明 如 何 实现 GREEDY-SET-COVER， 使 其 运行 时 间 为 o( 2 | S| 
SE 


35.3-4 ”下面 给 出 的 是 定理 35. 4 的 较 弱 形式 ， 证 明 其 正确 性 : 
lel < [€ |max{|S|:SE F} 
35.3-5 GREEDY-SET-COVER 可 以 返回 许多 不 同 的 解 ， 具体 取决 于 在 第 4 行 中 如 何 打破 “ 平 
局 ”。 给 出 过 程 BAD-SET-COVER-INSTANCE(n)， 用 于 返回 集合 覆盖 问题 的 一 个 nn 元 
素 实 例 ， 在 该 过 程 中 ， 通 过 选择 第 4 行 中 打破 平局 的 方法 ，GREEDY-SET-COVER 可 
以 返回 不 同 数量 的 解 ， 为 n 的 指数 。 
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35.4 随机 化 和 线性 规划 

本 节 主 要 研究 两 种 在 设计 近似 算法 时 非常 有 用 的 技术 : 随机 化 和 线性 规划 。 我 们 要 给 出 
3-CNF 可 满足 性 问题 最 优化 版 本 的 一 个 随机 化 算法 ， 还 要 利用 线性 规划 ， 为 顶点 覆盖 问题 的 一 个 
带 权 版 本 设计 近似 算法 。 本 节 只 是 简单 地 介绍 了 这 两 种 极为 有 用 的 技术 ,“ 本 章 注 记 ”中 给 出 了 有 
关 这 两 个 领域 的 进一步 参考 文献 。 

解决 MAX-3-CNF 可 满足 性 问题 的 一 个 随机 化 近似 算法 

正如 可 以 计算 出 准确 解 的 随机 算法 一 样 ， 一 些 随机 化 算法 也 可 用 于 计算 近似 解 。 如 果 某 一 
问题 的 随机 化 算法 满足 对 任何 规模 为 ”的 输入 ， 该 随机 化 算法 所 产生 的 解 的 期 望 代价 C 在 最 优 解 
的 代价 C 的 一 个 因子 o(z) 之 内 : 


CE 
max( ator) <o) (35. 13) 


则 称 该 随机 算法 具有 近似 比 pn). 

能 达到 近似 比 p(n) 的 随机 化 算法 也 称 为 随机 化 的 p(n) 近 似 算法。 随机 化 的 近似 算法 类 似 于 
确定 型 的 算法 ， 只 是 其 近似 比 为 一 个 期 望 值 。 

如 在 34. 4 节 中 定义 的 那样 ，3-CNF 可 满足 性 问题 的 一 个 特定 实例 可 能 是 可 满足 的 ， 也 可 能 
不 是 。 为 了 使 其 可 满足 ， 必 须 找到 一 种 对 变量 的 赋值 ， 使 得 每 个 子 句 的 计算 结果 都 为 1。 如 果 某 
个 实例 是 不 可 满足 的 ， 我 们 希望 计算 一 下 它 离 “ 可 满足 ”还 差 多 少 ， 也 就 是 说 ， 我 们 希望 找 出 变量 
的 一 种 赋值 ， 使 得 有 尽 可 能 多 的 子 句 得 到 满足 。 这 种 最 大 化 问题 称 为 MAX-3-CNF 可 满足 性 问 
题 。MAX-3-CNF 可 满足 性 问题 的 输入 与 3-CNF 可 满足 性 问题 的 输入 是 一 样 的 ， 目 标 是 返回 变量 
的 一 种 赋值 ， 它 最 大 化 计算 结果 为 1 的 子 句 的 数量 。 下 面 来 证 明 以 1/2 的 概率 随机 将 每 个 变量 设 
置 为 1， 以 1/2 概率 随机 将 每 个 变量 设置 为 0， 即 可 得 到 随机 化 的 8/7 近似 算法 。 根 据 34.4 节 中 
3-CNF 可 满足 性 的 定义 ， 要 求 每 个 子 句 都 恰 包 含 3 个 不 同 的 文字 。 进 一 步 假设 所 有 的 子 句 都 不 会 
既 包 含 一 个 变量 ， 又 包含 其 否定 形式 。( 练 习 35. 4-1 要 求 读者 去 掉 这 个 假设 。) 

定理 35. 6 给 定 MAX-3-CNF 可 满足 性 问题 的 一 个 实例 9 它 有 n 个 变量 Lis T29 “””》 Ly 和 
m 个 子 句 ， 以 1/2 概率 独立 地 将 每 个 变量 设置 为 1 并 以 1/2 概率 独立 地 将 每 个 变量 设置 为 0 的 随 
机 化 近似 算法 是 一 个 随机 化 的 8/7 近似 算法 。 

证 明 ”假设 我 们 已 经 以 1/2 概率 独立 地 将 每 个 变量 设置 为 1， 以 1/2 概率 独立 地 将 每 个 变量 
设置 为 0。 对 计 1，2，…，m， 定 义 指示 器 随机 变量 

Yi 二 1{ 子 名 i 被 满足 } 
因此 ， 只 要 第 ; 个子 句 的 变量 中 至 少 有 一 个 已 被 置 为 1， 就 有 六 三 1。 由 于 在 同一 个 子 句 中 ， 任 
何 一 个 文字 的 出 现 次 数 都 不 会 多 于 一 次 ， 又 由 于 我 们 已 经 假设 同一 子 句 中 不 会 同时 出 现 一 个 变 
量 及 其 否定 形式 ， 故 每 个 子 句 中 三 个 文字 的 设置 都 是 互相 独立 的 。 对 于 一 个 子 名 来 说 ， 只 有 当 它 
的 三 个 文字 都 被 置 为 0 时 ， 才 不 会 被 满足 ， 因 此 ，Pr{ 子 名 1; 不 被 满足 } = (1/2)°=1/8., FÆ, Pr 
{ 子 句 i 被 满足 ) 二 1 一 1/8 二 7/8。 根 据 引 理 S.1, ELY: ]=7/8. RY 为 得 到 满足 的 子 句 的 总 数 ， 
则 有 Y=Y, HY: +e +tYn. TE, A: 


E[Y]= E| >”, | 


= DEY] (根据 期 望 的 线性 性 ) 





一 > 7/8 一 7m/8 
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BR, m 是 得 到 满足 的 子 句 数量 的 上 界 ， 因 而 ， 近 似 比 至 多 为 m/(7m/8)=8/7. E 
利用 线性 规划 来 近似 求解 带 权 顶点 履 盖 问题 
在 最 小 权 值 顶 点 覆盖 问题 中 ， 给 定 一 个 无 向 图 G 二 (V，E)， 其 中 每 个 顶点 vEY 都 有 一 个 正 
的 权 值 ww(z) 。 对 任意 顶点 覆盖 VCV， 定 义 该 顶点 覆盖 的 权 为 wV)= 2w). 目标 是 找 出 一 
ve 


个 具有 最 小 权 值 的 顶点 覆盖 。 

对 于 这 个 问题 ， 不 能 直接 采用 面向 无 权 顶 点 覆盖 的 算法 ， 也 不 能 采用 随机 化 的 解决 方案 ， 因 
为 这 两 种 方法 给 出 的 解 可 能 远 非 最 优 。 但是， 对 于 最 小 权 值 顶点 覆盖 ,我 们 将 利用 线性 规划 技 

1124] R, 计算 出 其 权 值 的 一 个 下 界 。 然 后 ， 对 计算 出 来 的 结果 进行 “ 舍 人 ”， 并 利用 得 到 的 结果 来 获得 

TU Ti o 

假设 对 每 个 顶点 vEV， 都 安排 一 个 变量 x( 与 之 关联 ， 并 且 ， 要 求 对 每 个 vEV， 有 roS 
于 0 或 1。 将 v 加 入 顶点 覆盖 ， 当 且 仅 当 x(v) 二 1。 那 么 ， 我们 可 以 写 出 这 样 一 条 约束 : 对 于 任意 
Wu, ,wu 和 w 之 中 至 少 有 一 个 必须 在 顶点 覆盖 中 ， 即 x( 愉 十 zx( 宇 1。 这 样 一 来 ， 束 引出 下 述 
用 于 寻找 最 小 权 值 顶点 履 盖 的 0-1 整数 规划 : 


minimize >} wv) xv) (35. 14) 
vEV 
条 件 是 
xlu) + rlu) l, (u, EE (35. 15) 
z(oE {0,1} vE V (35. 16) 


在 特殊 情况 下 ， 所 有 权重 记 ( 四 等 于 1， 这 个 公式 是 NP 难 的 顶点 覆盖 问题 的 最 优化 版 本 。 假 
BERT z(wE(0，1} 这 一 限制 ， 并 代 之 以 0 委 z(o 委 1， 就 可 以 得 到 如 下 线性 规划 ， 称 为 线性 


规划 松弛 : 
| minimize )>)w(v)zx(v) (35. 17) 
veV 
约束 是 
xcu) +r) >l ,其 中 (u,v) EE (35. 18) 
a(v) <1 ,其 中 vEV (35. 19) 
XxX(v) 宇 0 ,其 中 vEV (35. 20) 


式 (35. 14) ~ (35. 16) 中 0-1 整数 规划 的 任意 可 行 解 也 是 式 (35. 17) ~ (35. 20) 中 线性 规划 的 一 个 可 
行 解 。 于 是 ， 线 性 规划 的 最 优 解 是 0-1 整数 规划 最 优 解 的 下 界 ， 从 而 也 是 最 小 权 值 顶点 覆盖 问题 
最 优 解 的 下 界 。 
1125 下 面 的 过 程 利用 上 述 线性 规划 松弛 的 解 ， 来 构造 最 小 权 值 顶 点 覆盖 问题 的 一 个 近似 解 。 
APPROX-MIN-WEIGHT-VC(G, w) 
1 C=Ø 
2 compute z,an optimal solution to the linear program in lines(35. 17) — (35. 20) 
3 for each ve V | 
4 if x(v)>1/2 
5 C=CU {v} 
6 


return C 


APPROX-MIN-WEIGHT-VC 的 工作 过 程 如 下 。 第 1 行将 顶点 覆盖 初始 化 为 空 。 第 2 行 形成 
式 (35.17) 一 (35. 20) 中 的 线性 规划 ， 然 后 求解 这 一 线性 规划 。 最 优 解 要 给 每 个 顶点 v 峰 一 个 相关 
的 值 z(v)， 其 中 0 二 x(v) 志 1。 在 第 3 一 5 行 中 ， 利 用 这 一 值 来 确定 该 选择 哪些 顶点 加 入 顶点 覆盖 
C 中 。 如 果 z(Cvw) 宇 1/2， 则 将 v 加 入 C 中 ; 否则 ,不 将 其 加 入 。 实 际 上 ， 我 们 对 线性 规划 的 解 中 
将 每 个 带 小 数 的 变量 “四 舍 五 入 ”成 0 或 1， 从 而 求 得 式 (35. 14) 一 (35. 16) 中 0-1 整数 规划 的 解 。 
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最 后 ， 第 6 行 返 回 顶点 覆盖 C 

定理 35.7 算法 APPROX-MIN-WEIGHT-VC 是 求解 最 小 权 值 顶点 覆盖 问题 的 一 个 多 项 式 
时 间 的 2 近似 算法 。 

证 明 ”因为 在 第 2 行 中 ， 调 用 了 一 个 多 项 式 时 间 算 法 来 求解 线性 规划 ， 并 且 第 3 一 5 行 中 的 
for 循环 以 多 项 式 时 间 运 行 ， 因 而 APPROX-MIN-WEIGHT-VC 是 一 个 多 项 式 时 间 的 算法 。 

下 面 来 证 明 APPROX-MIN-WEIGHT-VC 是 一 个 2 近似 算法 。 设 CO" 是 最 小 权 值 顶点 履 盖 问 
题 的 一 个 最 优 解 ， 并 设 z* 为 式 (35. 17) 一 (35. 20) 中 线性 规划 的 一 个 最 优 解 。 由 于 最 优 的 顶点 覆 
盖 也 是 该 线性 规划 的 可 行 解 ， 因此 ，xz* 必定 是 w(C* ) 的 一 个 下 界 ， 即 

z* <w(C" ) (35. 21) 

接 下 来 ， 我 们 断言 通过 对 变量 z(z) 的 小 数 部 分 进行 伟人， 可 以 得 到 一 个 顶点 覆盖 C， 满 足 
w(C)<2z" , 为 了 证 明 CH} RABE, SBR BWM, DEE, 根据 约束 (35. 18)，zxz(《w) 十 
atv, 这 意味 着 在 x(u) 和 Zz(v) 中 ， 到/ 少 有 一 个 其 值 至 少 为 1/2. Alb, u Mo 中 至 少 有 一 个 将 
被 加 入 到 顶点 覆盖 中 ， 因 而 每 一 条 边 都 将 被 覆盖 。 

下 面 考虑 覆盖 的 权 值 ， 有 : 


= Dw WW oz > wv) + > 
: vEV:2(v) 21/2 vEV;2(v)>1/2 
= = 2w) t- Ze = = w(O) (35. 22) 


将 不 等 式 (35. 2D. 22) REK, A: 
w(C) < 2z* < 2w(C" ) 
因此 APPROX-MIN-WEIGHT-VC 是 一 个 2 近似 算法 。 = 


练习 


35.4-1 证 明 : 即使 允许 一 个 子 句 既 包含 变量 又 包含 其 否定 形式 ， 将 每 个 变量 随机 地 以 概率 1/2 
设置 为 1 和 以 概率 1/2 设置 为 0， 它 仍然 是 一 个 随机 化 的 8/7 近似 算法 。 

35. 4-2 MAX-CNF 可 满足 性 问题 与 MAX-3-CNF 可 满足 性 问题 类 似 ， 只 是 它 并 不 要 求 每 个 子 名 
都 恰 包 含 3 个 文字 。 对 MAX-CNF 可 满足 性 问题 ， 给 出 它 的 一 个 随机 化 的 2 近似 算法 。 

35.4-3 在 MAX-CUT 问题 中 ， 给 定 一 个 无 权 无 向 图 G 二 (V，E)。 如 在 第 23 章 中 一 样 ， 定 义 一 
个 割 (S，V 一 S) ， 并 定义 一 个 割 的 权 为 通过 该 割 的 边 数 。 问 题 的 目标 是 找 出 一 个 具有 最 
大 权 值 的 割 。 假 设 对 每 个 顶点 "， 随 机 且 独 立地 将 v 以 概率 1/2 BA S$ 中 ， 以 概率 1/2 
置信 V 一 S 中 。 证 明 : 这 个 算法 是 一 个 随机 化 的 2 近似 算法 。 

35.4-4 WH: 式 (35. 19) 中 的 约束 是 多 余 的 ， 意 即 ， 如 果 将 它们 从 式 (35.17) 一 (35. 20) 间 的 线 
性 规划 中 去 掉 ， 所 得 到 线性 规划 的 任何 最 优 解 必 征 满 足 对 每 个 vEV，z(o 委 1。 


35.5 子 集 和 问题 

子 集 和 问题 的 一 个 实例 是 一 个 对 (S，z)， 其 中 S 是 一 个 正 整 数 的 集合 {zi， zs， ts Bhs t 
是 一 个 正 整 数 。 这 个 判定 问题 是 判定 是 否 存在 S 的 一 个 子 集 ， 使 得 其 中 的 数 加 起 来 恰 为 目标 值 
+。 这 个 问题 是 NP 完全 的 ( 见 34.5.5 节 )。 

与 此 判定 问题 相 联 系 的 最 优化 问题 常常 出 现 于 实际 应 用 中 。 在 这 种 最 优化 问题 中 ,希望 找 
到 {zi ，zz，…*，Z,) 的 一 个 子 集 ， 使 其 中 元 素 相 加 之 和 尽 可 能 的 大 ， 但 不 能 大 于 to 例如 ， 假 设 
我 们 有 一 辆 能 装 不 多 于 t 磅 重 的 货 的 卡车 ， 并 及 个 不 同 的 盒子 要 装运 ， 其 中 第 i 个 的 重量 为 工 ; 
磅 。 我 们 希望 在 不 超过 重量 极限 的 前 提 下 ， 将 贷 尽 可 能 地 闭 满 卡车 。 

在 这 一 节 里 ， 我 们 先 给 出 解决 这 个 最 优化 问题 的 一 个 指数 时 间 算 法 ， 然 后 说 明 如 何 来 修改 
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算法 ， 使 之 成 为 一 个 完全 多 项 式 时 间 的 近似 模式 。( 一 个 完全 多 项 式 时 间 近 似 模 式 的 运行 时 间 为 
1/e， 也 是 输入 规模 的 多 项 式 。) 

一 个 指数 时 间 的 准确 算法 

假设 对 S 的 每 个 子 集 S ， 都 计算 出 S 中 所 有 元 素 的 和 。 接 着 ， 在 所 有 元 素 和 不 超过 t 的 子 集中 ， 
选择 其 和 最 接近 t 的 子 集 。 显 然 ， 这 一 算法 将 返回 最 优 解 ， 但 它 可 能 需要 指数 级 的 时 间 。 为 了 实现 这 
个 算法 ， 可 以 采用 一 种 迭代 过 程 ; 在 第 i ER, 计算 {zx 9 Azo "s Ti } 所 有 子 集 的 和 ， 计算 的 基 
础 是 {zl ，zs，…，z-1) 的 所 有 子 集 的 和 。 在 这 个 计算 过 程 中 ， 一旦 某 个 特定 子 集 S 的 和 超过 了 ct. Ht 
没有 必要 再 对 它 进行 处 理 ， 因 为 S 的 超 集 不 会 成 为 最 优 解 。 下 面 给 出 这 一 策略 的 实现 。 

过 程 EXACT-SUBSET-SUM 的 输入 为 一 个 集合 S= (2) 9 T29 °°*s Ly } 和 一 个 目 标 值 Ls H 
代码 接 下 来 给 出 。 这 个 过 程 以 迭代 的 方式 计算 列表 Lio HPO Tia, t2; 0s c WATER 
的 和 ， 这 些 和 值 都 不 超过 目标 值 :， 接 着 ， 它 返回 L, 中 的 最 大 值 。 

设 工 是 一 个 由 正 整 数 构成 的 列表 ，z 是 一 个 正 整数 ， 我 们 用 L 十 x 来 表示 通过 对 上 中 每 个 元 素 
增加 zz 而 生成 的 整数 列表 。 例如 ， 如 果 L=(1, 2， 3， 5s 9), 则 L+2=(3, 4, 5， T, Ils 我 们 
对 集合 也 应 用 这 个 记号 ， 因 而 

S+z = {s+z:s € S) 

我 们 还 用 到 了 一 个 辅助 过 程 MERGE-LISTS(L,L')， 返 回 对 其 两 个 已 排序 的 输入 列表 LL 和 
L' 合 并 及 删除 重复 值 后 所 产生 的 排序 列表 。 像 在 归并 排序 中 用 到 的 MERGE 过 程 一 样 ( 见 2. 3. 1 
节 )，MERGE-LISTS 的 运行 时 间 为 O(|L| 十 |L| (这 里 省 略 MERGE-LISTS 的 伪 代 码 )。 

EXACT-SUBSET-SUM(S, 2) 

1 n=|S| 

2 Ly=<0) 

3 fori=1 ton 
4 L;=MERGE-LISTS(CL;-1 s L;-1 +z;) 

5 remove from L; every element that is greater than t 
6 


return the largest element in L, 


为 了 搞 清 楚 EXACT-SUBSET-SUM 的 工作 过 程 ， 设 已 表示 通过 选择 {x ，xzs，…，zxi} 的 任意 一 
个 (可 能 为 空 da 例如 ， 如 果 S={(1，4，5}， 则 
= {0,1} 
i = {0,1,4,5} 
= {0,1,4,5,6,9,10} 
给 定 等 式 
P; = Pa U (Pin +a) (35. 23) 
可 以 通过 对 的 归纳 ( 见 练习 35. 5-DR ERE L 是 一 个 包含 P: 中 的 所 有 值 不 大 于 t 的 元 素 的 有 
FR. AA L 的 长 度 可 达到 2 ， 一 般 来 说 EXACT-SUBSET-SUM 是 一 个 指数 时 间 的 算法 。 在 : 
为 |S| 的 多 项 式 或 S 中 的 所 有 成 员 均 有 | S | 的 一 个 多 项 式 限 界 的 特殊 情况 下 ， EXACT-SUBSET- 
SUM pay Mine 式 时 间 算 法 。 
完全 多 项 式 时 间 近 似 模 式 
对 子 集 和 问题 我 们 可 以 通过 在 每 个 列表 L 被 创建 后 ， 对 它 进行 “修整 >， 来 导出 一 个 完全 
多 项 式 时 间 的 近似 模式 。 具 体 的 思想 是 ， 如 果 工 中 的 两 个 值 比较 接近 ， 那 么 ， 出 于 寻找 近似 解 
的 目的 ， 不 需要 同时 保存 这 两 个 数 。 更 准确 地 说 ， 我 们 采用 一 个 修整 参数 6(0 二 6 一 1)， 按 6 来 修 
整 一 个 列表 工 是 以 这 样 一 种 方式 从 工 中 去 除 尽 可 能 多 的 元 素 ， WR L 为 修整 工 后 的 结果 ， 则 对 
从 工 中 去 除 的 每 个 元 素 y， 都 存在 一 个 仍 在 工 中 的 、 近 似 y 的 元 素 z， 使 得 : 
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Tats) (35. 24) 


在 新 表 工 中 可 以 用 这 样 的 一 个 = 来 “代表 ”y。 每 个 y 都 由 一 个 满足 不 等 式 (35. 24) 的 来 代表 。 例 
如 ， 如 果 6 二 0.1, H 
| L = (10,11,12,15,20,21,22,23,24,29) 
则 可 以 通过 修整 工 得 到 
L’ = (10,12,15,20,23,29) 

其 中 被 删除 的 信 11 由 10 来 代表 ， 被 删除 的 值 21 和 22 由 20 代表 ， 被 删除 的 值 24 由 23 代表 。 由 
于 表 的 修整 版 本 中 的 元 素 都 是 原 表 的 元 素 ， 因 此 对 一 个 表 加 以 修整 后 ， 可 以 大 大 减少 表 中 的 元 
素 ， 同时 还 可 以 在 表 中 为 每 个 从 中 删除 的 元 素 保留 一 个 与 其 很 接近 的 ( 且 略 小 一 些 的 ) 代 表 值 。 

下 面 给 出 的 过 程 在 给 定 上 和 6 的 情况 下 ， 在 时 间 8@(m) 内 修整 一 个 输入 表 LCs yoy oes 
y。)， 假 定 工 已 排 成 单调 递增 序 。 该 过 程 的 输出 是 一 个 修整 过 的 有 序 表 ， 

TRIM(L,6) ， 
let m be the length of L 
L'= (yi) | 
last=y, | 
for ;一 2 to m 

if y:>last. (1+8) /yn 之 last because L is sorted 
append y; onto the end of L’ 


on QO oO A WwW N e 


last =y; 
return L’ : 


该 过 程 按照 单调 递增 次 序 扫描 工 中 的 元 素 ， 对 于 其 中 每 个 元 素 ， 若 它 是 工 的 第 一 个 元 素 ， 或 者 
它 不 能 由 最 近 被 放 人 工 ' 中 的 数 来 代表 ， 则 它 被 加 入 返回 的 列表 工 ' 中 。 
给 定 过程 TRIM 后 ， 可 以 按照 如 下 方法 构造 近似 模式 。 这 个 过 程 的 输入 为 包含 4 个 整数 的 集 
A S= {ts z ee Cr) ERREFE., HRA t OMAR., He 1130 
0<<s<< 1] (35. 25) 
TERM z z， 该 值 在 最 优 解 的 1+e (RAN. 


APPROX- -SUBSET- -SUM(S, te) 

l n= | S| | 

2 JE 00) - 

3 for i=1 ton 

4 L,;=MERGE-LISTS(L;-1 »Li-1 +21) 

5 L;=TRIM(L; ,€/2n) 

6 remove from L; every element that is greater than t 
7 let z* be the largest value in L, 


8 return z* | 


第 2 行将 表 L 初始 化 为 仅 包含 元 素 0 的 表 。 第 3 一 6 行 中 for 循环 计算 有 序 表 L, L 是 包含 集合 
P; 的 一 个 适当 修整 版 本 (去 掉 了 所 有 大 于 t RIR). AX Li 是 从 L;-1 构 造 出 来 的 ， 故 必须 保证 
重复 的 修整 不 会 引入 太 多 的 复合 不 精确 性 。 下 面 将 看 到 APPROX-SUBSET-SUM 返回 一 个 正确 
的 近似 (如 果 存在 )。 
考 谍 一 个 例子 假设 有 实例 
- § = (104,102,201,101) 

且 t=308, e= -0 40。 修 整 参数 6 为 e/8= 二 0. 05。APPROX-SUBSET-SUM 在 所 指示 的 各 行 上 计算 
出 如 下 值 : 


+ 
i 
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第 247: Ly) = <0) 
第 4 行 : L,=(0, 104) 
第 5 行 : Li 一 (0，104)》 
第 6 行 ; Li 二 (0，104) 
第 4 行 : L,= (0, 102, 104, 206) 
$8547: L,=(0, 102, 206) 
第 6 行 : L,=<0, 102, 206) 
第 4 行 : L; 二 (0，102，201，206，303，407》 
第 5 行 : Li 二 (0，102，201，303，407)》 
第 6 行 : L;= (0, 102, 201, 303) 
第 4 行 : L,=(0, 101, 102, 201, 203, 302, 303, 404) 
第 5 行 : L~=(0, 101, 201, 302, 404) 
第 6 行 : L,=(0, 101, 201, 302) 
该 算法 返回 z* =302 作为 答案 ， 它 在 最 优 答案 307=104+1024101 的 s 王 40% 之 内 。 实 际 上 ， 它 
是 在 其 2% 之 内 。 
定理 35.8 APPROX-SUBSET-SUM 是 子 集 和 问题 的 一 个 完全 多 项 式 时 间 近 似 模 式 。 
证 明 第 5 行 修整 L HAL 中 去 除 每 个 大 于 上 的 元 素 ， 该 操作 保持 了 二 的 每 个 元 素 同时 也 是 R 
的 成 员 这 一 性 质 。 所 以 ， 在 第 8 行 返 同 的 值 z* 确实 是 S 的 某 个 子 集 的 元 素 之 和 。 设 y* CP, 表示 子 集 
和 问题 的 一 个 最 优 解 。 那 么 ， 由 第 6 行 可 知 ，z* 三 y* 。 根 据 不 等 式 (35. 1)， 我 们 需要 证 明 y* /z* <1 te. 
此 外 ， 还 必须 证 明 这 个 算法 的 运行 时 间 既 是 1/e 的 多 项 式 ， 又 是 输入 规模 的 多 项 式 。 
通过 对 i 进行 归纳 ， 可 以 证 明 对 P; 中 每 个 至 多 为 t 的 元 素 y， 存 在 一 个 zEL,， 使 得 
TT S259" (35. 26) 
( 见 练习 35. 5-2。) 不 等 式 (35. 26) 对 y* CP, 必然 成 立 ， 因 而 存在 xzE 工 ,， 使 得 
drazo F 
从 而 有 
业 雪 (1 十 三 ) (35. 27) 
gZ n 
因为 存在 zE L, 能 满足 不 等 式 (35.27)， 故 该 不 等 式 对 z* 必定 成 立 ， 其 中 xz* 是 L, 中 的 最 大 
值 ; 即 
TLR (35. 28) 
之 n 
接 下 来 还 要 证 明 y* /z* 三 1 十 e。 首 先 来 证 明 (1 十 e/2n)" 志 1 十 e。 根 据 式 (3. 14), 有 lim(1 十 e/2m)" 二 
ef? 。 练 习 35. 5-3 要 求 读者 证 明 
Z(1+£)'>0 (35. 29) 
函数 (1 十 e/2n)" 在 接近 极限 eV MEH, Ban WSK eI, TEA: 
(TES) < el? 
之 1 十 e/2 十 (e/2)* (根据 不 等 式 (3. 13)) 
<1l+e (根据 不 等 式 (35. 25)) (35. 30) 


将 不 等 式 (35. 28) 和 不 等 式 (35. 30) 结 合 起 来 ， 就 完成 了 对 近似 比 的 分 析 。 
”为 了 证 明 APPROX-SUBSET-SUM 是 一 个 完全 多 项 式 时 间 近 似 模 式 ， 我们 要 导出 一 个 关于 
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L; 的 长 度 的 界 。 在 修整 后 ，L; 中 连续 的 元 素 z 和 x VARA z /z 二 1 十 e/2n。 也 就 是 说 ， 它 们 之 
间 相 差 的 倍数 必 至 少 为 1 十 e/2n。 所 以 ,每 个 列表 都 包含 了 值 0， 有 可 能 还 包含 了 值 1， 
以 及 [logi+wat 个 其 他 的 值 。 每 个 列表 L: 中 的 元 素数 至 多 为 


Int 
ln(1 十 e/2n) ae 


< 2n(1 + ean Inż 


log vs 十 2 一 
十 2 (根据 不 等 式 (3. 177) 


< ane | , (根据 不 等 式 (35. 25)) 


这 个 界 是 输入 规模 的 多 项 式 ， 此 处 的 输入 规模 即 表示 i 所 需 的 位 数 lg:， 再 加 上 表示 和 集合 S 所 需 
的 位 数 ， 而 后 者 既是 n 的 多 项 式 ， 也 是 1/e 的 多 项 式 。 因 为 APPROX-SUBSET-SUM 的 运行 时 间 
XÑ Li 长 度 的 多 项 式 ， 所 以 APPROX-SUBSET-SUM 是 一 个 完全 多 项 式 时 间 的 近似 模式 。 2 


练习 

35.5-1 证 明 等 式 (35. 23) 。 然 后 ， 证 明 在 执行 了 EXACT-SUBSET-SUM 的 第 5 行 之 后 ，L; 是 一 
个 包含 了 P: 中 所 有 不 大 于 + 的 元 素 的 有 序 表 。 

35.5-2 ”通过 对 i 进行 归纳 ， 证 明 不 等 式 (35. 26). 

35. 5-3 ”证明 不 等 式 (35. 29). 

35.5-4 设 :为 给 定 输入 列表 的 某 个 子 集 之 和 ， 如 何 修改 本 节 给 出 的 近似 模式 来 找 出 不 小 于 上 最 
小 值 的 良好 近似 ? 

35.5-5 ”修改 APPROX-SUBSET-SUM 过 程 ， 使 其 能 够 返回 S 的 一 个 各 元 素 之 和 为 =" 的 子 集 。 


思考 题 
35-1 (RAAB) 有 一 组 a 个 物体 ， 其 中 第 i 个 物体 的 大 小 是 s;， 其 满足 0<s<1。 我 们 希望 
把 所 有 物体 都 装 人 最 少 的 箱子 中 ， 这 些 箱子 为 单位 尺寸 大 小 ， 即 每 个 箱子 能 容纳 所 有 物体 
的 尺寸 之 和 不 大 于 1. 
a. 证 明 : 确定 最 少 所 需 箱子 个 数 的 问题 是 NP ERY. GRR: 对 子 集 和 问题 进行 归 约 。) 
首先 适合 (first-fit) 启 发 式 策略 依次 考察 每 个 物体 ， 将 其 放 人 能 容纳 它 的 第 一 个 箱子 。 设 


S 一 Ds 

TEAR 所 需 箱子 的 最 优 个 数 至 少 为 [S1。 

证 明 :, 首先 适合 启发 式 策略 至 多 使 一 个 箱子 不 到 半 满 。 

WEAR: 由 首先 适合 启发 式 策略 得 到 的 结果 用 到 的 箱子 数 绝 不 会 大 于 [2S1。 

证 明 : 首先 适合 启发 式 策略 具有 近似 比 2。 

. 给 出 首先 适合 启发 式 策略 的 一 个 有 效 实 现 ， 并 分 析 其 运行 时 间 。 

35-2 〈 最 大 团 规模 的 近似 ) G 一 (V， 已 ) 为 一 个 无 向 图 。 对 任意 >l, EX G% 为 无 向 图 (Vw ， 
E®), BP VS BV 中 顶点 的 所 有 有 序 & 元 组 构成 的 集合 ， 对 于 VO 中 的 两 个 顶点 《vi， 
Vas 8) 与 (wi，vwws，…，w)， 如 果 对 每 个 iOS, EAR G H, MA u SH 
点 Wi 邻接 或 者 U;— Wis RUC Cv, 9 Uzs … Unds CWis Wes “5 ww)) 属 于 E” o 
a 证明; G® 中 最 大 团 的 规模 等 于 G 中 最 大 团 规模 的 KE. 
b. 证 明 :i 如 果 有 一 个 寻找 最 大 规模 团 的 近似 算法 ， 其 近似 比 为 常数 ， 则 该 nie oe 

完全 多 项 式 时 间 的 近似 模式 。 
35-3 〈 带 权 集 合 履 盖 问题 ) 我 们 将 集合 覆盖 问题 加 以 一 般 化， 使 得 族 多 中 的 每 个 集合 Si 都 有 一 


kd 


ee 
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35-4 


35-5 
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个 权 值 w:， 而 一 个 覆盖 的 权 则 为 ae 。 我 们 希望 确定 一 个 具有 最 小 权 值 的 覆盖 。 


(35. 3 节 处 理 了 对 所 有 的 i，w; 二 1 的 情况 。) 

证 明 贪 心 集合 覆盖 启发 式 可 以 以 很 自然 的 方式 加 以 推广 ， 对 带 权 和 集合 覆盖 问题 的 任何 实例 
提供 一 个 近似 解 。 证 明 该 启发 式 有 一 个 近似 比 HA), KP d 为 任意 集合 S 的 最 大 规模 。 

(最 大 匹配 ) 在 一 个 无 向 图 C 中 ， 所 谓 匹 配 ， 是 指 这 样 的 一 组 边 ， 其 中 任意 两 条 边 都 不 和 

同一 顶点 关联 。 在 26. 3 节 中 ， 我 们 看 到 了 如 何在 一 个 二 分 图 中 寻找 最 大 匹配 。 在 本 题 中 ， 

我 们 要 来 考察 一 般 无 向 图 ( 即 不 必 是 二 分 图 的 无 向 图 ) 中 的 匹配 问题 。 

a. 极 大 匹配 (maximal matching) 是 指 不 是 任何 其 他 匹配 的 真子 集 的 匹配 。 通 过 给 出 一 个 无 
向 图 G 和 G 中 的 一 个 极 大 匹配 M( 它 不 是 一 个 最 大 匹配 )， 来 证 明 极 大 匹配 未 必 是 最 大 
匹配 。( 提 示 : 存在 只 包含 4 个 顶点 的 图 .) 

b. 考虑 一 个 无 向 图 G 二 (V，E)。 给 出 一 个 O(E) 时 间 的 贪心 算法 ， 用 于 寻找 G 中 的 极 
KEE. 

在 这 个 问题 中 ， 我 们 主要 关注 寻找 最 大 匹配 的 多 项 式 时 间 近 似 算 法 。 目 前 ， 这 方面 已 

知 的 最 大 匹配 最 快 算法 需要 超 线性 (但 是 多 项 式 ) 时 间 ， 这 里 的 近似 算法 以 线性 时 间 运 行 。 

读者 需要 证 明 (b) 中 用 于 寻找 极 大 匹配 的 线性 贪心 算法 是 有 关 最 大 匹配 的 一 个 2 近似 算法 。 

c 证 明 : G 的 一 个 最 大 匹配 的 规模 是 G 中 任何 顶点 覆盖 规模 的 下 界 。 

d. 考虑 G 二 (V，E) 中 的 一 个 极 大 匹配 M。 设 

T={vEV: MPR KRW VKH) 
对 于 G 中 不 在 集合 工 之 外 的 顶点 对 应 的 生成 子 图 ， 能 够 得 出 何 种 绪论 ? 

e 根据 (d) 得 出 这 样 的 结论 : 2| M| 是 CG 的 顶点 覆盖 的 规模 。 

f 利用 (ce) 和 (e)， 证 明 (b) 中 的 贪心 算法 是 有 关 最 大 匹配 的 一 个 2 近似 算法 。 

(并 行 机 调度 ) 在 并 行 机 调度 问题 (parallel machine scheduling) P, CA n WEM Jis J2; +t: 

J.， 其 中 每 一 项 作业 J, 都 与 一 个 非 负 的 处 理 时 间 pi 关联 。 男 外 ， 还 已 知 有 m 台 完 全 相同 

HELAS Mi» M2s ，…，A。 调度 规定 每 一 项 作业 Ji 在 哪 一 台 机 器 上 运行 ， 以 及 在 哪 一 个 

时 间 段 运行 。 每 一 项 作业 J 必须 在 一 台 机 器 M; 上 运行 连续 的 pi 个 时 间 单 位 ， 并 且 在 该 

时 间 段 里 ， 其 他 作业 都 不 能 在 M 上 运行 。 设 Ce 表示 作业 J 的 完成 时 间 ， 即 作业 J, 完成 

处 理 的 时 间 。 给 定 一 个 调度 后 ， 定 义 Cux 一 maxC; 为 该 调度 的 跨度 (makespan) 。 问 题 的 目 

标 是 找 出 一 个 调度 ， 使 其 跨度 最 小 。 

例如 ， 假 设 有 两 台 机 器 M MM, AA 4 ELS. Jo. Js. J 分 别 有 p52, p= 

12, pp=4, p=o。 那么 ， 一 种 可 能 的 调度 方案 就 是 在 机 器 M, E, 先 运 行 作 业 J. Fett 

作业 J2; 在 机 器 Me 上 ， 先 运行 作业 J,» 再 运行 作业 js 。 在 这 个 调度 中 ，QC 一 2，C 一 14. 

G 二 9，G4 一 5，Cm 一 14。 一 种 最 优 调度 方案 是 仅 在 机 器 M £3677 Jo. FFA TEDL AE Me 上 

运行 作业 J. Js 和 J。 在 这 个 调度 中 ,CG 二 2,， CG 二 12,，G 三 6，C 二 11，Cox 一 12。 

给 定 一 个 并 行 机 调度 问题 ， 用 Ci 表示 一 个 最 优 调度 的 跨度 。 

a. TEAR: 0 A 


Ca max pn 
b. 证 明 : 最 优 跨 度 至 少 与 平均 HE BH. 即 
二 ps 


M i<kEn 


假设 我 们 利用 以 下 贪心 算法 来 解决 并 行 机 调度 问题 : 每 当 一 台 机 器 空 闲 下 来 ， 就 将 任 
何 尚未 被 调度 的 作业 调度 到 该 机 船上 。 
c 编写 伪 代 码 来 实现 这 一 贪心 算法 。 你 给 出 的 算法 的 有 怎样 的 运行 时 间 ? 


35-6 


35-7 
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d 对 贪心 算法 所 返回 的 调度 ， 证 明 : 
Crax < > + max py 

并 得 出 结论 ， 此 算法 是 一 个 多 项 式 时 间 的 2 近似 算法 。 

(近似 最 大 生成 树 ) 设 G=(V， 忆 ) 是 一 个 无 向 图 ， 其 中 的 每 条 边 (u，v) EE 具有 不 同 的 权 

值 wlu，v)。 对 每 个 顶点 v€EV，, 设 max(v) 二 arg max {wlu，v)) 是 与 顶点 v 相 关联 的 最 大 

权 值 边 。 设 Se 一 (max(w) ，vEV} 表 示 与 各 个 顶点 相关 联 的 最 大 权 值 边 的 集合 ，T 表示 图 

G 的 最 大 权 值 生成 树 。 对 任意 的 边 集 E CEEL wE = 对 wu) 。 


给 出 一 个 至 少 包含 4 个 顶点 的 图 ， 使 其 满足 Se 一 Te。 

. 给 出 一 个 至 少 包含 4 个 顶点 的 图 ， 使 其 满足 Se 天 Te。 

证 明 : 对 任意 的 图 G, Sc&Te. 

, 证明: 对 任意 的 图 C，w 和 (Te) 之 ww(Sc)7/2。 

给 出 一 个 OCV 十 E) 时 间 算法 ， 用 于 计算 2 近似 的 最 大 生成 树 。 

(0-1 背包 问题 的 近似 算法 ) ”回顾 16.2 节 的 背包 问题 。 有 7 件 物 品 ， 其 中 第 i 个 物品 价值 

vi 元 ， 重 忆 磅 。 给 出 一 个 能 最 多 装 W 磅 物品 的 背包 。 假 定 w 至 多 为 W 磅 ， 且 物品 按照 价 

格 递 减 的 顺序 进行 标号 : uo Dx,. 

在 0-1 背包 问题 中 ， 我 们 希望 找到 一 个 物品 的 子 集 ， 使 这 个 子 集中 的 物品 在 总 重量 不 
超过 W 的 情况 下 ， 其 总 价值 最 大 。 可 分 背包 问题 和 0-1 背包 问题 类 似 ， 但 是 可 分 背包 问 
题 允 许 取 每 个 物品 的 一 部 分 ， 而 0-1 背包 问题 要 求 对 一 个 物体 ， 要么 全 取 ， 要 么 不 取 。 如 
果 取 物品 i 的 一 部 分 xz;， 0S7;Xl, 则 背包 将 增 重 TiWi» 总 价值 增加 TiVi o 我 们 的 目标 是 
找到 一 个 解决 0-1 背包 问题 的 多 项 式 时 间 的 2 近似 算法 。 

为 了 设计 一 个 多 项 式 时 间 算法 ， 可 以 考虑 0-1 背包 问题 的 限制 实例 。 给 定 一 个 0-148 
包 问 题 的 实例 I, X j=l, 2s 3, s, ny 通过 去 掉 物 品 1，2，…， A 并 要 求解 包含 
物品 六 物品 j 既 在 可 分 背包 问题 ， 又 在 0-1 背包 问题 中 )， 来 构造 限制 实例 五 。 在 实例 五 
中 ， 没 有 物品 被 移 除 。 对 于 实例 石 ， 设 P; 表 示 0-1 背包 问题 的 最 优 解 ，Q 表 示 可 分 背包 问 
题 的 最 优 解 。 

a. 证 明 : 0-1 背包 问题 中 实例 [的 最 优 解 一 定 是 集合 { 广 Pr > Dd} ASR. 

b. 证 明 : 通过 将 物品 7 加 入 到 背包 ， 然 后 使 用 贪心 算法 (在 该 算法 的 每 一 步 里 ， 在 集合 
GHL; 7 十 2，…， 放 中 选中 wv/w 值 最 大 的 物品 ， 在 背包 总 重量 不 超过 W 的 前 提 下 ， 
尽 可 能 多 地 装 该 物品 ) 可 以 找到 实例 对 应 可 分 背包 问题 的 一 个 最 优 解 Q,。 

c. HEH: ,通过 将 至 多 一 个 物品 的 一 部 分 装 入 背包， 可 以 构建 实例 1 对 应 可 分 背包 问题 的 最 
优 解 Qi 。 也 就 是 说 ， 除 了 一 个 可 能 被 部 分 装 进 背 包 里 的 物品 外 ， 其 他 物品 要 么 全 部 被 
装 进 背 包 ， 要 么 不 被 装 进 背 包 。 

d. 给 定 一 个 实例 到 对 应 可 分 背包 问题 的 最 优 解 Q ， 通 过 从 Q 中 删除 任意 的 部 分 装载 的 物品 来 
构造 解 RR。 设 wS) 表 示 在 一 个 解 S 中 物品 的 总 价值 。 证 明 vR) 宇 v(Q)/2 宇 v(Pj)/2。 

e 给 出 一 个 能 够 从 集合 {R ，R: ，…，R,} 返 回 一 个 最 大 值 解 的 多 项 式 时 间 算 法 。 证明 你 

的 算法 对 于 0-1 背包 问题 是 一 个 多 项 式 时 间 的 2 近似 算法 。 


pop 


oa © 


本 章 注 记 


有 些 解决 问题 的 方法 给 出 的 未 必 是 准确 解 ， 人 们 知道 这 些 方法 已 有 数 千 年 的 时 间 了 (例如 ， 


对 的 值 进行 近似 的 方法 )， 但 是 ， 近 似 算法 却 是 一 个 非常 新 的 概念 。Hochbaum[172] 认 为 ， 是 
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Garey, Graham 和 UllmanL128]， 还 有 Johnson 190j] 形 式 化 了 多 项 式 时 间 近 似 算法 这 一 概念 。 通 
1138] 常 认为 ， 第 一 个 这 样 的 算法 是 由 Graham[ 149j 给 出 的 。 

自从 这 项 早期 工作 以 来 ， 人 们 针对 这 类 问题 ， 提 出 了 数 以 千 计 的 近似 算法 ， 这 一 领域 中 也 出 
现 了 大 量 的 文献 。Ausiello 等 人 [26]、Hochbaum[ 172 ] 和 Vaziranil 345 | 等 人 编写 的 教材 是 比较 新 
的 ， 它 们 专门 讨论 了 近似 算法 方面 的 问题 ，Shmoys[315]、Klein 和 Young[207] 的 综述 也 涉及 了 
这 方面 的 内 容 。 其 他 几 本 教材 ， 如 Garey 和 JohnsonL 129 ]、Papadimit riou 和 Steiglitz[271], +b, 
涉及 了 许多 有 关 近 似 算 法 方面 的 内 容 。Lawler、Lenstra、Rinnooy Kan 和 Shmoys[225 ] 都 详尽 地 
讨论 了 旅行 商 问题 的 近似 算法 。 

根据 Papadimitriou 和 Steiglitz 的 介绍 ，APPROX-VERTEX-COVER 算法 是 由 F. Gavril 和 
M. Yannakakis 提出 的 。 顶 点 覆盖 问题 得 到 了 广泛 研究 (Hochbaum[172j] 列 出 了 这 一 问题 的 16 种 
不 同 的 近似 算法 )， 但 所 有 这 些 算法 的 近似 比 都 至 少 是 2 一 o(1)。 

算法 APPROX-TSP-TOUR 出 现在 Rosenkrantz, Stearns 和 Lewis 等 共同 撰写 的 论文 [298 | 
里 。Christofides 改进 了 这 一 算法 ， 给 出 了 一 个 满足 三 角 不 等 式 版 本 旅行 商 问题 的 3/2 近似 算法 。 
AroraL22j 和 MirchellL2574] 证 明了 如 果 各 个 点 位 于 欧 几 里 得 平面 上 ， 就 存在 一 个 多 项 式 时 间 的 近 
似 模 式 。 定 理 35. 3 源 自 于 Sahni 和 GanzalezL 301 ], 

对 解决 集合 覆盖 问题 的 贪心 启发 式 策略 的 分 析 源 目 于 Chvátal 68j 发 表 的 证 明 中 一 个 更 为 一 
般 的 结果 ; 本 章 中 给 出 的 基本 结果 源 自 于 JohnsonL190j 和 Lovász 238]. 

算法 APPROX-SUBSET-SUM 及 其 分 析 大 致 源 自 于 Ibarra 和 Kiml 187j] 给 出 的 背包 问题 及 子 
集 和 问题 的 有 关 近 似 算法 。 

思考 题 35-7 是 一 个 由 Bienstock 和 McCloskyl 45 提出 的 近似 背包 问题 的 一 个 更 一 般 结 果 的 组 
合 版 本 。 

MAX-3-CNF 可 满足 性 问题 的 随机 化 算法 来 自 JohnsonL190j 的 工作 。 带 权 顶 点 覆盖 算法 是 由 
Hochbaum[171j] 提 出 的 。35. 4 节 中 仅仅 是 初步 展示 了 随机 化 和 线性 规划 技术 在 设计 近似 算法 方 
面 的 强大 作用 。 这 两 种 思想 的 结合 产生 了 一 种 称 为 “随机 化 舍 入 ”(randomized rounding) 的 技术 。 
当 利 用 这 种 技术 来 解决 某 一 问题 时 ， 该 问题 首先 被 建 模 为 一 个 整数 线性 规划 。 接 着 ， 求解 其 经 过 
松弛 的 线性 规划 问题 ， 所 得 到 解 中 的 各 个 变量 被 解释 为 概率 。 这 些 概率 随即 被 用 来 帮助 导出 原 
问题 的 解 。 这 一 技术 首先 由 Raghavan 和 Thompson[290j] 使 用 ， 之 后 即 被 人 们 大 量 使 用 .。 
(Motwani, Naor 和 Raghavan[ 261] 给 出 了 一 个 综述 。) 在 近似 算法 方面 ,还 有 其 他 几 种 比较 突出 
的 新 思想 与 方法 ， 如 主 对 偶 (primal dual) 方 法 (Goemans 和 Williamson[ 135 给 出 了 有 关 这 一 技术 

1139] 的 综述 ) 、 寻 找 用 于 分 治 算法 的 稀疏 割 集 [229]、 半 定型 程序 设计 [134j 的 使 用 等 。 

第 34 章 的 “本 章 注 记 ” 中 提 到 过 ， 在 概率 可 检验 证 明 方 面 的 最 新 成 果 导 出 了 许多 问题 可 近似 性 

的 下 界 ， 也 包括 本 章 中 讨论 的 几 个 问题 ， 除 了 第 34 章 中 列 出 的 参考 文献 外 ，Arora 和 LundL23j] 也 
对 概率 可 检验 证 明 与 近似 各 种 问题 的 困难 性 的 关系 做 了 很 好 的 分 析 。 
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附录 : 数学 基础 知识 





”在 分 析 算法 时 ， 我 们 常常 需要 依赖 于 许多 数学 工具 。 这 些 工具 中 ， 有 
些 和 高 中 代数 一 样 简单 ， 而 有 些 对 读者 来 说 则 可 能 是 陌生 的 。 在 本 书 第 一 
部 分 中 ， 已 经 介绍 了 使 用 渐 近 记号 和 解决 递归 问题 的 方法 。 本 附录 是 分 析 
算法 所 需 的 若干 概念 和 方法 的 一 个 纲要 。 正 如 本 书 第 一 部 分 中 的 引言 所 提 
到 的 ， 在 阅读 本 书 之 前 ， 读 者 可 能 已 经 了 解 了 该 附录 中 大 部 分 材料 (虽然 
书 中 所 使 用 的 一 些 特定 的 符号 表示 可 能 和 读者 在 其 他 地 方 所 见 过 的 不 一 
样 )。 因 此 ， 读 者 可 将 附录 当做 参考 资料 来 使 用 。 不 过 ， 和 书 中 其 他 部 分 
一 样 ， 为 了 令 读者 可 以 提高 这 些 方面 的 能 力 ， 附 录 部 分 仍 提供 了 一 些 练习 
题 和 思考 题 。 

”附录 A 提供 了 计算 和 式 与 求 其 界 的 方法 。 这 些 方法 在 算法 分 析 中 常 
常会 用 到 。 虽 然 这 些 公式 在 几乎 任意 一 本 微 积分 教材 中 都 能 找 得 到 ， 但 是 
将 它们 汇总 在 一 处 可 以 更 便于 读者 使 用 。 

”附录 也 包含 了 关于 集合 论 、 关 系 、 函 数 、 图 和 树 的 基本 定义 和 符号 ， 
同时 也 给 出 了 这 些 数学 对 象 的 一 些 基本 性 质 。 

”附录 C 首先 介绍 了 计数 的 基本 原理 : 排列 、 组 合 和 其 他 一 些 相关 内 
容 。 其 余部 分 介绍 了 概率 论 中 的 一 些 基本 定义 与 性 质 。 本 书 中 绝 大 部 分 算 
法 在 分 析 过 程 中 并 不 要 求 概率 知识 ， 所 以 读者 可 以 在 初次 阅读 时 略 过 这 些 
章节 ， 甚 至 无 需 泛 读 。 附 录 C 的 组 织 结构 使 它 非常 适合 作为 参考 资料 使 
用 ， 当 读者 遇 到 想 要 深入 理解 的 概率 分 析 时 ， 再 进行 阅读 即 可 。 
附录 DD 定义 了 矩阵、 矩阵 上 的 运算 和 一 些 和 矩阵 的 基本 性 质 。 如 果 读 
者 学 习 过 线性 代数 课程 ， 很 可 能 已 经 见 过 此 处 大 部 分 材料 了 ， 但 是 附录 D 
对 于 查找 一 些 符号 和 定义 仍 很 有 帮助 。 


| 
| 
| 
| 
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附录 人 A | 
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求 M 


当 一 个 算法 包含 循环 控制 结构 时 ， 例 如 while 或 者 for 循环 ， 我 们 可 以 将 算法 的 运行 时 间 表 
示 为 每 一 次 执行 循环 体 所 花 时 间 之 和 。 例 如 ， 在 2. 2 节 中 ， 插 入 排序 的 第 ;次 迭代 在 最 坏 情况 下 
所 花 时 间 与 i 成 正比 。 通 过 累加 每 次 迭代 所 用 时 间 ， 可 以 获得 其 和 (或 称 级 数 ) 
> 
在 对 此 式 求 和 后 ， 我 们 得 到 了 这 个 算法 在 最 坏 情况 下 的 运行 时 间 界 是 9( 尼 )。 这 个 例子 阐释 了 读 
者 为 什么 应 知晓 如 何 求 和 及 其 界 。 
A. 1 节 列 出 了 求 和 的 几 个 基本 公式 ， 但 没有 提供 证 明 。A. 2 节 提供 了 几 个 用 于 求 和 式 界 的 实 


用 技巧 。 同 时 为 便于 阐释 算法 ，A. 2 节 给 出 了 A. 1 节 中 部 分 公式 的 证 明 。 读 者 可 以 很 容易 在 任 
何 一 本 微 积分 教材 中 找到 其 他 大 部 分 公式 的 证 明 。 


A. 1 求 和 公式 及 其 性 质 
给 定 一 个 数列 a az, o> ans P 是非 负 整数 ， 可 以 将 有 限 和 a 十 a 十 … 十 a 写作 
a 
若 ==0， 则 定义 该 和 式 的 值 为 0。 有限 级 数 的 值 总 是 良 定 的 ， 并 且 可 以 按 任意 顺序 对 级 数 中 的 项 


求 和 。 
给 定 一 个 无 限 数 列 Ais Az °°", 可 以 将 其 无 限 和 a, 十 as + +++ EE 





k=1 


即 


当 其 极限 不 存在 时 ， 该 级 数 发 散 ， 反 之 ， 该 级 数 收 伍 。 对 于 收敛 级 数 ， 不 能 随意 对 其 项 改变 求 和 
顺序 。 而 对 于 绝对 收敛 级 数 ( 若 对 于 级 数 2 ， 有 级 数 >, la, | 也 收敛 ， 则 称 其 为 绝对 收敛 级 


数 )， 则 可 以 改变 其 项 的 求 和 顺序 。 
线性 性 质 
对 于 任意 实数 c 和 任意 有 限 序 列 ai, Q29 ”CQn 和 by po ，…， bn» 有 
> (ea, +b) = cya, + Sb 
线性 性 质 对 于 无 限 收敛 级 数 同样 适用 。 
线性 性 质 可 以 用 来 对 项 中 包含 渐 近 记号 的 和 式 求 和 。 例 如 ， 
>) Of) = 8( >) FA) 
等 式 中 ， 左 边 的 @ 符号 作用 于 变量 &， 而 右边 的 @ 则 作用 于 2”。 这 种 处 理 方 法 同样 适用 于 无 限 收 
NR 


等 差 级 数 
和 式 
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3 二 ma 十]) (A.1) 
| = On) (A. 2) 
平方 和 与 立方 和 
平方 和 与 立方 和 的 求 和 公式 如 下 ; 
pe TE eee (A. 3) 
gta EOE (A. 4) 
3 k=0 4 
几何 级 数 
对 于 实数 zx 关 1， 和 式 
| Domitia + vee ni s 
RANUM ORFEO. 其 值 为 
“= Z 一 ] (A. 5) 
k=0 Z 一 ] 
当 和 是 无 限 的 上 |z| 二 1 时 ， 有 无 限 递减 几何 级 数 
> = 一 -一 (A. 6) 
调和 级 数 
H, =1+4 ++ 14 ia 十 二 一 一 Inn +001) (A.7) 
CA. 2 节 将 给 出 PT 
级 数 积分 与 微分 


通过 对 上 面 的 公式 进行 积分 或 微分 ， 可 以 得 到 其 他 新 的 公式 。 例 如 ， 通 过 对 无 限 递减 几何 级 
HCA. 6) 两 边 微 分 并 乘 以 <， 可 以 得 到 


21 kz = Ge (A. 8) 
其 中 ， | z | <]. 
裂 项 级 数 
对 于 任意 序列 aos ars s Ans A 
Sa) = A, — Ao CA. 9) 


IY as a s aa HY AE — 2H BE HAL BWR IY MII — Ue. ILMB AY (telescopes). 2K 
似 地 ， 
| Dan) = a —a, 
下 面 是 一 个 裂 项 和 的 例子 ， 考 虑 级 数 


| 


: 3 ETD 
因为 可 以 将 每 一 项 改写 成 
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] E PENE oe 
k(k+1) k k+l 
所 以 可 得 
一 1 ] E n—l 1 T 1 oi 
Lae ae Gs re a 
乘积 
有 限 积 aiaz…a, 可 以 写作 
Ila 
当 n==0 时 ， 定 义 积 的 值 为 1。 我 们 可 以 用 如 下 恒等式 将 一 个 含有 求 积 项 的 公式 转化 成 一 个 含 求 
和 项 的 公式 
1148 Iie( Ta) = > lea 
练习 


A11 RD) (24 一 1) 的 简化 形式 。 
xA. 1-2 ”利用 调和 级 数 证 明 ， D1/C2h—D) =In@/n) 十 OG) 。 

A.1-3 证 明 ， > 二 2 +2)/A—2) 在 |z| 二 1 条 件 下 成 立 。 
*A. 1-4 证 明 > =, 
*A.1-5 对 于 |z|<1， 计 算 D) R+ Da” 的 值 。 

A. 1-6 用 和 的 线性 性 质证 明 : DON = O( > AW). 

A.1-7 计算 乘积 II 。44 。 

*A.1-8 ”计算 乘积 a- 


A.2 ”确定 求 和 时 间 的 界 
有 许多 技巧 可 以 用 来 计算 描述 算法 运行 时 间 的 和 的 界 。 下 面 介 绍 其 中 几 个 最 常用 的 方法 。 
数学 归纳 法 


数学 归纳 法 是 求 级 数 什 的 最 基本 方法 。 以 证 明 等 差 级 数 > ,的 值 为 二 z(z 二 1) 为 例 。n 一 1 时 ， 


1149] 很 容易 验证 该 等 式 是 成 立 的 。 给 出 归纳 假设 : 该 等 式 对 n 成 立 。 此 时 ， 仅 需 证 明 其 对 于 n+] 也 成 
立 。 我 们 有 


ntl n 
Sp Det at = tant D Hat D =at Dat 
k=l k=l 2 2 


通常 我 们 不 需要 为 了 使 用 数学 归纳 法 而 去 猜测 和 的 准确 值 ， 而 可 以 利用 归纳 法 去 证 明和 的 
界 。 以 证 明 几何 级 数 > 3: 的 界 是 OC3") 为 例 。 更 确切 地 说 ， 证 明 对 于 茶 个 常数 c<，》) 3:<c3" 成 
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立 。 对 于 初始 条 件 二 0， 只 要 Sl, RADI =1<L 1 成 立 。 假 定 该 界 对 于 成 立 ， 则 需 证 
其 对 于 zl 也 成 立 。 只 要 (1/3 十 1/c) 过 1 或 者 等 价 地 ，c 之 3/2 成 立 ， 就 有 
| > D3 + a" 
eo (根据 归纳 假设 ) 
-Ge 
< 63" 


因此 ， 我 们 所 想 要 证 明 的 >) 3* = OC3") RE. 
在 用 渐 近 记号 通过 归纳 法 证 明 界 的 时 候 应 多 加 小 心 。 考 虑 下 面 这 个 错误 证 明 k= OC) 的 
例子 。 当 然 ， B= o0， 假定 该 界 对 于 成立， 我 们 需 证 明 其 对 于 ”十 1 也 成 立 ， 


Da = Yet Gt) = =O) 十 (2 十 1) 二 O(n 十 1) < 错误 


证 明 错 在 被 “大 0 记号 隐藏 的 “常数 "是 随 着 ”的 增长 而 增长 的 ， 不 是 恒定 不 变 的 。 此 处 ， 没 有 证 
明 存在 一 个 常数 对 于 所 有 n 均 适用 。 

确定 级 数 中 各 项 的 界 

有 时 ， 通 过 求 得 级 数 中 每 一 项 的 界 ， 我 们 可 以 获得 该 级 数 的 一 个 理想 的 上 界 。 并 且 ， 通 常用 级 数 
PEAR THER BLE 例如 ， 等 差 级 数 (A. 1) 的 一 个 可 快速 获得 的 上 界 是 


DEX Sin = n? 
通常 ， eles Se » WRS Armax = MAX A4 » 则 有 


Par < wo 
当 _ 个 级 数 能 以 几何 级 数 为 界 时 ， 用 级 数 中 最 大 的 项 作为 其 中 每 一 项 的 界 的 方法 并 不 理想 。 
给 定 级 数 2 a 假定 对 于 所 有 & 之 0， 有 ayaw 委 r， 其 中 O0<r<1 是 常数 。 因 为 aar, R 
们 可 DF TIRE LACE A 所 以 有 
ya < Saar = ay Spr dy y 


SAF BEAT IPR > (k/3*) 的 界 。 为 了 从 &=0 开始 求 和 ， 将 式 子 改写 作 > (CR+1)/3*) , 


第 一 项 (ou) 是 1/3， 并 且 相 邻 项 之 间 的 比值 (7) 是 
(十 2)/342 _ 1 .有 十 2 2 
(k+1)/3*" 3 k+1~ 3 


Rp, MARRS. AKA 








| 


Ak S k+ 1, 1 _ 
| Qu = 2 ga S3 [273 
在 应 用 该 方法 时 ， 常 常 出 现 一 个 错误 ， 在 证 明 相 邻 项 之 间 比 值 小 于 1 后 ， 即 假定 该 和 的 界 是 
几何 级 数 。 以 无 限 调和 级 数 为 例 ， 该 级 数 发 散 ， 这 是 因为 
| DE = lady 4 = Hime le 一 = 
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虽然 级 数 中 第 & 十 1 项 与 第 & 项 的 比值 是 &/(GR 二 1D)<1， 但 是 该 级 数 并 非 以 递减 几何 级 数 为 
界 。 要 想 用 几何 级 数 来 作为 一 个 级 数 的 界 ， 必 须要 保证 存在 常数 v*x<1， 使 任何 相 邻 项 的 比值 均 
不 超过 >。 在 调和 级 数 中 ， 因 为 比值 可 以 任意 地 接近 1， 所 以 不 存在 这 样 的 ~。 

分 割 求 和 

分 割 求 和 是 求 取 复杂 和 式 界 的 好 方法 。 其 方法 是 ， 首 先 将 一 个 级 数 按 下 标 范 围 划 分 后 表示 


为 两 个 或 多 个 级 数 的 和 ， 然 后 对 每 一 个 划分 出 的 级 数 分 别 求 界 。 以 求 等 差 级 数 2) 的 下 界 为 


例 ， 我 们 已 知 它 有 上 界 ww 。 用 其 最 小 项 来 作为 和 式 中 的 每 一 项 的 界 看 似 可 行 ， 但 是 因为 其 最 小 
项 是 1， 我 们 得 到 的 该 和 式 的 下 界 是 n 一 一 离 上 界 n MRE. 
我 们 可 以 首先 分 割 和 式 来 进一步 获得 一 个 更 好 的 下 界 。 为 简便 起 见 ， 不 妨 设 ”是 偶数 ， 则 有 


n n/2 n n/2 n 
2,k= 之 ,十 > k> 240+ >) (n/2) = (n/2)? = AC’) 
k=n/2+1 





因为 >= = OC(m?) ， 所 以 该 界 是 渐 近 紧 确 界 。 
对 于 源 自 算法 分 析 中 的 和 式 ， 通 常 可 以 将 和 式 分 割 ， 并 忽略 其 和 常数 个 起 始 项 。 一 般 情 况 下 ， 


该 技巧 适用 于 和 式 Da 中 每 一 项 a 均 独立 于 的 情况 。 之 后 ， 对 于 任意 常数 名 之 0， 有 


a= Sat Sa = D+ Yay 
这 是 因为 和 式 有 若干 个 常数 起 始 项 ， 上 且 其 数目 也 是 常数 。 接着 ， 我 们 可 以 利用 其 他 方法 来 求 
Da 的 界 。 这 一 技巧 同样 适用 于 无 限 和 。 例 如 ， 和 欲求 
21 9 
的 一 个 渐 近 上 界 ， 在 & 宇 3 时 ， 观 察 其 相 邻 项 比值 为 
+D? _ (R+1? — 8 
kh? /2* 2k 一 9 
又 因为 第 一 个 和 式 的 项 数目 是 常数 ， 且 第 二 个 和 式 是 一 个 递减 几何 级 数 ， 所 以 可 以 将 和 式 分 割 为 
DE“ Bete ESE at P LO 
分 割 求 和 法 可 以 帮助 我 们 确定 更 难 的 和 式 的 渐 近 界 。 人 例如， 我 们 可 以 确定 调和 级 数 (A.7) 上 
的 一 个 界 OC Ign): 





ail 
H = 三 
n 2 k 


我 们 将 下 标 范 围 从 1 到 nn 分割 成 [lgnj 十 1 段 ， 并 令 每 一 段 上 界 为 1。 对 于 i=0, 1, +, gnl. 
第 i 段 包含 自 1/2 起 到 1/2° AAS 1/2" ) 的 项 。 最 后 一 段 可 能 包含 原 调和 级 数 中 没有 的 项 . 
因此 有 


六 = >/1 委 lgz 十 1 (A. 10， 
通过 积分 求 和 的 近似 

当 一 个 和 式 的 形式 为 DSO 时 ， 其 中 大 多 是 单调 递增 函数 ， 我 们 可 以 用 积分 求 其 近似 值 

| f(D dr < SIF) <| fade (A. 11; 

图 A-1 直观 地 表示 出 这 一 近似 方法 的 理由 及 含义 。 图 中 将 和 式 表示 为 若干 长 方形 区 域 的 面积 . 
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而 积分 是 曲线 下 方 的 阴影 区 域 。 当 fC) 是 单调 递减 函数 时 ， 我 们 可 以 用 相似 的 方法 来 求 渐 
近 界 


n 


" fade DR S| fade (A. 12) 


k=m 





Ca) 





m-l m m+l m+2 wave coe n-2 n-1 n n+l 


(b) 


Al 积分 方法 求 IG 的 近似 值 。 图 中 每 个 矩形 内 标明 了 该 矩形 的 面积 ， 且 矩形 总 面积 代表 和 


k=m 


的 值 。 曲 线 下 方 的 阴影 区 域 代表 积分 近似 值 。 通 过 比较 (a) 中 的 这 两 个 面积 ， 可 得 |” fode 
< 》 7(D， 并 且 在 将 这 些 长 方形 向 右 移动 一 个 单位 后 , 由 (b) 得 DSO < | fode 
k=m k=m m 


积分 近似 公式 (A. 12) 给 出 了 第 ”个 调和 数 的 一 个 紧 估 计 。 对 于 下 界 ， 可 得 





nt 
1 Lo E (A. 13) 
| PE 1 并 
上 界 ， 有 不 等 式 nsa 
| oy de (da 
: 21% < Re In n 1155 


FH SBIR 


(A. 14) 
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2 t <Inn+1 
练习 
A.2-1 证 明 : 1/ 有 常数 上 界 。 
A. 2-2 求 下 面 和 式 的 一 个 渐 近 上 界 ， 
5 [n/2*] 

A. 2-3 通过 分 割 求 和 的 方式 证 明 第 ”个 调和 数 是 Q(lg n). 
A. 2-4 用 积分 方法 求 DE 的 近似 值 
A.2-5 为 什么 我 们 不 在 D 1 人 上 使 用 积分 近似 (公式 A. 12) 来 获得 第 个 调和 数 的 上 界 ? 
思考 题 
A-1 《确定 和 的 界 ) 请 给 出 下 面 和 式 的 渐 近 紧 确 界 。 假 设 之 0 与 s20 均 为 常数 。 

a. ye 

1156 b. > le 

i > Fle 

附录 注 记 


Knuth[ 209] 为 本 章 中 的 材料 提供 了 很 好 的 参考 。 读 者 可 以 在 任何 一 本 不 错 的 微 积分 书籍 中 


找到 级 数 的 基本 性 质 ， 例 如 Apostol[L18j] 或 者 Thomas 等 人 [334j 。 
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Introduction to Algorithms, Third Edition 


集合 等 离散 数学 内 容 


本 书 许多 章节 中 的 内 容 都 涉及 了 离散 数学 相关 内 容 。 该 部 分 附录 更 加 全 面 地 回顾 了 集合 、 
关系 、 函 数 、 图 和 树 的 一 些 符号 、 定 义 及 基本 性 质 。 如 果 谈 者 已 经 对 这 些 内 容 十 分 熟悉 ， 那 么 可 
以 粗略 阅读 这 一 部 分 内 容 。 


B. 1 集合 


集合 是 由 不 同 对 象 聚 集 而 成 的 一 个 整体 ， 称 其 中 的 对 象 为 成 员 或 元 素 。 如 果 一 个 对 和 象 工 是 
集合 S 的 一 个 成 员 ， 则 写作 zES( 读 作 “z 是 S 的 成 员 ”， 或 更 简单 地 ,“Zz 在 S 内 ”)。 如 果 z 不 是 
S 的 中 的 成 员 ， 则 写作 x S。 我 们 可 以 显 式 地 在 括号 内 列 出 一 个 集合 的 所 有 元 素来 描述 该 集合 。 
例如 ， 可 以 用 S$=(1，2，3} 表 示 一 个 只 包含 数字 1、2 和 3 的 集合 。 因 为 2 是 集合 S 的 一 个 成 
员 ， 所 以 可 写 为 2ES。 因 为 4 不 是 S 的 一 个 成 员 ， 所 以 写 为 4 S。 集 合 中 不 能 包含 多 个 相同 的 
元 素 ” ， 并 且 元 素 之 间 是 无 序 的 。 当 两 个 集合 4A 和 B 包含 相同 的 元 素 时 ， 称 集合 A 与 B 是 相等 
的 ， 写 作 A=B。 例 如 {(1，2，3，1)} 王 (1，2，3} 一 {3，2，1)。 

我 们 采用 特殊 的 符号 来 表示 下 面 几 个 常见 的 集合 : 

。 名 表示 空 集合 ， 即 集合 中 不 包含 任何 元 素 。 

。 ZRmBBMRA, MRA, —2, —1, 0, 1, 2, +}, 

。 R 表示 实数 集合 。 

。 N 表示 自然 数 集合 ， 即 集合 {0，1，2，…}9 。 

如 果 集 合 8B 中 包含 集合 A 中 所 有 元 素 ， 即 ， 如 果 A 蕴涵 B， 则 称 A 是 B 的 一 个 子 集 ， 写 作 
ACB, 如 果 ACB 且 A 关 B， 则 称 集 合 和 A 是 B 的 一 个 真子 集 ， 写 作 ASB, ABEER EHC” 
符号 来 表示 普通 的 子 集 关系 ， 而 不 是 真子 集 关 系 。) 对 于 任意 集合 A， 有 ASA。 对 于 两 个 集合 A 
和 B，A==B EHA ASB H BCA。 对 于 三 个 集合 A、B 和 C， MRACBABCC, WF 
ACC。 对 于 任意 集合 A， 有 名 导 A。 

有 了 时， 我 们 用 一 些 集合 去 定义 其 他 一 些 集合 。 给 定 一 个 集合 A， 可 以 定义 集合 BCA， 并 通 
过 说 明 B 中 元 素 的 特性 将 其 元 素 区 分 开 来 。 例 如 ， 我 们 定义 偶数 集合 为 {zx: rEZ H zx/2 为 整 
数 }。 这 种 表示 方式 中 的 冒号 读 作 “满足 。”( 一 些 作者 使 用 竖 线 而 不 是 冒号 .) 

给 定 两 个 集合 A 和 B， 我 们 也 可 以 应 用 集合 操作 来 定义 新 集合 : 

。 集合 A 和 B 的 交 是 集合 

AMB= {x:xEAHzrEB) 

。 集合 A 和 B 的 并 是 集合 

AU B=({2z:r EC AR zx €B} 
。 集合 A 和 的 差 是 集合 
A—B= {x:zTEAHzrEB) 





集合 操作 遵循 下 列 法 则 
rt 
ANDG=B 


O ”可 以 包含 多 个 相同 元 素 的 集合 变 体 称 为 多 重 集 。 
日 一些 作者 将 自然 数 集 定义 为 从 1 开始 而 不 是 0。 现 代 的 趋势 一 般 是 从 0 开始 。 
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AUSL=A 
PFE: 
ANASA 
AUA=A 
交换 律 : 
Af\B=B()\A 
1159 AUB=BUA 
结合 律 
AN(BIVO=ANBI\C 
AUCUQO=AUBUC 
分 配 律 . 
Af) (BUQO=ANBUANO 
AU(BI)O =AUBNAUOQ (B. 1) 
吸收 律 : 
Af\(AUB=A 
AUCAI)B) =A 
德 ， 摩根 定律 : 
A— (Bf) C) = (A-B) UCA 一 O) 
A—(BU OQ) = (A-—B) 门 (CA 一 CO) (B. 2) 
图 B-1 用 维 恩 图 描述 了 德 。 摩根 定律 中 的 第 一 条 定律 。 维 恩 图 是 一 种 利用 平面 内 区 域 表示 和 集 
合 的 图 。 





A 一 (BNC) = A-(BNC) = (A-B) U (A-C) 
Bl 描绘 德 。 摩 根 定律 中 第 一 条 的 维 恩 图 。 集合 A、B 和 C 各 自 表 示 为 一 个 圆圈 
通常 ， 我 们 考虑 的 所 有 集合 都 是 某 个 更 大 集合 U 的 子 集 ， 称 集合 口 为 全集 。 例 如 ， 当 考虑 


多 个 仅 由 整数 组 成 的 集合 时 ， 整 数 集 ZZ 就 是 一 个 合适 的 全 集 。 给 定 一 个 全 集 U， 定 义 集合 A 的 
thy A=U—A={z: XEU 且 zx €A}. 对 于 任意 集合 ACU, AMP: 





A=A 
Af\A=@ 
AUA=U 
我 们 可 以 将 德 。 摩根 定律 (公式 (B. 2)) 用 集合 补 的 形式 表示 。 对 于 任意 两 个 集合 B, CCU, Æ 
BNC=BUC 
BUC=BNC 
如 果 两 个 集合 间 不 存在 共有 元 素 ， 即 A 站 B= 名， 则 称 集合 A 与 集合 B 是 不 相交 的 。 


如 果 集 合 满足 
。 这 些 子 集 互 不 相交 ， 即 S;:，S;€8 与 iA; AWS NSD. 
。 它们 的 并 为 S， 即 

s=(J 5, 


SES 
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则 称 集合 S 的 非 空 子 集 构成 的 集合 == ( S, ) 构 成 S 的 一 个 划分 。 换 句 话 说， 如果 如 中 的 每 个 
元 素 出 现 且 仅 出 现在 一 个 S;E# 中 ， 则 构成 了 S 的 一 个 划分 。 
集合 中 的 元 素数 目 称 为 集合 的 基数 (或 大 小 )， 表 示 为 | S| 。 如 果 两 个 集合 内 的 元 素 可 以 一 一 
对 应 ， 则 称 这 两 个 集合 基数 相同 。 空 集 的 基数 是 | 名 | 二 0。 如 果 一 个 集合 的 基数 是 自然 数 ， 则 称 
这 个 集合 是 有 限 的 ; 否则， 是 无 限 的 。 若 一 个 无 限 集合 可 以 与 自然 数 集合 N 构成 一 一 对 应 ， 则 
该 集合 是 可 数 无 限 的 ; 否则 是 不 可 数 的 。 例 如 ， 整 数 集 忆 是 可 数 的 ， 而 实数 集 及 是 不 可 数 的 。 
对 于 两 个 有 限 集合 A 和 B， 有 等 式 
[AU B| = |AI+1B]—|AN BI (B. 3) 
从 中 可 以 得 出 
|AUB| <|A|+ |B 
MRED A 5B 是 不 相交 的 , MIANB|=0, RUIAUB|=|A|+/Bl. mR ASB, 
则 |4| 科 |3 引 |. 
一 个 包含 nn 个 元 素 的 有 限 集 称 为 n 集合 。 称 1 集合 为 单元 集 。 如 果 一 个 集合 的 子 集 包含 & 个 
TR, WREAK k FR. 
集合 S 的 所 有 子 集 构 成 的 集合 (包含 空 集 和 集合 S 自身 ) 可 以 表示 为 23; 称 2 为 S 的 宕 集 。 
pim, 2° =(B, {a}, {b}, (a, b}}. ARSE S WARS MSR 2151 ( 见 练习 B. 1-5), 
我 们 有 时 关心 内 部 元 素 有 序 的 类 集合 状 结构 。 两 个 元 素 a 和 2 构成 的 有 序 对 可 以 表示 为 
(a，5b)， 其 正式 定义 为 (a,， D=({a, {a, b}}. MU, AFM, DHA, ORBAN. 
SREASBNARILE, RRAAXB, BA-TRRAAPRA, 第 二 个 元 素 为 BPR 
员 的 所 有 i 更 为 正式 的 定义 是 
AXB= {(a,b):a € A Hb € B} 
lin, (a, bs X{a, b, ch={(a, a), (a, b), (a, c), (b, a), (b, b), (b, 2). SAMBE 
有 限 集 合 时 ， 其 笛 卡 儿 积 的 基数 是 
| |AXB| = |A| + |B| (B. 4) 
n 个 集合 Al， Az, a. A, 的 笛 卡 儿 积 是 一 组 n 元 组 的 集合 
© ÅA XA Ke XA, = ((a,a 9G) :a E Aisi = 1,2,.%,n) 
当 所 有 集合 都 是 有 限 集 时 ， 其 基数 为 
1AXAX…XA| = |A | ¢ |A |e] A, l 
我 们 将 单一 集合 A 上 的 nn 重 箔 卡 儿 积 表示 为 集合 
| A" =AXAX XA 
当 A 为 有 限 集 时 ， 其 基数 为 |4"| = |A|"。 我们 也 可 以 将 一 个 nn 元 组 看 做 一 个 长 度 为 n 的 有 限 序 
列 ( 见 B. 3 节 )。 


练习 

B. 1-1 用 维 恩 图 来 描述 分 配 律 中 第 一 条 定律 (B. 1). 

B. 1-2 ENE ERA RAH RAHI OC 摩根 定律 
4na4An…na=4U4U…UA4， 

AUAU…UA,=ANA,N-:…NA, 
*B. 1-3 证 明 等 式 (B DHE, MERRE: 
|A; U A Us UAL =A A REA 
| — |4 N Ae | — eel (所 有 对 ) 

+ A, A:NA|+: (所 有 三 元 组 ) 


1161 


1162 


682 。 第 八 部 分 WR: 数学 基础 知识 


1163 


1164 


+D JA NA N= 1) An! 


B. 1-4 WH: 奇 自 然 数 集合 是 可 数 的 。 
B.1-5 证明 ， 对 于 任意 有 限 集 S$， 其 冠 集 2s 有 215| 个 元 素 ( 即 S 存 在 2|s| 个 不 同 的 子 集 )。 
B. 1-6 ”请 通过 扩展 有 序 对 的 集合 论 定义 来 给 出 ”元 组 的 一 个 归纳 定义 。 


B.2 关系 


集合 A 与 B 上 的 二 元 关系 R 是 笛 卡 儿 积 AXB 的 子 集 。(a，5b) ER 有 时 写作 a。 Rb., W RË 
集合 A 上 的 一 个 二 元 关系 ， 意 味 着 RR 是 A XA 的 子 集 。 例 如 ， 自 然 数 集合 上 的 小 于 关系 是 集合 
{(a, b): a, bEN H a<b}. 集合 A, ’ Az» D A, 上 的 72 元 关系 是 Al X A, > XA, 的 一 个 
子 集 。 

如 果 对 于 所 有 aEA，aRa， 则 二 元 关系 RCAXA 是 自 反 的 。 例 如 ,“=” 和 “二 ”在 自然 数 
集 N 上 是 自 反 的 ， 但是“ 二” 则 不 是 。 肴 对 于 所 有 a，bE A 均 满 足 a Rb 蕴涵 5 R a， 则 关系 尺 是 
对 称 的 。 例 如 ,，“==” 是 对 称 的 ， BECAS WERE. ENTA a，65，cE A 均 满足 ，a Rb 
HoRc 蕴涵 a Rc， 则 关系 尺 是 可 传递 的 。 例 如 ， 关 系 “ 二 ”,，“ 夺 ”和 “二” 均 可 传递 。 因 为 3R4 
且 4 R 5 不 能 蕴涵 3 R 5， 所 以 关系 R={(a, b): a，bEN 且 a 二 6 一 1) 不 可 传递 。 

同时 具有 自 反 性 、 对 称 性 和 传递 性 的 关系 是 等 价 关 系 。 例 如 ,， “= 二 ”是 自然 数 上 的 等 价 关 系 、 
而 “过” 则 不 是 。 如 果 R 是 集合 A 上 的 等 价 关 系 ， 那 么 对 于 aEA，a 的 等 价 类 是 集合 [a]== {bE 
A: aRb}， 即 所 有 等 价 于 a 的 元 素 的 集合 。 例 如 ， 关 系 R=({(a, b): a, bEN H atb BRR, 
是 一 个 等 价 关 系 ， 这 是 因为 a 十 a 是 偶数 ( 目 反 性 ) 与 a 十 b 是 偶数 蕴涵 5 十 a 是 偶数 (对 称 性 )， 且 
a 十 6 是 偶数 与 5 十 c 是 偶数 蕴涵 a 十 c 是 偶数 (传递 性 )。4 的 等 价 类 是 L4j=(0，2，4，6，…}， 而 
3 的 等 价 类 是 [3 二 {1，3，5，7，…})。 等 价 类 的 一 个 基本 定理 如 下 。 

定理 B. 1( 等 价 关 系 与 划分 对 应 ) 集合 A 上 的 任意 等 价 关系 尺 的 等 价 类 构成 了 集合 A 的 一 
个 划分 ， 同 时 任意 集合 A 的 一 个 划分 决定 了 A 上 的 一 个 等 价 关 系 ， 而 划分 中 的 集合 即 为 等 价 类 。 

证 明 ”对 于 证 明 的 第 一 部 分 ， 我们 必须 要 证 明 R 的 等 价 类 是 非 空 的 、 互 不 相交 的 集合 ， 
日 其 并 集 为 A。 因 为 RR 是 自 反 的 ，a€E[aj]， 所 以 等 价 类 是 非 空 的 ; 不 仅 如 此 ， 因 为 每 个 元 素 a€ 
A 分 别 属于 等 价 类 [a]， 其 集合 并 为 A。 现 在 仍 需 证 明 等 价 类 之 间 互 不 相交 ， 即 寿 等 价 类 [aj 和 
Lo 之 间 存 在 共有 元 素 c<， 则 其 实际 上 是 同一 集合 。 假 定 aR c 且 65 Rc。 由 对 称 性 可 知 ，cR65。 进 
一 步 由 传递 性 可 得 < 及 8。 对 于 任意 zxELaj， 有 zxzRa。 由 传递 性 可 得 zR2， 因 此 有 [LajSLo。 
同 理 可 证 [5]CLaj]， 因 而 La]==[6j。 

对 于 证 明 第 二 部 分 ， 令 尺 二 {A;) 是 集合 A 的 一 个 划分 ， 并 定义 R=((a, bd): 存在 i 满足 a€ A 
且 bE€ A;}。 我 们 断言 R 是 集合 A 上 的 一 个 等 价 关 系 。 因 为 a€ A; 蕴涵 a Ra， 自 反 性 成 立 。 当 
a Rb 时 ， 有 a 和 5 在 同一 集合 A; 内， 所 以 有 65Ra， 由 此 ， 对 称 性 成 立 。 如 果 aR6。 且 565Rc， 则 三 
个 元 素 在 同一 个 集合 A; 内 ， 因 此 有 aRc， 传递 性 成 立 。 为 了 直观 地 了 解 划 分 中 的 集合 是 尺 中 的 等 
价 类 ， 观 察 下 面 这 个 事实 : WF aCA, M xELaj 蕴 涵 xEA;， 并 且 EA, 蕴涵 XxELaj。 

条 集合 A 上 的 一 个 二 元 关系 满足 

aRbHbRa Bwa=b 

则 该 二 元 关系 是 反对 称 的 。 

例如 ， 因 为 ab H ba 蕴涵 一 2， 所 以 目 然 数 上 的 “ 委 ?关系 是 反对 称 的 。 满 足 自 反 性 、 反 
对 称 性 和 传递 性 的 关系 是 一 个 偏 序 ， 并 且 ， 我 们 称 定 义 了 偏 序 的 集合 为 偏 序 集 。 例 如 ,， “后代” 关 
系 是 一 个 定义 在 所 有 人 构成 的 集合 上 的 偏 序 关系 (如 果 将 每 个 人 看 做 其 自身 的 后 代 ) 。 
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在 偏 序 关系 集合 A 中 ， 可 能 不 存在 单一 “最 大 ”元 素 a， 满 足 对 于 所 有 bE A， 有 6bRa。 相 反 ， 
集合 可 能 含有 多 个 极 大 元 素 a, 满足 不 存在 OCA 且 6 关 a， 使 得 a R65。 以 一 些 大 小 不 同 的 盒子 为 
例 ， 在 这 些 盒子 中 可 能 存在 多 个 极 大 的 盒子 ， 其 中 ,“ 极 大 ”的 意思 是 无 法 被 别 的 盒子 装 下 ， 然 而 
这 些 盒子 中 可 能 不 存在 一 个 能 装 下 其 他 任何 盒子 的 “最 大 ”盒子 。 

称 集合 A 上 的 关系 尺 是 一 个 全 关系 ， 需 满足 对 于 所 有 a，pEA， 有 aRD 或 者 Ra( 或 者 两 
SAA), MSA A 中 每 对 元 素 都 由 RR 定义 了 其 关系 。 如 果 一 个 偏 序 关 系 同 时 也 是 一 个 全 关系 ， 
则 称 之 为 全 序 或 者 线性 序 。 例 如 ,“ 委 ?关系 是 自然 数 集 上 的 一 个 全 序 关系 ， 但 是 “后 代 ? 关 系 则 不 
是 所 有 人 所 构成 集合 上 的 全 序 关 系 ， 因 为 存在 两 个 人 互相 均 不 为 对 方 后 代 的 情况 。 如 果 一 个 全 
关系 具有 传递 性 ， 则 称 之 为 全 预 序 (total preorder) 。 全 预 序 不 要 求 具 备 自 反 性 和 非 对 称 性 。 


练习 

B.2-1 WEH: 集合 Z 的 所 有 子 集 上 的 子 集 关 系 “ 导 ”是 偏 序 关 系 ， 但 不 是 全 序 关 系 。 

B.2-2 WH: 对 于 任意 正 整 数 n， 关 系 “ 模 等 价 ” 是 整数 集 上 的 等 价 关 系 。( 如 果 存 在 一 个 整数 
9， 使 得 a—b=qn, WA a=bUmod n) 。) 这 个 关系 将 整数 划分 为 哪些 等 价 类 ? 

B.2-3 给 出 符合 如 下 条 件 的 关系 的 例子 : 
a 具有 自 反 性 和 对 称 性 ， 但 不 具有 传递 性 。 
b 具有 自 反 性 和 传递 性 ， 但 不 具有 对 称 性 。 
c 具有 对 称 性 和 传递 性 ， 但 不 具有 自 反 性 。 

B.2-4 设 S 是 一 个 有 限 集 ，R 是 SxS 上 的 一 个 等 价 关 系 。 证 明 ， 如 果 尺 同时 有 反对 称 性 ， 则 
S 关于 R 划分 出 的 等 价 类 是 单元 集 。 

B.2-5 Narcissus 教授 声称 : WRR RHA X 称 性 和 传递 性 ， ， 则 其 也 具有 自 反 性 。 他 给 出 了 如 
下 证 明 : 由 对 称 性 ，a R 5b 蕴涵 5 R a， 因 此， 由 传递 性 可 得 a R a， 自 反 性 得 证 。 请 问 
Narcissus 教授 的 证 明正 确 吗 ? 


B.3 函数 
给 定 两 个 集合 A 和 B， 称 函数 f 是 A 和 B 上 的 二 元 关系 ， 需 满足 对 于 所 有 aEA， 有 且 仅 有 
一 个 bEB 使 (a,，5b)Ef。 这 里 ， 称 集合 A 为 f 的 定义 域 , 集合 B 为 f 的 陪 域 。 有 时 可 以 将 函数 
写 为 f: A 一 B; 如 果 (4a，6b)E€ f， 则 因为 6 的 值 由 a 的 选择 唯一 确定 ， 所 以 可 以 写 为 6= fa). 
从 直观 上 看 ， 函 数 f 将 为 A 中 的 每 个 元 素 指派 B 中 的 一 个 元 素 。A 中 不 存在 某 个 元 素 被 指派 
了 B 中 两 个 不 同 元 素 , 但 是 B 中 同一 个 元 素 是 可 以 指派 给 多 个 A 中 的 元 素 的 。 例 如 ， 二 元 关系 
f= {(a,b):a,b E N E b =a mod 2} 
是 函数 f: N->{(0，1}， 因 为 对 于 每 个 自然 数 a， 有 且 仅 有 一 个 值 5€ (0, 1) WE 6 二 amod2。 例 
mw, O= fC), 1=fQ), 0= F(2) 等 。 与 此 相反 ， 二 元 关系 
= {(a,b):a,b EN 有 目 a 十 6 是 偶数 ) 
PERZ. LEAX, DMA, DIJE g 中 ， 因 此 对 于 a 二 1， 存 在 不 止 一 个 5 满足 (a, DEg. 
给 定 一 个 函数 Sf: A 一 B， 如 果 5b 二 f(a)， 则 称 a 是 f 的 自 变量 , 5 是 f 在 a 处 的 值 。 我 们 可 
以 通过 给 出 定义 域 中 每 个 元 素 的 函数 值 来 定义 函数 。 例 如 ， 可 以 定义 f(n) 二 2n，nE N。 其 意思 
是 fH{(n, 2n): nEN}. MARAT OM f 和 g 有 相同 的 定义 域 和 陪 域 ， 且 对 于 定义 域 中 所 有 a, 
有 fla) 二 g(a)， 则 这 两 个 函数 是 相等 的 。 
一 个 长 度 为 的 有 限 序列 是 一 个 函数 f, 其 定义 域 为 n 个 整数 构成 的 集合 {0，1，…，n 一 1)。 
我 们 常常 用 列 出 其 值 (f(0)，f(1)，…，f(n 一 1)) 的 方式 来 表示 该 有 限 序列 。 无 限 序 列 是 一 个 函 


日 ”准确 地 说 ,为 了 让 “可 以 装 入 ”关系 是 偏 序 ， 和 需要 将 盒子 看 做 可 以 装 人 其 自身 。 
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数 ， 其 定义 域 是 自然 数 集合 N。 例 如 ， 递 归 定 义 (3. 22) 的 斐 波 那 契 数列 是 一 个 无 限 序 列 (0，1，1， 
2，3，5，8，13，21，…)。 

当 一 个 函数 的 定义 域 是 笛 卡 儿 积 时 ， 在 书写 过 程 中 通常 省 略 掉 f 的 自 变量 外 那 层 额外 的 括 
号 。 举 例 来 说 ， 对 于 函数 Sf: A XA:Xx…XA, 一 B， 通 党 写作 b=fla, a, os a), MASE 
b= f. Clais azs "s a,))o AEF, 虽然 实际 上 函数 f 的 (单一 ) 自 变量 是 nn 元 组 (al，as，…，a,)， 
但 我 们 也 称 每 个 a; 为 函数 太 的 一 个 自 变量 。 

WR f: 4A->~B 是 一 个 函数 且 5 二 f(a)， 则 也 称 5 是 f 下 a 的 像 。 定 义 集 合 ASA 在 和 下 的 像 为 

f(A’) = {b € B:b= fla) a € A’} 
f 的 值 域 是 其 定义 域 的 像 ， 即 f(A)。 例 如 ， 由 Fo) 三 22 ELARA S: NN 的 值 域 是 SCN) = 
{m; m 二 2n，nE N}， 即 非 负 偶数 集合 。 

如 果 一 个 函数 的 值 域 与 其 陪 域 相同 ， 则 该 函数 是 满 射 。 例 如 ， 函 数 f(n)= 二 [mn/2| 是 一 个 从 N 到 N 
的 满 射 函数 ， 因 为 N 中 的 每 个 元 素 都 是 对 于 某 个 自 变量 的 值 。 与 之 相反 的 是 ，f(n) 二 2n 则 不 是 从 NN 
到 对 的 满 射 ， 因 为 不 存在 使 f 的 值 为 3 的 自 变量 。 不 过 S =n 是 一 个 从 自然 数 集 到 偶数 集 的 满 射 。 
WI S: A 一 B 有 时 被 描述 为 将 A 映射 在 B 之 上 。 称 一 个 函数 是 映 上 的 意味 着 它 是 满 射 。 

如 果 函 数 f: A 一 B 对 于 不 同 的 自 变量 产生 不 同 的 值 ， 即 aAa 蕴涵 f(a) 关 fla')， 则 函数 f 
是 单 射 的 。 例 如 ， 函 数 f(n) 二 2n 是 从 N 到 NN 的 一 个 单 射 函数 ， 因 为 每 个 偶数 5 最 多 只 能 是 下 
定义 域内 一 个 元 素 的 像 ， 即 6/2。 函 数 fo) 二 Ln/2j] 不 是 单 射 的 ， 因 为 值 1 可 以 由 两 个 自 变量 产 
生 : 2 和 3。 单 射 函数 有 时 也 称 为 一 对 一 函数 。 

如 果 函 数 f: A 一 B 既是 单 射 又 是 满 射 ， 则 它 是 双 射 。 例 如 ， 函 数 f(n) =(—-1)" [272j 是 一 
个 从 NN 到 Zz 的 双 射 : 

O> 0 
1 一 一 1 
2> 1 
3 一 一 2 
4 一 2 


因为 Z 中 不 存在 元 素 是 N 中 多 于 一 个 元 素 的 像 ， 所 以 该 函数 是 单 射 。 同 时 因为 乙 中 的 每 个 元 素 
都 是 N 中 某 个 元 素 的 像 ， 所 以 该 函数 也 是 满 射 的 。 因 此 ， 该 函数 是 双 射 的 。 双 射 有 时 也 称 为 一 
一 对 应 ， 因 为 其 将 定义 域 中 的 元 素 和 值 域 中 的 元 素 进 行 了 不 重复 的 配对 。 从 集合 A 到 其 自身 的 
双 射 也 称 为 置换 。 
当 一 个 函数 f 是 双 射 时 ， 定 义 其 逆 广 :为 

f) =a%4%bk4 fla =b 

Hin, KA fn) =(—1)" [n/2 BE 
i 2m #m > 0 
a 一 2m 一 ] #m<0 


练习 
B.3-1 令 A 和 B 是 有 限 集合 ，f: A 一 B 是 一 个 函数 ， 证 明 : 
a 若 fH, 则 |A| 志 |B|; 
b. 若 /是 满 射 , 则 |A| 宇 |B|。 
B.3-2 ”请问 函数 f(z) 二 x 十 1 是 从 N BNA? CRA ZB ZA? 
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B. 3-3 ”请 给 出 二 元 关系 的 逆 的 一 个 自然 的 定义 ， 满 足 如 果 一 个 关系 实际 上 是 双 身 函数， 那么 其 
KAM LH Bw 
*B. 3-4 ”请 举 一 个 从 乙 到 ZXZ 的 双 射 例子 。 


B. 4 


本 节 介 绍 两 种 图 : 有 向 图 和 无 向 图 。 本 书 给 出 的 相关 定义 可 能 和 一 些 文献 中 的 有 出 人 ， 但 是 
其 大 部 分 差异 都 很 细微 。22. 1 节 说 明了 图 在 内 存 中 的 表示 方法 。 

有 向 图 G 是 一 个 二 元 组 (V，E)， 其 中 V 是 有 限 集 , 而 EE 是 V 上 的 二 元 关系 。 集 合 V 称 为 图 
G 的 顶点 集 ， 其 元 素 称 为 项 点。 集合 EE 是 G 的 边 集 ， 其 元 素 称 为 边 。 图 B-2(a) 描 绘 了 顶点 集 为 
(1，2，3，4，5，6} 的 有 向 图 。 注 意 ， 图 中 有 可 能 存在 自 环 一 一 两 个 顶点 相同 的 边 。 

在 无 向 图 G 一 (V，E) 中 ， 边 集 EE 由 无 序 的 顶点 对 组 成 ， 而 不 是 有 序 对 。 也 就 是 说 ,一 条 边 
是 一 个 集合 {u，v}， 其 中 ww，wvEV 且 关 v。 按 照 惯例 ， 我 们 用 符号 (uw，wv) 表 示 边 ， 而 不 用 集合 [1168 
Bu, vj, 但 (4，v) 和 (v， 忆 被 视 为 同一 条 边 。 无 向 图 中 不 允许 存在 自 环 ， 所 以 每 条 边 包含 两 
个 不 同 顶点 。 图 B-2(b) 描 绘 了 顶点 集合 为 (1，2，3，4，5，6) 的 一 个 无 向 图 。 


©—-@ @ 


Q 








(c) 


图 B2 有 向 图 与 无 向 图 。(a) 有 向 图 G=V, E), HHV=(1, 2, 3, 4, 5, 6), E={(1, 2), 
(2，2)，(2，4)，(2，5)，(4，1)，(4，5)，(5，4)，(6，3)) 。 边 (2，2) 是 一 个 自 环 。(b) 
无 向 图 G 一 (V，E) ， 其 中 V 一 (1，2，3，4，5，6}， 开 一 {(1，2)，(1，5)，(2，5)，(3， 
6)}。 顶 点 4 是 孤立 点 。(c) 图 (a) 关 于 点 集 (1，2，3，6) 的 导出 子 图 


无 向 图 和 有 向 图 的 许多 定义 大 体 上 都 是 相同 的 ， 虽 然 其 中 可 能 有 一 些 术语 在 上 下 文中 的 意思 有 些 
许 出 入 。 如 果 (w， 切 是 有 向 图 G 一 (V， 如 中 的 一 条 边 ， 则 称 (x， 切 射出 或 离开 顶点 u Hu, VAA 
或 进入 顶点 w 例如， 图 B2(a) 中 离开 顶点 2 的 边 有 (2，2)、(2，4) 和 (2，5)， 进 入 顶点 2 的 边 有 
(1，2) 和 (2，2)。 如 果 (w， 切 是 无 向 图 G 二 (V，EE) 中 的 一 条 边 ， 则 称 (4， 马 与 顶点 和 ww 关联 。 在 
图 B2(b) 中 ， 关 联 顶 点 2 的 边 有 (1，2) 和 (2，5)。 

如 果 (u， 功 是 图 G=(V， 轧 中 的 一 条 边 ， 则 称 顶 点 v 邻接 于 顶点 w。 当 图 是 无 向 图 时 ， 邻 接 关 
系 是 对 称 的 。 当 图 是 有 向 图 时 ， 邻 接 关 系 不 一 定 是 对 称 的 。 如 果 在 有 向 图 中 ，w 邻接 于 wx， 则 写作 
u>v。 在 图 B-2(a) 和 (b) 中 ， 顶 点 2 邻接 于 顶点 1， 因 为 两 个 图 中 都 包含 边 (1，2)。 在 图 B2(a) 中 ， 
顶点 1 与 2 不 邻接 ， 因 为 边 (2，1) 不 属于 该 图 。 

无 向 图 中 顶点 的 度 是 指 关 联 于 该 顶点 的 边 的 数目 。 例如， 图 B-2(b) 中 顶点 2 的 度 为 2。 如 果 
一 个 顶点 的 度 为 0， 例 如 图 B-2(b) 中 的 顶点 4， 则 它 是 孤立 的 。 在 有 向 图 中 ， 顶 点 的 出 度 是 指 高 
开 该 顶点 的 边 的 数目 ， 顶 点 的 入 度 是 指 进入 该 顶点 的 边 的 数目 。 有 向 图 中 顶点 的 度 是 该 顶点 的 ”[ 卫 本 
入 度 与 出 度 之 和 。 图 B-2(a) 中 顶点 2 的 入 度 为 2， 出 度 为 3， 度 为 5。 

图 G 二 (V， 忆 中 从 顶点 到 顶点 ww 的 一 条 长 度 为 的 路 径 是 一 个 顶点 序列 (vo，vi，vs，…， 
v), HHu=v,, =v, Blua, vy) CE, i 二 1，2,，…,，k。 路 径 的 长 度 是 路 径 中 边 的 数目 。 该 路 
径 包含 了 顶点 v, Us ”9 Uk FIZ vp » v1)， (vis Uz)» eeey CU-19 Uz) 。 (总 是 存在 一 条 从 点 到 其 
BS 的 长 度 为 0 的 路 径 。) 如 果 从 顶点 到 顶点 刀 存 在 一 条 路 径 p, MER ww 是 从 刀 经 过 可 达 的 。 如 果 
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G 是 有 向 图 ， 则 写作 wu 心 w 。 如 果 路 径 中 所 有 顶点 互 不 相同 ， 则 称 路 径 是 简单 的 9 。 在 图 B-2(a) 中 ， 
路 径 (1，2，5，4) 是 一 条 长 度 为 3 的 简单 路 径 。 路 径 (2，5，4，5) 则 不 是 一 条 简单 路 径 。 

路 径 p 二 (vo。，vi，…，vi) 的 一 条 子路 径 是 pp 中 顶点 的 一 个 连续 子 序 列 ， 即 对 于 任意 0<i<Jj 过 
k, 顶点 子 序列 (vw;， Vitis °°" v;) 是 bp 的 一 条 子路 径 。 

EA WRH, WREKE (v0 » Visits v) P v =v 且 至 少 包含 一 条 边 ， 则 该 路 径 构 成 环 。 
如 果 v1, v2, 是 互 不 相同 的 ， 则 该 环 是 简单 的 。 上 自 环 是 长 度 为 1 的 环 。 对 于 两 条 路 径 
(Vos Urs Uzs ***s UWk—is vo) 和 《vo， v Uz» eeey TER Uo?» 如 果 存 在 一 个 整数 7， 使 得 对 于 i= 
0, 1, .…, k—1, 有 Vi 二 Wit pmodi， 则 这 两 条 路 径 为 相同 的 环 。 在 图 B-2(a) 中 ， 路 径 (1， 2, 4, 1) 
所 形成 的 环 与 (2，4，1，2) 和 C4，1，2，4) 相 同 。 该 环 是 简单 的 ， 而 环 (1，2，4，5，4，1) 则 不 
是 。 边 (2，2) 构 成 的 环 (2，2? 是 一 个 目 环 。 一 个 不 含 目 环 的 有 问 图 是 简单 的 。 在 无 向 图 中 ， 如 果 
路 径 (v,o， Ula "sy v) WHE R>O, Vo Uk» 并 且 路 径 上 所 有 的 边 都 不 相同 ， 则 这 条 路 径 形 成 环 ; 如 
R Us w, e y HAHA, 则 称 该 环 是 简单 的 。 例如 ， 在 图 B-2(b) 中 ， 路 径 〈1， 2，5，1) 是 一 
个 简单 环 。 一 个 没有 简单 环 的 图 是 无 环 图 。 

如 果 一 个 无 向 图 中 每 个 顶点 从 所 有 其 他 顶点 都 是 可 达 的 ， 则 称 该 图 是 连通 的 。 图 的 连通 分 
量 是 顶点 在 “从 …… 可 达 ” 关 系 下 的 等 价 类 。 图 B2(b) 中 的 图 有 3 个 连通 分 量 : {1，2，5)， 
{3，6} 和 {4}。{1，2，5} 中 的 每 个 顶点 从 {1，2，5} 中 其 他 顶点 都 是 可 达 的 。 若 一 个 无 向 图 只 有 
一 个 连通 分 量 ， 则 该 无 向 图 连通 。 一 个 连通 分 量 的 边 是 只 与 该 分 量 中 顶点 关联 的 边 ; 换 句 话说 ， 
边 (x， 切 是 连通 分 量 的 一 条 边 ， 当 且 仅 当 wx 和 w 均 为 该 分 量 中 的 顶点 。 

如 果 一 个 有 回 图 中 任意 两 个 顶点 互相 可 达 ， 则 该 有 向 图 是 强 连通 的 。 有 回 图 的 强 连通 分 量 
是 “相互 可 达 ” 关 系 下 顶点 的 等 价 类 。 如 果 一 个 有 向 图 只 有 一 个 强 连通 分 量 ， 则 它 是 强 连通 的 。 图 
B-2(a) 中 的 图 有 三 个 强 连通 分 量 : {1，2，4，5)}，{3} 和 (6}。{1，2，4，5} 中 所 有 顶点 对 互相 可 
达 。 出 于 顶点 6 不 能 从 顶点 3 到 达 ， 顶 点 {3，6} 不 构成 一 个 强 连通 分 量 。 

两 个 图 G 一 (VY， 刀 和 G 一 (V'， EE) 是 同 构 的 ， 如 果 存 在 一 个 双 射 f: VV, Eu, VEE 
HHRH, FEE., WA, RIT AER G 与 G 中 边 对 应 的 前 提 下 ， 将 图 G 中 的 
顶点 重新 标记 为 C 中 的 顶点 。 图 B3(a) 给 出 了 一 对 同 构图 G 和 CG 。 其 各 自 顶 点 集 分 别 为 V 一 (1， 
2, 3, 4, 5, HMV={u, v, w, z, ys zje MVAV RH, (=u, f(2=v, f(3)=w, 
f(4) 二 xz，f(5) 二 y，f(6) 二 z， 提 供 了 所 需 的 双 射 函数 。 图 B3(b) 中 的 图 之 间 不 是 同 构 的 。 虽 然 两 
个 图 都 有 5 个 顶点 和 ?7 条 边 , 但 是 上 方 的 图 有 度数 为 4 的 顶点 ， 而 下 方 的 图 没有 。 





图 BE3 (a) 一 对 同 构 图 。 上 图 中 的 顶点 与 下 图 中 的 顶点 的 映射 关系 为 ，f(1)==u， 
f(2)==v，f(3)= 二 w，f(4)= 二 xz，f(5) 二 y，f(6) 二 z。(b) 因 为 上 图 中 包含 
度数 为 4 的 顶点 ， 而 下 图 中 没有 ， 所 以 这 两 个 图 不 同 构 


O 有些 作者 称 路 径 为 “行走 ”， 称 简单 路 径 为 路径”。 本 书 中 的 术语 “路 径 ? 和 “简单 路 径 " 与 他 们 的 定义 一 致 。 
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WR V'CV HE'CE, WAG =(V', EDEG=(V, DHFR. AE—TEAV'CI, G 

关于 VV 的 导出 子 图 是 图 G =V, E), H 

E' = {(u,v) € EuvEV') 1171 
图 B2(a) 中 关于 顶点 集 (1，2，3，6)} 的 导出 子 图 是 图 B2 PHA, HUREK, 2), 
(2，2)，(6，3) } 。 

给 定 无 向 图 G=(V, E), CHARMAEARMAG’=(V, E), HAC, woeCE 4AM 
(u, DEE, hee, EAMES, CHAM, VIRE RIANA Wu, vd AC, u). 
给 定 有 向 图 G 二 (V，E)， 其 无 向 版 本 是 无 向 图 G 二 (V，E'),， HP, v) EE 4A utzv H 
(u，v) EE。 至 少 包含 (u,v) 和 (v， 忆 中 的 一 个 。 也 就 是 说 ， 无 向 版 本 包含 了 G 中 “去 掉 了 方向 ” 
的 边 ， 同 时 剔除 了 自 环 。( 因 为 (w“， 思 和 (，z) 在 无 向 图 中 是 同一 条 边 ， 尽 管 这 两 条 边 都 在 有 向 
图 中 ,但 无 向 版 本 只 包含 其 一 次 ,) 在 有 向 图 G= 二 (V，E) 中 ,顶点 的 邻居 是 G 的 无 向 版 本 中 任 
意 邻 接 于 顶点 w HMR. EREM, WE uv Hlu, VEER, YEE, M vÆ u 的 一 个 邻 
居 。 在 无 向 图 中 ， 如 果 和 w 邻接 ， 则 它们 是 邻居 。 

有 几 种 图 有 其 特有 的 名 字 。 完 全 图 是 图 中 每 对 顶点 均 邻 接 的 无 向 图 。 二 分 图 是 一 个 无 向 图 
G 一 (V，E) ， 其 顶点 集 立 可 以 被 划分 为 两 个 集合 和 V,， 且 (u，v) EE 蕴涵 uwEVi 且 vEVw 或 
者 蕴涵 vxEV: 且 vEV。 也 就 是 说 ， 所 有 的 边 都 位 于 这 两 个 顶点 集合 之 间 。 无 向 无 环 图 是 一 个 森 
林 。 连 通 无 向 无 环 图 是 一 棵 (自由 ) 树 ( 见 B. 5 节 )。 通 常用 有 向 无 环 图 ”(directed acyclic graph) 的 
首 字母 称呼 它 ， 即 dag。 

读者 可 能 常常 会 遇 到 两 种 图 的 变 体 。 多 重 图 与 无 向 图 类 似 ， 但 它 可 以 在 顶点 间 存 在 多 条 边 ， 
并 人 允许 自 环 。 超 图 也 与 无 向 图 类 似 ， 但 是 其 每 一 条 超 边 连接 的 不 是 两 个 顶点 ， 而 是 任意 顶点 子 
集 。 许 多 为 普通 有 向 图 和 无 向 图 设计 的 算法 也 能 适用 于 这 些 类 图 结构 。 

沿边 e 一 (ww， 人 的 对 无 向 图 G=(V， 如 的 收缩 是 图 G=(V'’, E), HPV 一 V 一 (ww， v Uir) 
且 zz 是 一 个 新 顶点 。 边 集合 EE 是 从 巨 中 删除 边 (u，v)， 并 对 于 每 一 个 人 射 到 或 v 的 顶点 w， 删 
R Elu, wl, WAMA, w AE. VRE RU, u 和 wv 被 “压缩 ”成 了 一 个 顶点 。 


练习 


B41 在 一 个 教职员 工 聚会 中 ， 与 会 者 互相 握手 问候 彼此 ， 每 位 教授 会 记 住 他 /她 握手 的 次 数 。 
在 聚会 的 最 后 ， 系 主任 将 所 有 教授 握手 的 次 数 相 加 。 通 过 证 明 下 面 的 握手 定理 来 说 明 系 [172 
主任 得 到 的 结果 是 偶数 : WR G= 二 (V，E) 是 无 向 图 ， 则 有 


2 degree(v) = 2|E| 


B.4-2 证明 : 如 果 无 向 图 或 有 向 图 在 两 个 顶 A u Ho 之 间 包 含 一 条 路 径 ， 则 该 图 一 定 包含 一 条 z 
与 v 之 间 的 简单 路 径 。 证 明 ， 如 果 一 个 有 向 图 包含 环 ， 则 它 一 定 包含 一 个 简单 环 。 

B. 4-3 TEA: (RASA G=(V, DRWEIE|SIV|—-1. 

B. 4-4 ”验证 在 一 个 无 向 图 中 ,，“ 从 …… 可 达 ” 关 系 是 图 中 顶点 的 等 价 关 系 。 等 价 关系 的 三 个 特性 
中 ， 哪 些 对 有 向 图 点 集 上 的 “从 …… 可 达 ” 关 系 成 立 ? 

B45 图 B-2(a) 中 有 向 图 的 无 向 版 本 是 什么 ? 图 B-2(b) 中 无 向 图 的 有 向 版 本 是 什么 ? 

*B. 4-6 证明， 若 令 超 图 中 的 边 与 点 的 关联 关系 对 应 二 分 图 中 的 邻接 关系 ， 则 超 图 可 表示 为 二 分 
图 。( 提 示 : 令 二 分 图 中 的 一 个 顶点 集 对 应 超 图 的 顶点 集 ， 并 令 二 分 图 的 另 一 个 顶点 集合 
对 应 应 超 边 集 。) 


| 


B.5 树 
和 图 一 样 ， 树 也 有 很 多 相关 但 差异 很 小 的 定义 。 这 一 节 将 介绍 几 种 树 的 定义 和 数学 性 质 。 
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10.4 节 和 22.1 节 介 绍 了 我 们 在 计算 机 内 存 中 表示 树 的 方式 。 


B.5.1 自由 树 


和 B.4 节 中 的 定义 一 样 ， 自 由 树 是 一 个 连通 的 、 无 环 的 无 向 图 。 通 常情 况 ， 当 我 们 提 到 一 

个 图 是 树 时 ， 会 省 略 形容 词 “ 自 由 ”。 称 一 个 可 能 不 连通 的 无 向 无 环 图 为 森林 。 许 多 树 的 算法 对 和 森 

林 也 适用 。 图 B-4(a) 给 出 了 一 棵 自由 树 ， 图 B-4(b) 则 给 出 了 一 个 森林 。 图 B-4(b) 的 森林 不 是 树 ， 
因为 它 不 连通 。 图 B4(c) 中 的 图 是 连通 的 ， 但 是 它 既 不 是 树 也 不 是 和 森林， 因为 它 包含 环 。 


JR Jn 


图 B4 (a) 一 棵 自由 树 。(b) 一 个 森林 。(c) 因 为 该 图 有 环 ， 所 以 它 既 不 是 树 也 不 是 森林 


下 面 的 定理 描述 了 自由 树 的 几 个 重要 事实 。 

定理 B. 2( 自 由 树 性 质 ) 令 G 王 (V， 国 是 一 个 无 向 图 。 下 面 的 描述 是 等 价 的 。 

1.G 是 自由 树 。 | 

2. G 中 任何 两 顶点 由 唯一 简单 路 径 相连 。 

3.G 是 连通 的 ， 但 是 从 图 中 移 除 任意 一 条 边 得 到 的 图 均 不 连通 。 

4.G 是 连通 的 ， 且 |E|= 二 |V| 一 1。 

5.G 是 无 环 的 ,， H|E|=|VI—1. 

6.G 是 无 环 的 ， 但 是 如 果 向 巨 中 添加 任何 一 条 边 ， 均 会 造成 图 包含 一 个 环 。 

证 明 (1) 二 (2)， 因为 树 是 连通 的 ， 图 G 中 任意 两 顶点 应 至 少 被 一 条 简单 路 径 所 连接 。 用 反 
证 法 ,假定 顶点 u 和 顶点 v 被 两 条 不 同 的 简单 路 径 p, 和 ps 连接 ， 如 图 B-5 所 示 。 令 也 为 这 两 条 路 
径 第 一 次 分 又 位 置 的 顶点 ; B wE p 和 pp, 上 所 有 公共 顶点 中 ， 第 一 个 在 p LBs SEP 上 
的 后 继 y 不 相同 的 顶点 。 令 z 为 这 两 条 路 径 第 一 次 重新 汇合 处 的 顶点 ; 即 xz 是 也 后 第 一 个 户 5p 
共有 的 顶点 。 令 Pp' 是 轧 HTE, 其 中 包含 从 ww 经 过 到 z 的 顶点 与 边 ， 且 令 Pp 为 ps ATE, 其 中 包 

SM b 经 过 yy 到 zz 的 部 分 。 路 径 p' 与 户 除 了 端点 外 没有 公共 顶点 。 因 此 ， 连 接 OS 的 道 得 到 的 路 
径 是 一 个 环 。 这 违背 了 C 是 一 棵 树 的 假设 。 因 此 , 若 CG 是 自由 树 ， 则 两 顶点 至 多 有 一 条 简单 路 径 。 


(c) 





ABS 定理 B.2 的 证 明 步 又 ,如果 (1)G 是 自由 树 ， 则 (22G 中 任意 两 点 被 唯一 路 径 相连 。 假 定 顶 点 x 与 
v 被 两 条 不 同 的 简单 路 径 思 i 与 pz 所 连 。 这 两 个 路 径 第 一 次 盆 开 位 置 的 项 点 是 w， 它 们 第 一 次 合 
并 位 置 的 顶点 是 >。 路 径 p -R p 的 首相 连 构成 了 一 个 环 。 这 与 图 中 无 环 构成 矛盾 


(2) 之 (3) : 如 果 G 中 任意 两 个 顶点 被 唯一 简单 路 径 相 连 ， 则 GEEA., SClu, vH EP 
任意 一 条 边 。 该 边 是 从 vx Bo 的 一 条 路 径 ， 所 以 它 必然 是 从 到 wv 的 唯一 路 径 。 如 果 从 G 中 移 除 
(u，v)， 则 从 到 vw 无 路 径 可 达 ， 因 此 ， 任 意 移 除 一 条 边 均 会 导致 图 不 连通 。 

(3)>(4): 根据 假设 ,图 G 是 连通 的 ， 且 由 练习 B. 4-3 T4, | E|>|V|—1. BERNA 
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归纳 法 证 明 |E| 志 |V| 一 1。 一 个 有 n=1 或 n=2 个 顶点 的 连通 图 的 边 数 显然 为 n 一 1。 BEGA 
n 之 3 个 顶点 ， 且 所 有 顶点 数 少 于 nn 并 满足 (3) 的 图 也 满足 |E| 夺 1V| 一 1。 从 G 中 移 除 任意 一 条 
WERNA kS 个 连通 分 量 ( 实 际 上 二 2)。 每 一 个 连通 分 量 满足 (3)， 否 则 G 将 不 会 满足 (3)。 
如 果 将 每 一 个 边 集 为 E 的 连通 分 量 Vi 看 做 它 自己 的 自由 树 ， 那 么 因为 每 一 个 连通 分 量 的 顶点 数 
目 均 少 于 |V| ， 根 据 归 纳 假设 ， 我 们 有 | 五 | 秋 |V | 一 1。 因 此 ， 所 有 连通 分 量 中 边 数 目的 总 和 最 
多 为 |V| 一 k 志 |V| 一 2。 将 移 除 的 边 加 入 后 ， 得 到 |E| 志 |V| 一 1。 

(4)>(5): 假定 G 是 连通 的 ， 且 |E|==|V| 一 1。 需 证 明 G 是 无 环 的 。 假定 G 中 一 个 环 包含 
个 顶点 Urs Uns ***y Une 不 失 一 般 性 ， 假设 该 环 是 简单 的 。 S G= (V, EE) 是 该 环 在 G 中 的 子 图 
KRR. $Ë, |V| =| 及 |=&A。 如 果 &A<|V| ， 则 因为 G 连 通 ， 所 以 一 定 存在 顶点 vn EV 一 Vi 与 
某 个 顶点 vu€V, FASE . 定义 Gre = (Ven, E.DAGHTE, 其 中 Viti =V; U (ua H. Eni =F,U 
(uy, ti d}o EE |Van |=| En | =k+1. MRAF1I<|V|, RN Se A she 
Gus， 依 此 下 去 ， 直 到 获得 G, = (V, E) 其 中 n=|V|, V,=V, BHIEI=lV,l=|Vl. AW 
G, 是 G 的 一 个 子 图 ， 所 以 有 EE， 因 此 |E| 宇 |V|。 这 违背 了 假设 |E|==|V| 一 1。 因 此 ，G 是 
无 环 的 。 

(5) 二 (6); 假定 G 是 无 环 的 且 |E|==|V| 一 1。 $k XG 的 连通 分 量 的 数目 。 每 一 个 连通 分 
量 根据 定义 都 是 一 个 自由 图 ， 并 且 因 为 (1) 蕴 涵 (5)，G 的 所 有 连通 分 量 的 边 数 和 为 |V| 一 上 。 因 
此 ， 必 须 有 = 二 1， 即 有 G 实际 上 是 一 棵 树 。 因 为 (1) 药 涵 (2)，G 中 任意 两 个 顶点 被 唯一 简单 路 
径 所 连接 。 因 此 ， 添 加 任何 一 条 边 到 G 均 会 导致 成 环 。 

O>): 假定 G 是 无 环 的 , 但 是 添加 任意 一 条 边 到 G 均 会 成 环 。 需要 证 明 的 是 G 是 连通 
NW. SuMv eG 中 任意 的 顶点 。 如 果 v* 和 尚未 邻接 ， 则 添加 边 (u， 马 会 产生 一 个 环 。 环 中 除 
了 (wx， 臣 外 其 他 边 均 属 于 G。 因 此 ， 该 环 去 除 边 (zx， 切 必须 包含 一 条 从 2 Blo 的 路 径 ， 因 为 与 
v 是 随意 选择 的 ， 所 以 G 是 连通 的 。 m 


B.5.2 ”有 根 树 和 有 序 树 


有 根 树 是 一 棵 自由 树 ， 其 顶点 中 存在 一 个 与 其 他 顶点 不 同 的 顶点 。 我 们 称 该 不 同 顶点 为 树 的 
根 。 一 棵 有 根 树 的 顶点 常常 称 为 树 的 结 点 8 。 图 B6(a) 给 出 了 一 棵 有 12 个 结 点 ， 根 为 7 的 有 根 树 。 

考虑 以 > 为 根 的 有 根 树 工 中 的 一 个 结 点 <。 从 > 到 的 唯一 简单 路 径 上 任意 结 点 y 称 为 工 的 一 
个 祖先 。 Wy cM, Wey 的 后 代 。( 每 一 个 结 点 既是 自己 的 祖先 也 是 自己 的 后 代 。) 如 
By r WHH oy, Wy Bc WTAE, He By 的 一 个 真 后 代 。 以 z 为 根 的 子 树 是 根 
为 xz， 由 工 的 后 代 组 成 的 子 树 。 例 如 ， 图 B-6(a) 中 的 以 结 点 8 为 根 的 子 树 包 含 结 点 8、6、5 和 9。 

如 果 从 树 工 的 根 > 到 一 个 结 点 z 的 简单 路 径 上 最 后 一 条 边 是 (y，z)， 则 y 是 z 的 双亲 ， 而 = 
是 y 的 孩子 。 根 是 树 中 唯一 没有 双亲 的 结 点 。 如 果 两 个 结 点 有 相同 的 双亲 ， 则 它们 是 兄弟 。 一 个 
没有 孩子 的 结 点 为 叶 结 点 (或 称 外 部 结 点 ) 。 一 个 非 叶 结 点 是 内 部 结 点 。 

有 根 树 下 中 一 个 结 点 z 的 孩子 数目 等 于 结 点 x 的 度 e 。 从 根 + 到 结 点 x 的 一 条 简单 路 径 的 长 
度 即 为 x 在 工 中 的 深度 。 树 的 一 个 层 包 含 了 统一 深度 的 所 有 结 点 。 结 点 在 树 中 的 高 度 是 指 从 该 
结 点 到 叶 结 点 最 长 的 一 条 简单 路 径 上 边 的 数目 。 树 的 高 度 也 等 于 树 中 点 的 最 大 深度 。 

有 序 树 是 一 棵 有 根 树 ， 其 中 每 个 结 点 的 孩子 是 有 序 的 。 也 就 是 说 ， 如 果 一 个 结 点 有 个 孩子 ， 则 
这 些 孩 子 之 间 会 区 分 哪个 结 点 是 第 一 孩子 ， 哪 个 结 点 是 第 二 孩子 ，……， 哪 个 是 第 孩子 。 图 B6 中 
的 两 棵 树 如 果 看 做 是 有 序 树 ， 则 它们 是 不 同 的 ， 但 是 如 果 仅 仅 看 做 是 有 根 树 的 话 ， 则 是 相同 的 。 

| 


ae ae 
日 “在 图 论 申 ， 术 语 “ 结 点 "通常 作为 “顶点 ”的 同义词 。 这 里 我 们 将 它 专用 来 表示 有 根 中 的 结 点 。 
© ”注意 ， 结 点 的 度 取决 于 下 是 有 根 树 还 是 自由 树 。 自 由 树 中 结 点 的 度 跟 无 向 图 中 的 一 样 ， 是 相 邻 顶点 的 个 数 。 而 
在 有 根 树 中 ， 度 指 结 点 孩子 的 个 数 ， 结 点 的 双亲 不 包含 在 内 。 
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深度 4 





图 BE6 有 根 树 与 有 序 树 。(a) 高 度 为 4 的 有 根 树 。 该 树 用 标准 的 方式 绘制 : RGR 7) 在 最 上 方 ， 
其 下 是 它 的 孩子 (深度 为 1 的 结 点 )， 再 下 面 是 根 孩 子 的 孩子 (深度 为 2 的 结 点 )， 依 此 下 去 。 
如 果树 是 有 序 树 ， 树 中 某 结 点 的 孩子 之 间 的 左右 位 置 关 系 有 影响 ;否则 没 影响 。(b) 另 一 标 
有 根 树 。 如 果 将 该 树 单 看 做 有 根 树 ， 则 它 与 (a) 中 的 树 是 一 样 的 ， 但 是 看 做 有 序 树 ， 则 因为 
结 点 3 的 孩子 与 (a) 中 出 现 顺序 不 同 ， 所 以 两 棵 树 不 同 


B. 5. 3 二叉树 和 位 置 树 

我 们 递归 地 来 定义 二 又 树 。 二 叉 树 本 是 定义 在 有 限 结 点 集 上 的 结构 ， 它 或 者 不 包含 任何 结 

点 ， 或 者 包含 三 个 不 相交 的 结 点 集合 : 一 个 根 结 点 ， 一 棵 称 为 左 子 树 的 二 叉 树 ， 以 及 一 棵 称 为 右 
子 树 的 二 叉 树 。 

不 包含 任何 结 点 的 二 又 树 称 为 空 树 或 零 树 ， 有 时 用 符号 NIL 表示 。 如 果 左 子 树 非 空 ， 则 它 
的 根 称 为 整 棵 树 的 根 的 左 孩 子 。 类 似 地 ， 非 空 右 子 树 的 根 称 为 整 棵 树 的 根 的 右 孩 子 。 如 果 一 棵 子 
树 是 零 树 NIL， 则 称 该 孩子 是 缺失 或 者 丢失 的 。 图 B-7(a) 给 出 了 一 棵 二 又 树 。 

二 义 树 不 仅仅 是 一 棵 结 点 度 均 为 2 的 有 序 树 。 例 如 ， 在 一 棵 二 又 树 中 ， 如 果 一 个 结 点 仅 有 一 
个 孩子 ， 则 它 是 左 孩 子 还 是 右 孩 子 是 有 关系 的 。 而 在 有 序 树 中 ， 是 没有 必要 区 分 一 个 单独 的 孩子 
是 左 还 是 右 的 。 图 B7(b) 给 出 了 一 棵 与 图 B7(a) 不 同 的 二 叉 树 。 两 者 的 不 同 之 处 在 于 结 点 5 的 
位 置 。 这 两 棵 树 如 果 仅 被 看 做 是 有 序 树 ， 则 是 相同 的 。 

如 图 B-7(c) 所 示 ， 二 又 树 的 位 置信 息 可 以 用 有 序 树 中 的 内 部 结 点 来 表示 。 这 一 想法 需要 将 
二 叉 树 中 每 个 缺失 的 孩子 用 一 个 没有 和 孩子 的 结 点 替代 。 这 些 叶 绪 点 在 图 中 表示 为 正方 形 。 这 样 
得 到 的 树 是 满 二 叉 树 : 每 个 结 点 是 叶 结 点 或 者 度 为 2。 满 二 又 树 中 不 存在 度 为 1 的 结 点 。 最 终 ， 
结 点 的 孩子 的 顺序 保留 了 位 置信 息 。 





(a) (b) 


AB? 二 义 树 。(a) 按 照 标准 方法 绘制 的 二 又 树 。 结 点 的 左 孩 子 画 在 结 点 的 左下 方 。 结 点 的 右 
BTHEARNA PA. (bala 中 不 同 的 一 棵 二 又 树 。 在 (a) 中 ， 绪 点 7 的 左 孩子 是 
5， 而 右 孩 子 缺 失 。 在 (b) 中 ， 结 点 7 的 左 孩子 缺失 ， 而 右 孩 子 是 5。 作 为 有 序 树 ， 这 两 
棵 树 是 一 样 的， 但 作为 二 又 树 ， 它 们 却 是 不 同 的 。(c) 用 满 二 又 树 的 内 部 结 点 表示 (a) 中 
的 二 又 树 : 每 个 内 部 结 点 度 均 为 2 的 有 序 树 。 树 中 的 叶 结 点 用 正方 形 表示 
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区 分 二 又 树 与 有 序 树 的 存储 位 置信 息 可 以 扩展 到 结 点 有 多 于 2 个 孩子 的 树 上 。 在 一 棵 位 置 树 


中 ， 


结 点 的 孩子 被 标记 为 不 同 的 正 整 数 。 如 果 没 有 孩子 被 标记 为 整数 i， 则 该 结 点 的 第 i 个 孩子 


缺失 。k 叉 树 是 一 棵 位 置 树 ， 其 中 对 于 每 个 结 点 ， 所 有 标记 大 于 的 孩子 均 缺 失 。 因 此 ， 二 叉 树 
是 =2 的 有 又 树 。 

完全 又 树 是 所 有 叶 结 点 深度 相同 ， 且 所 有 内 部 结 点 度 为 的 又 树 。 图 B-8 给 出 了 一 棵 高 度 
为 3 的 完全 二 叉 树 。 一 棵 高 度 为 h 的 完全 & 叉 树 有 多 少 叶 结 点 呢 ? 根 在 深度 1 有 上 个 孩子 ， 它 们 中 
的 每 一 个 在 深度 2 又 各 自 有 个 孩子 。 因 此 ， 在 深度 处 的 叶 结 点 数目 为 巧 。 最终， 一 棵 有 nn 个 叶 


为 


结 点 的 完全 k 叉 树 的 高 度 为 login。 由 等 式 (A. 5) 可 得 ， 一 棵 高 度 为 h 的 完全 又 树 的 内 部 结 点 数目 





h—l 
1 十 & 十 天 十 … 十 人 一 DR = 


因此 ,完全 二 又 树 有 和 一 1 个 内 部 结 点 。 


练习 


B. 5-1 


B. 5-2 
B. 5-3 


B. 5-4 
*B. 5-5 


*B. 5-6 


* B. 5-7 





0DO oO UO oO VY V © RE 
ABS 高 度 为 3， 有 8 个 叶 结 点 和 7 个 内 部 结 点 的 完全 二 又 树 


画 出 包含 三 个 顶点 c y 和 z 的 所 有 自由 树 。 画 出 所 有 包含 结 点 zx、y 和 zz 的 以 xz 为 根 的 
有 根 树 。 画 出 所 有 包含 结 点 z、y 和 zz 的 以 z 为 根 的 有 序 树 。 画 出 所 有 结 点 为 zx、y 和 > 
的 以 z 为 根 的 二 叉 树 。 

令 G 二 (V，E) 为 一 个 有 向 无 环 图 ， 其 中 存在 一 个 顶点 DEV, BEM vo 到 其 他 每 个 顶点 
vEV 均 有 唯一 路 径 。 证 明 : G 的 无 向 版 本 是 一 棵 树 。 

利用 归纳 法 证 明 : 任何 非 空 二 叉 树 中 2 度 结 点 数 比 叶 结 点 数 少 1。 证 明 : 满 二 又 树 中 的 
内 部 结 点 数目 比 叶 结 点 数目 少 1。 

利用 归纳 法 证 明 ， 一 个 有 个 结 点 的 非 空 二 叉 树 的 高 度 至 少 为 [lgnj。 

一 棵 满 二 又 树 的 内 路 径 长 度 是 指 所 有 内 部 结 点 深度 之 和 。 类 似 地 ， 外 路 径 长 度 是 指 所 有 
叶 结 点 深度 之 和 。 考 虑 一 个 有 个 内 部 结 点 的 满 二 叉 树 ， 其 内 路 径 长 度 为 i， 外 路 径 长 
度 为 e。 证 明 e=i 十 2n。 

我 们 将 二 叉 树 荆 中 的 每 个 深度 为 的 叶 结 点 赋予 权 值 zw(z) 一 2 ， 并 令 工 为 了 的 叶 结 点 
集合 。 证 明 dw) <1. (该 不 等 式 称 为 Kraft RER.) 


证 明 ;车工 之 2， 则 每 个 叶 结 点 数 为 的 二 叉 树 包 售 一 棵 子 树 ， 该 子 树 有 L/3 到 2L/3 个 
叶 结 点 。 


思考 题 。 

Bl (图 着 色 问题 ) 给 定 一 个 无 向 图 G= (V，E) ，G 的 k 着色 是 一 个 函数 c;， V>{0，1,，…， 
k—l1}, 满足 对 于 每 条 边 (u， DEE, AZ c(u) cv), 换 句 话说 ， 数字 0, I; ees k 一 1 代 
Sk 种 颜色 ， 邻接 的 顶点 不 能 具有 相同 颜色 。 
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a. 证 明 : 任意 树 都 可 以 都 是 2 可 着 色 的 。 

b. 证 明 下 列 三 条 描述 是 等 价 的 : 

1.G 是 二 分 图 。 

2.G 是 2 可 着 色 的 。 

3.G 没 有 奇数 长 度 的 环 。 

ce Sd HEG 中 任意 顶点 的 最 大 度数 。 证 明 : G 可 以 用 4 十 1 种 颜色 着 色 。 


d. 证 明 : 如 果 G 有 O(C|V|) 条 边 ， 那 么 G 可 以 用 OCV1V|) 种 颜色 着 色 。 

(友谊 图 ) ”将 下 列 描述 改写 成 关于 无 向 图 的 定理 ， 并 给 出 证 明 。 假 定 友 谊 是 对 称 的 ， 但 不 

是 自 反 的 。 

a 任何 至 少 含 两 人 的 组 中 ， 至 少 有 两 人 在 组 内 有 相同 数目 的 朋友 。 

b. 任何 6 人 的 组 要 么 至 少 有 三 个 人 互 为 朋友 ， 要 么 至 少 有 三 个 人 互 不 相识 。 

c. 每 个 组 中 的 人 均 能 分 成 两 个 子 组 ， 其 中 每 个 属于 某 个 子 组 的 至 少 有 一 半 的 朋友 在 另外 一 
个 子 组 。 

d. 如 果 一 个 组 中 每 个 人 都 至 少 是 该 组 内 一 半 人 的 朋友 ， 那 么 该 组 可 以 按 如 下 方式 安排 组 员 
坐 在 圆桌 周围 : 每 个 人 都 坐 在 他 的 两 个 朋友 之 间 。 

(二 等 分 树 ) 许多 图 的 分 治 算法 要 求 图 被 等 分 为 两 个 大 小 基本 相同 的 子 图 。 这 可 以 通过 在 

划分 顶点 后 ， 求 取 两 个 点 集 的 导出 子 图 来 实现 。 本 题 将 研究 通过 移 除 一 小 部 分 边 来 将 树 二 

等 分 的 方法 。 要 求 如 果 在 移 除 边 后 两 个 顶点 落 在 了 同一 棵 子 树 中 ， 则 它们 一 定 在 同一 个 划 

分 内 。 

a 证 明 : 任意 7 顶点 二 又 树 的 顶点 均 可 通过 移 除 一 条 边 被 划分 为 两 个 集合 A SB, WE 
|A|<3n/4, |B|<3n/4, 

b. 通过 给 出 一 个 例子 : 一 棵 简单 二 又 树 在 移 除 一 条 边 后 ， 其 最 均匀 平衡 的 划分 满足 |A| = 
3n/4， 来 证 明 (a) 中 的 常数 3/4 在 最 坏 情况 下 是 最 优 的 。 

c. 证 明 : 通过 移 除 最 多 O lgn) 条 边 ， 可 以 将 任意 顶点 二 叉 树 的 顶点 划分 为 两 个 集合 A 与 
B, 满足 |A|==Ln/2J 和 |B|==[n/21。 


附录 注 记 


G. Boole 是 符号 逻辑 学 的 先驱 。 他 在 1854 年 出 版 的 书 中 引入 了 许多 基本 集合 符号 。 现 代 集 


合 论 由 G. Cantor 在 1874 年 到 1895 年 之 间 创 立 。G. Cantor 主要 致力 于 无 限 基数 集合 的 研究 。 术 
语 “ 函 数 ” 的 发 明 归 功 于 G. W. Leibniz。 他 用 函数 来 指 代 多 种 数学 公式 。 这 个 局 限 的 定义 被 一 般 化 
了 很 多 次 。 图 论 从 1736 年 兴起 。 那 时 ，L. Euler 证 明了 穿 过 Königsberg 市 的 七 座 桥 仅 一 次 并 回 
到 起 始点 是 不 可 能 的 。 


Harary[L160j 是 一 本 很 有 用 的 书 ， 它 给 出 了 图 论 中 的 许多 定义 和 结论 。 


| 附录 C 


Introduction to Algorithms, Third Edition 
计数 与 概率 


本 附录 回顾 了 基础 组 合 数 学 与 概率 论 的 相关 知识 如 果 读 者 在 这 两 方面 已 经 有 了 良好 的 基 
础 ， 那 么 可 以 粗略 地 阅读 本 附录 开始 的 部 分 ， 着 重 阅读 后 面 的 章节 即 可 。 本 书 的 大 部 分 章节 并 不 
要 求 概率 论 知识 ， 但 是 对 于 部 分 章节 则 是 必需 的 。 

C. 1 节 回顾 了 计数 理论 中 的 一 些 基本 结论 ， 包 括 计数 排列 组 合 的 标准 方程 。C. 2 WHET RE 
率 公理 和 一些 有 关 概 率 分 布 的 基本 事实 。C. 3 节 中 介绍 了 随机 变量 以 及 期 望 与 方差 的 性 质 。C. 4 
节 研究 了 源 于 伯 努 利 试验 的 几何 分 布 与 二 项 分 布 。C. 5 节 则 深入 讨论 了 二 项 分 布 的 “尾部 ”。 


C.1 计数 

计数 理论 是 不 枚 举 所 有 选择 而 回答 问题 有 多 少 个 ”的 理论 。 例 如 ， 我 们 可 能 会 问 “ 有 多 少 个 
不 同 的 ”位 数 ?或 者 “个 不 同 元 素 有 多 少 种 排列 顺序 ?本 节 将 回顾 计数 理论 知识 。 出 于 本 章 中 
部 分 内 容 需 要 对 集合 知识 的 基本 了 解 ， 读 者 可 以 适当 回顾 B. 1 节 中 的 材料 。 

和 与 积 的 规则 

有 时 ， 我 们 可 以 将 一 个 要 计数 的 项 集 看 做 几 个 不 相交 集合 的 并 集 或 者 集合 的 笛 卡 儿 积 。 

和 规则 是 指 从 两 个 不 相交 集合 之 一 中 选择 一 个 元 素 的 方法 数 等 于 这 两 个 集合 的 基数 和 。 也 
就 是 说 ， 若 A 与 B 是 两 个 无 共同 元 素 的 有 限 集 ， 那 么 由 等 式 (B. 3) 可 得 |AUB|=|4| 十 | 了 B|。 
例如 ， 车 牌照 上 每 个 位 置 是 字母 或 数字 。 因 为 字母 有 26 种 选择 ， 数 字 有 10 种 ， 所 以 每 个 位 置 上 
的 可 能 选择 有 26 十 10 王 36 种 。 

积 规则 是 指 选 出 一 个 有 序 对 的 方法 数 等 于 选 出 第 一 个 元 素 的 方法 数 与 选 出 第 二 个 元 素 的 方 
法 数 的 乘积 。 也 就 是 说 ， 如 果 A 与 B 是 两 个 有 限 集 ， 则 |4AxBlI=|4| .183|， 即 等 式 (B.4)。 
例如 ， 如 果 一 个 冰淇淋 店 提供 28 种 口味 的 冰淇淋 和 4 种 顶 料 ， 则 一 勺 冰 淇 淋 与 一 种 顶 料 构成 的 
圣 代 的 可 能 种 类 数 是 28。4 一 112。 

== 

有 限 集 S 上 的 串 是 集合 S 中 元 素 构 成 的 一 个 序列 。 例 如 ， 下 面 的 8 个 长 度 为 3 WZ : 

000,001,010,011,100,101,110,111 | 
ARKEARWBAK BR. Bs WFR s 是 * 中 连续 若干 个 元 素 的 有 序 序列 。 一 个 串 的 大 子 串 
是 该 串 的 长 度 为 & 的 子 串 。 例 如 ，010 是 01101001 的 一 个 3 子 串 (该 3 子 串 从 位 置 4 开始 )， 而 
111 不 是 01101001 的 子 串 。 

我 们 将 集合 S 上 的 串 视 为 笛 卡 儿 积 Se( 元 组 集合 ) 的 一 个 元 素 ; 因此 ， 存 在 | s|“ 个 长 度 
为 & 的 串 。 例 如 ， 二 进 制 & 串 的 数目 为 2。 从 直观 上 看 ,为 了 在 一 个 nn 集合 上 构造 串 ， 第 一 个 
元 素 有 7 种 选择 ;对 于 每 种 选择 ， 又 及 种 方式 来 选择 第 二 个 元 素 ; 如 此 进行 次 。 由 这 一 构造 
过 程 可 知 ,，& 重 积 n。n…n 二 ww BAR PRA. 

排列 

ARR S 的 一 个 排列 是 S 中 元 素 的 一 个 有 序 序列 ， 其 中 每 个 元 素 出 现 且 仅 出 现 一 次 。 例 如 ， 
& S={a, b, on 则 S 有 6 种 排列 : 

= abc,acb,bac,bcasca b,cba 
包含 ,个 元 素 的 集合 的 排列 数目 为 ma!。 这 是 因为 序列 第 一 个 元 素 的 选择 有 ?种 ， 第 二 个 元 素 的 
选择 有 ?一 1 种 ， 第 三 个 元 素 的 选择 有 ”一 2 种 ， 等 等 。 
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S 的 一 个 排列 是 S PR 个 元素 的 有 序 序列 ， 且 每 个 元 素 最 多 出 现 一 次 。( 所 以 ， 通常 的 排 
列 是 nn 集合 的 一 个 n 排列 。) 集 合 {la,，b，c，d} 的 12 个 2 排列 是 
ab,ac,ad,ba,bc ,bd ,ca,cb,cd ,da,db,dc 
对 于 nn 集合 的 排列 ， 其 第 一 个 元 素 有 2 种 选择 ， 第 二 个 元 素 有 ?一 1 种 选择 ， 依 此 类 推 ， 直 到 选择 
出 & 个 元 素 ， 最 后 被 选中 的 元 素 是 从 剩余 的 n 一 & 十 1 个 元 素 中 选 出 的 。 因 此 ， 其 可 能 的 排列 数目 是 


n(n 一 1)(n 一 2)"…(n 一 上 十 1) = (C. 1) 





nl 
(n—k)! 

组 合 

n 集 合 S 的 一 个 & AGES 的 一 个 & 子 集 。 例 如 ，4 集合 {a,，656，c，d} 有 6 个 2 组 合 : 

ab,ac,ad ,bc ,bd ,cd 

(将 2 子 集 {a， 05} 简写 为 ab， 其 他 同 理 。) 通 过 从 nn 集合 中 选择 出 & 个 不 同 的 元 素 ， 我 们 可 以 构建 n 
集合 的 一 个 组 合 。 该 过 程 中 元 素 选 择 的 顺序 对 组 合 没有 影响 。 

我 们 可 以 用 nn RAR k 排列 的 数目 来 表示 n 集合 的 & 组 合 的 数目 。 每 个 组 合 恰 有 &! 个 其 
元 素 的 排列 ， 其 中 每 一 个 都 是 ”集合 的 一 个 不 同 的 & 排列 。 因 此 ，n 集合 的 & 组 合 的 数目 就 是 
排列 的 数目 除 以 1; 由 等 式 (C. 1) 得 ， 数 目 为 


n| 
kG— A) ee 
对 于 R=O 的 情况 ， 由 该 公式 可 知 ，? 集合 中 选 出 0 个 元 素 的 方法 数 是 1( 而 不 是 0) ， 因 为 0! 三 1。 
二 项 系数 
符号 (% ) Btn tek”) FRA 集合 中 组合 的 数目 。 由 等 式 (C. 2) 可 得 
G) = atin 
k k!(n— k)! 
此 公式 对 上 与 na 一 k 是 对 称 的 : 
的 rt 人 p) (C. 3) 
因为 这 些 数 出 现在 二 项 展开 式 中 ， 所 以 称 其 为 二 项 式 系数 : 
(+y) = 3 jay (C. 4) 
二 项 展开 式 的 一 个 特例 是 ， 当 z 一 y 一 1 时 ， 
a 


这 个 公式 对 应 于 利用 二 进 制品 中 所 含 1 的 个 数 来 计数 2" 个 这 类 串 的 过 程 : 因为 从 个 位 置 中 
选择 k 个 放置 1 的 方法 数 是 (%”) ， 所 以 有 (%) 个 二 进 制品 愉 好 含 & 个 1。 


许多 恒等式 都 含有 二 项 式 系数 。 本 节 的 练习 中 提供 了 几 道 这 类 恒等式 的 证 明 题 。 
二 项 式 界 
有 时 我 们 需要 确定 二 项 式 系 数 大 小 的 界 。 对 于 l<kan, APH 


e — naz l) (2 一 有 十 1) _ (2) (=). (2—4) > (2). 
k RCR 一 1)…1] k/\k—1 k 
利用 由 斯 特 林 近似 (公式 (3. 18)) 得 到 的 不 等 式 &! 宇 (&/e)*"， 可 以 获得 其 上 界 


T AD < # < (2) cs 





对 于 所 有 满足 OSS 的 整数 &， 用 归纳 法 ( 见 练习 C. 1-12) 可 以 证 明 其 界 
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G) SEG em 


FP AT ie, BO =1, HF kan KP 0 委 ) 委 1， 可 以 将 界 写作 


其 中 


(i) < Gar cpm 7 ((Z) Gy) = 


HQ) =—Alga—(1—A) lg — 1A) (C. 7) 


是 一 个 (二 进 制 ) 炳 函数 ， 其 中 为 方便 起 见 ， 假 设 0180 一 0， 从 而 HOH, 


练习 
C. 1-1 


C. 1-2 


C. 1-3 
C. 1-4 


C. 1-5 


C. 1-6 


C. 1-7 


C. 1-8 


C. 1-9 


B+ n BAS RFR? COBRA LAR k FRB ARASH A n E 
总 共有 多 少 个 子 串 ? 

有 ?个 输入 、 和 个 输出 的 布尔 函数 是 从 (TRUE，FALSE)}" 到 {TRUE，FALSE)” 的 一 个 
函数 。 请 问 有 多 少 个 有 nn 个 输入 、1 个 输出 的 布尔 函数 ? 有 多 少 个 有 x 个 输入 、m 个 输出 
的 布尔 函数 ? 

请 问 让 ”个 教授 围 坐 在 圆 形 会 议 桌 的 方法 有 多 少 种 ? 如 果 两 种 座次 中 ， 一 种 可 以 通过 旋 
转变 成 另 一 种 ， 则 视 这 两 种 座次 相同 。 

请 问 从 集合 (1，2，…，99} 中 选 出 三 个 不 同 的 数字 ， 并 且 这 三 个 数字 的 和 为 偶数 的 方法 
有 多 少 种 ? 

证 明 如 下 恒等式 在 0<k<<n 时 成 立 : 


n n(n—1 
| (= 友人 (C. 8) 
证 明 如 下 恒等式 在 0<&<n 时 成 立 ; 
| n n=] 
| (")= I k ) 
为 了 从 ?个 对 象 中 选择 上 个， 可 以 从 这 些 元 素 中 选 出 一 个 作为 特殊 元 素 ， 并 且 考 虑 是 否 
选中 该 特殊 元 素 。 请 使 用 这 一 方法 证 明 


= n— i1 
=) 
使 用 练习 C.1-7 的 结论 ,为 二 项 式 系数 (3 ) 制作 一 个 表格 ， 其 中 n=0, 1, +, 6, ORS 


0) 和 ( ] ) 在 下 一 行 ， 依 此 类 推 。 这 样 的 一 个 二 项 式 系数 表格 称 





nm。 表格 中 ( 9) 在 最 顶 行 ，( 
为 帕斯卡 三 角 。 
证 明 : 

| ay n+1 
3 (")) 


C.1-10 证 明 ; 对 于 任意 整数 20 和 O<k<n, (7) He k=Ln/2 RH t 一 /2] 处 取得 最 大 值 。 


xC.1-11 EH: 对 于 任意 整数 nO, j0, k20, Hitk<n, 有 


n (n\ (n— j 

| Gr C9 
请 给 出 公式 的 代数 证 明和 基于 从 AM ej 十 4 个 的 方法 的 论证 。 并 请 给 出 相等 关 
系 不 成 立 的 一 个 例子 。 


| 
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xC. 1-12 ”对 满足 O<Rk<n/2 的 所 有 整数 & 使 用 归纳 法 证 明 不 等 式 (C. 6) ， 并 用 等 式 (C. 3) 将 公式 
(C. 6) 推 广 到 满足 0 二 k 二 nn 的 所 有 整数 & 上 。 
*C.1-13 ”利用 斯 特 林 近似 证 明 ， 
oa +0(1/n)) (C. 10) 
*C. 1-14 KIKARA HOH, TERA A=1/2 时 取得 最 大 值 。 请 问 五 (1/2) 是 多 少 ? 
*C. 1-15 WH: 对 于 任意 整数 xz 之 0， 有 


> (7) = np (C. 11) 


C.2 概率 


概率 是 概率 与 随机 化 算法 设计 和 分 析 的 重要 工具 。 本 节 回 顾 了 基础 概率 理论 。 
我 们 借助 样本 空间 S 来 定义 概率 。 样 本 空间 是 基本 事件 的 集合 。 每 个 基本 事件 可 以 视 为 某 
个 试验 的 一 个 可 能 结果 。 对 于 抛 两 枚 不 同 硬币 的 试验 ， 每 枚 硬币 要 么 正面 朝 上 (H) ， 要 么 反面 朝 
上 (T)， 则 其 样本 空间 可 以 视 为 {H，T} 上 所 有 可 能 的 2 BARS: 
© S={HH, HT, TH, TT) 
事件 是 样本 空间 S 的 一 个 子 集 ” 。 例 如 ， 在 一 次 抛 两 枚 硬币 的 试验 中 ， 一 枚 硬币 正面 、 另 一 
枚 硬币 是 反面 的 事件 是 {HT，TH)。 事 件 S 称 为 必然 事件 ， 而 事件 几 称 为 空 事件 。 如 果 两 个 事 
件 A 和 B 满足 AN 门 B= 名 ， 则 它们 是 互 斥 的 。 有 了 时， 我 们 将 基本 事件 sE S 看 做 事件 {*}。 由 定义 
知 ， 所 有 基本 事件 都 是 互 斥 的 。 
概率 论 公 理 
样本 空间 S 上 的 概率 分 布 Pr(}) 是 一 个 从 S 的 事件 到 实数 的 映射 ， 它 满足 如 下 概率 论 公理 : 
1. 对 于 任意 事件 A，Pr{A}) 宇 0。 
2. Pr{S}=1, 
3. 对 于 两 个 互 斥 事件 A 与 B， 有 Pr{AUB}==Pr{A} 十 Pr{B}。 更 一 般 地 ， 对 于 任意 (有 限 或 
者 可 数 无 限 ) 事 件 序列 A> Ao» very 若 其 两 两 互 斥 ， 则 有 
Pr{ {J A;}= 2) Pr(A,) 


我 们 称 Pr{A} 为 事件 A 的 概率 。 这 里 注意 ， 公 理 2 是 一 条 正规 化 要 求 : 选择 1 作为 必然 事件 的 概 
率 没 有 什么 很 重要 或 特别 的 理由 ， 仅仅 是 因为 这 种 选择 比较 自然 且 方 便 。 
由 上 面 几 个 公理 与 基本 集合 理论 ( 见 B.1 节 ) 可 以 很 快 得 到 下 面 几 个 结论 。 空 事件 名 的 概率 
H Pr(Ø)=0. WR ASB, Nj Pr{A} 志 Pr{B)}。 用 A 来 表示 事件 S 一 ACA 的 补 )， 则 有 Pr{A})= 
1 一 Pr{A}。 对 于 任意 两 个 事件 A 和 B， 
Pr{A U B}= Pr{A} +Pr{B} — Pr{A N B} = (C. 12) 
< Pr{A} + Pr{B} (C. 13) 
在 抛 硬币 的 例子 中 ,假定 4 个 基本 事件 的 概率 均 为 1/4， 则 至 少 有 一 枚 硬币 正面 朝 上 的 概率 是 
Pr{HH,HT,TH}= Pr{ HH} + Pr{ HT} + Pr{TH} = 3/4 
另 一 种 做 法 是 ， 由 于 得 到 少 于 一 枚 硬币 正面 朝 上 的 概率 是 Pr{(TT} 王 1/4， 则 获得 至 少 一 枚 硬币 
正面 朝 上 的 概率 是 1 一 1/4 一 3/4。 


O ”对 于 一 般 的 概率 分 布 ， 样 本 空间 S 中 可 能 存在 一 些 子 集 不 被 视 为 事件 。 这 种 情况 经 常 发 生 在 样本 空间 是 无 限 不 可 
数 时 。 子 集 可 以 是 事件 的 主要 要 求 是 ， 样 本 空间 中 的 事件 集合 在 求 补 运算 下 ， 有 限 或 无 限 可 数 个 事件 在 求 并 运算 
下 ， 以 及 有 限 或 无 限 可 数 个 事件 在 求 交 运 算 下 封闭 。 我 们 看 到 的 大 部 分 概率 分 布 都 是 在 有 限 或 可 数 样本 空间 上 ， 
因此 通常 可 以 将 样本 空间 的 所 有 子 集 看 做 事件 。 一 个 需要 注意 的 例外 是 连续 均匀 概率 分 布 ， 稍 后 将 会 讨论 它 。 
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离散 概率 分 布 
如 果 一 个 概率 分 布 定 义 在 有 限 或 者 无 限 可 数 的 样本 空间 上 ， 则 该 概率 分 布 是 离散 的 。 令 S 是 样本 
空间 ， 则 对 于 任意 事件 A， 因 为 基本 事件 (具体 来 说 ， 就 是 A 中 的 基本 事件 ) 是 互 斥 的 ， 所 以 有 
Pr{A} = 2 Pr{s} 


如 果 S 是 有 限 的 ， 且 每 个 基本 事件 SES 的 概率 为 
Pr{s} = 1/|S| 

则 得 到 的 概率 分 布 为 S 上 的 均匀 概率 分 布 。 在 这 种 情形 下 ， 常 常用 “从 S 中 随机 选择 一 个 元 素 ” 
来 描述 试验 。 . 

例如 ， 考 虑 抛 一 枚 均匀 硬币 ， 其 中 得 到 正面 的 概率 与 反面 的 概率 是 一 样 的 ， 均 为 /2。 如 果 
抛掷 该 硬币 ”次 ， 则 有 定义 在 样本 空间 S=(H, TY 上 的 均匀 概率 分 布 ， 其 大 小 为 2" 。 我 们 可 以 
将 S > T} 上 的 长 度 为 对 的 一 个 串 。 每 个 串 出 现 的 概率 均 为 1/2"。 事 件 

= 人 k 枚 硬币 正面 朝 上 ,n 一 kk 枚 硬币 反面 朝 上 ) 


da wa 


H。 因 此 ， 事 件 A 的 概率 是 PriA)=(7 )/2”. 


连续 均匀 概率 分 布 

在 连续 均匀 概率 分 布 中 ， 不 是 所 有 样本 空间 的 子 集 都 被 看 做 事件 。 连 续 均 匀 概 率 分 布 定义 
在 实数 闭 区 间 [a，5] 上 ， 其 中 a 二 5。 从 直观 上 来 看 ， 连 续 均匀 概率 分 布 的 区 间 [a，5] 上 的 每 一 点 
都 是 “等 可 能 ”的 。 然 而 ， 由 于 区 间 内 有 不 可 数 个 点 ， 如 果 赋 予 每 个 点 同样 的 有 限 的 正 概率 ， 则 不 
可 能 同时 满足 公理 2 和 公理 3。 出 于 这 个 原因 ， 我 们 更 倾向 赋予 S 的 部 分 子 集 以 概率 ， 用 这 种 方 
式 来 满足 公理 。 

对 于 闭 区 间 Lc，dj， 其 中 ax<c<d<d, aaa dj 的 概率 为 


Pr([Lc,dj) = 一 


注意 ， 对 于 任意 点 Z 一 [Lz， xl; 其 概率 为 0。 dj 的 两 端 RAR, 则 可 以 得 到 开 区 间 
(c, d), Bele, dl=[c, JUC, dULd, d] GAH 3AM, Pr([c, d]}=Pr{(c, d)}, — i 
而 言 ， 连 续 均 匀 概 率 分 布 中 所 有 事件 的 集合 包含 了 样本 空间 La，6j] 中 任意 可 由 有 限 个 或 可 数 个 开 
区 间 和 闭 区 间 的 并 得 到 的 子 集合 ， 同 时 也 包含 了 某 些 更 复杂 的 集合 。 

条 件 概率 与 独立 

有 时 ， 我 们 知道 一 些 关 于 试验 结果 的 先 验 知识 。 例 如 ， 假 定 你 的 一 个 朋友 抛掷 了 两 枚 均匀 硬币 ， 
并 告诉 你 其 中 至 少 有 一 枚 正面 向 上 。 那 么 两 枚 硬币 都 是 正面 向 上 的 概率 是 多 少 ? 这 里 给 出 的 信息 排除 
了 两 枚 硬币 均 为 反面 向 上 的 可 能 。 因 为 剩余 的 三 个 基本 事件 是 等 可 能 的 ， 所 以 可 以 推出 每 个 事件 发 生 
的 概率 均 为 /13。 因 为 只 有 一 个 基本 事件 中 有 两 枚 硬币 均 正 面向 上 ， 所 以 该 问题 的 答案 是 1/3。 

条 件 概率 形式 化 了 关于 试验 结果 部 分 先 验 知识 的 概念 。 已 知事 件 B 发 生 ， 事 件 A 的 条 件 概 
BNE MA ` 





Pr{A| B} = Pa nE (C. 14) 


其 中 pr{B} #0, Cpr(A1B)" 读 作 “ 在 B 条 件 下 A HERR” ME, AACA BRE, M 
A 也 发 生 所 构成 的 事件 是 A 门 B。 也 就 是 说 ，A[1B 是 A 与 B 辣 时 发 生 的 结果 集合 。 因 为 结果 是 
B 中 的 一 个 基本 事件 ， 我 们 将 B 中 所 有 基本 事件 的 概率 除 以 Pr{B} 来 对 概率 进行 正规 化 ， 以 使 其 
和 为 1。 因此， 在 B 条 件 下 A 发 生 的 条 件 概率 是 事件 A 门 B 的 概率 与 事件 B 的 概率 的 比值 。 在 上 
面 的 例子 中 ， 事件 A 是 两 枚 硬币 均 正 面 朝 上 ,事件 B 是 至 少 有 一 枚 硬币 正面 朝 上 。 因 此 ， 
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Pr{A| B}=(1/4)/(3/4) =1/3 
E 
Pr{A N B} = Pr{A}Pr{B} (C. 15) 


则 称 两 个 事件 是 独立 的 ， 若 Pr{B}40, WHE FRE 
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Pr{A|B} = Pr{A} 

例如 ， 假 定 扔 两 枚 均匀 硬币 且 其 结果 是 独立 的 ， 则 得 到 两 个 正面 朝 上 的 概率 是 (1/2)(1/2) 二 1/4。 
现在 假定 一 个 事件 是 第 一 枚 硬币 正面 朝 上 ， 男 一 个 事件 是 两 榴 硬币 不 同 面 朝 上 。 这 两 个 事件 中 
每 一 个 发 生 的 概率 均 为 1/2， 两 者 同时 发 生 的 概率 为 1/4; 因此 ， 尽 管 读者 可 能 认为 两 个 事件 均 
依赖 于 第 一 枚 硬币 的 结果 ， 但 根据 独立 的 定义 ， 两 个 事件 是 独立 的 。 最 后 ， 假 定 两 枚 硬币 被 焊 在 
了 一 起 ， 这 样 它 们 要 么 同时 正面 朝 上 要 么 同时 反面 朝 上 ， 且 这 两 种 结果 是 的 等 可 能 的 。 这 样 ， 每 
枚 硬币 正面 朝 上 的 概率 均 为 1/2， 但 是 两 枚 硬币 均 正 面 朝 上 的 概率 为 1/2 隆 (1/2) (1/2)。 因 此 ， 
一 枚 硬币 正面 朝 上 的 事件 和 男 一 枚 硬币 正面 朝 上 的 事件 不 是 独立 的 。 

如 果 对 于 所 有 IKin, A 

| Pr{A; N A;} = Pr{A;}Pr{A;} 
则 称 事件 A A, -, A, 两 两 独立 。 如 果 这 些 事件 的 每 一 个 & 子 集 A， ’ A; OAT Å; >» 其 中 
2 二 kn BS Ki <…<2 魏 2， 均 满 足 
Pr{A, 门人 门生 站 AAA) = Pr(A; } Pri A, }*…Pr(A,} 

则 称 这 些 事件 (相互 ?独立 。 

以 扔 两 枚 均匀 硬币 为 例 ， 令 事件 A, 为 第 一 枚 硬币 正面 朝 上 ， 令 事件 A, 为 第 二 枚 硬币 正面 
朝 上 ， 并 令 事件 A 为 两 枚 硬币 不 同 面 朝 上 。 我 们 有 


Pr{A,}= 1/2 
Pr{A,}= 1/2 
Pr{A,;}= 1/2 


Pr{ A; () Az} = 1/4 
Pr{A N A;}= 1/4 
Pr{A, N A;}= 1/4 
Pr{A N Az N As}= 0 
因为 对 于 1<i<j<3, 我 们 有 PrlAMA;}=Pr(A,)Pr(Aj}=1/4, SEE A, Ay 和 Ay 是 两 两 独立 
的 。 然 而 ， 因 为 Pr{A,MA,MA;}=0 H Pr{Al}Pr{As}Pr(A;)= 二 1/8 承 0， 所 以 这 三 个 事件 不 是 相 
互 独立 的 。 
贝 叶 斯 定理 
根据 条 件 概率 的 定义 (公式 (C. 14)) 与 交换 律 A 门 B= 二 BN 门 A， 对 于 两 个 概率 不 为 0 的 事件 A 
MB, A 
Pr{A N B}= Pr{B}Pr{A|B} = Pr{A}Pr{B | A} (C. 16) 
mala = BA 
该 公式 称 为 贝 叶 斯 定理 。 除 数 Pr{B} 是 一 个 正规 化 常数 ， 我 们 将 其 形式 重新 变换 如 下 。 因 为 B= 
(BNA)U(BNA), 且 BnA 与 BA 是 互 扩 事件， 所 以 
Pr{ B} = Pr{B () A} + Pr{B N A} = Pr{A}Pr{B | A} + Pr{A}Pr{B | A} 
将 此 式 代 人 等 式 (C. 17) ， 得 到 贝 叶 斯 定理 的 一 个 等 价 形式 : 


_ Pr{A}Pr{B | A} 
Pr{A| B} = Pr{A}Pr{B | A} + Pr{A}Pr{B | A} 


(C. 17) 


(C. 18> 
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贝 叶 斯 定理 可 以 简化 条 件 概率 的 计算 。 例 如 ， 假 定 有 一 枚 均匀 硬币 和 一 枚 抛掷 时 总 是 正面 
向 上 的 非 均匀 硬币 。 我 们 进行 一 个 包含 三 个 独立 事件 的 试验 : 随机 选择 两 枚 硬币 其 中 之 一 ， 连 续 
抛掷 两 次 。 假 定 选择 的 硬币 两 次 均 正 面 朝 上 ， 则 该 硬币 为 非 均匀 硬币 的 概率 是 多 少 ? 

这 个 问题 可 以 用 贝 叶 斯 定理 来 解决 。 令 事件 A 是 选中 了 非 均 匀 硬 币 ， 并 令 事 件 B 为 选中 的 硬 
币 两 次 均 正面 朝 上 。 我 们 需要 计算 Pr{A|B}。 因 为 有 Pr{A}=1/2, Pr{B | A}=1, Pr{A}=1/2 和 


Pr{B | A=, 所 以 ， 


练习 
C. 2-1 


C. 2-2 


C. 2-3 


C. 2-4 


C. 2-5 


xC. 2-6 


*C. 2-7 


*C. 2-8 


*C. 2-9 


(1/2) 


S eae OE e 
Pr{A | B} = (1/2) « 1+ (1/2) + (1/4) 


= 4/5 


Rosencrantz A 4 $4 H8 — H Iy ye — vk. Guildenstern 教授 抛掷 一 枚 均匀 和 硬币 两 次 。 
Rosencrantz 教授 得 到 的 正面 朝 上 结果 数 多 于 Guildenstern 教授 的 概率 是 多 少 ? 
证 明 布 尔 不 等 式 ， 对 于 有 限 或 可 数 无 限 事件 序列 A, Az ，…， 
| Pr{A, U A, U …} < Pr{A,}+Pr{A,} 十 … (C. 19) 
假设 有 10 张 牌 ， 每 张 牌 上 分 别 标 有 从 1 到 10 的 数字 ， 日 每 张 牌 上 的 数字 均 不 同 ， 将 牌 
充分 混合 。 然 后 从 牌 堆 中 一 次 一 张 地 移 除 三 张 牌 。 那 么 我 们 选 出 的 三 张 牌 按照 (递增 ) 顺 
序 排列 的 概率 是 多 少 ? 
证 明 : 
| Pr{A|B}+Pr{A | B} =1 
证 明 : 对 于 任意 事件 集 Ai» Az» SES A,» 
Pr{A; N A: N e N A) =Pr{Ay} © Pr(As | Ar} .PrlA | Ar N Ae} 
Pr{A, | A, a A, [|e N A,-1} 
描述 一 个 以 整数 a 和 2 为 输入 的 过 程 ， 其 中 0<a<<2p。 在 这 个 过 程 中 ， 抛 掷 均 匀 硬 币 ， 结 
果 为 正面 朝 上 的 概率 为 w/2， 反 面 朝 上 的 概率 为 (6 一 az)/2。 请 给 出 抛掷 硬币 次 数 期 望 的 
界 ， 应 为 O(1) 。( 提 示 : 将 ao 人 2 表示 为 二 进 制 。) 
请 给 出 构造 满足 下 列 条 件 的 集合 的 方法 : 集合 中 元 素 为 两 两 独立 的 个 事件 ， 但 不 存在 
包含 k>2 个 相互 独立 元 素 的 事件 子 集 。 
已 知事 件 C 发 生 ， 如 果 
Pr{A QN BICO = Pr{A | O - Pr{B | C} 
则 称 两 个 事件 A AB 是 条 件 独 立 的 。 请 给 一 个 简单 而 非 平凡 的 例子 ， 其 中 两 个 事件 不 独 
Z, 但 是 在 已 知 第 三 个 事件 发 生 时 条 件 独立 。 
你 参加 一 个 游戏 。 该 游戏 将 奖品 藏 在 了 三 个 幕布 之 后 。 如 果 你 选 对 了 幕布 则 可 以 赢得 
奖品 。 在 你 选择 了 一 个 幕布 后 ， 但 是 幕布 还 未 揭 开 之 前 ， 主 持 人 会 揭 开 另 两 个 幕布 中 一 
个 空 幕布 (主持 人 知道 哪个 幕布 后 是 空 的 )， 之 后 会 询问 你 要 不 要 改变 你 的 选择 。 请 问 如 
果 你 改变 了 选择 ， 那 么 你 赢得 奖品 的 几率 将 如 何 改 变 ? 〈 这 一 问题 是 著名 的 Monty hall 问 
题 ， 是 以 一 个 主持 人 经 常 让 参赛 者 陷 人 这 种 困境 的 节目 命名 的 .) 


*C. 2-10 ”一 个 监狱 看 守 从 三 个 罪犯 中 随机 挑选 一 个 释放 ， 并 处 死 男 两 人 。 这 个 看 守 知 道 每 个 人 会 


被 释放 还 是 处 死 ， 但 是 被 禁止 透漏 给 囚犯 其 自身 的 处 置信 息 。 称 罪犯 为 X、Y 和 2Z。 罪 
犯 关 以 他 已 经 知道 了 Y 和 2Z 中 至 少 有 一 人 会 死 为 理由 ， 私 下 问 警卫 两 人 中 哪个 会 被 处 
死 。 警 卫 不 能 透露 给 X 关于 他 自身 的 信息 ， 但 他 告诉 了 X, 了 将 被 处 死 。X 感到 很 开 
心 ， 因 为 他 认为 他 或 者 Z 将 被 释放 ， 这 意味 着 他 被 释放 的 概率 现在 是 1/2 了 。 请 问 他 的 
想法 正确 吗 ， 或 者 他 被 释放 的 概率 仍 为 1/3? 请 解释 。 
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C.3 离散 随机 变量 


(离散 ) 随 机 变量 X 是 从 一 个 有 限 或 可 数 无 限 样本 空间 S 到 实数 的 函数 。 它 将 每 个 试验 可 能 
的 结果 与 一 个 实数 关联 起 来 ， 这 使 得 我 们 可 以 分 析 结 果 数 集 上 的 概率 分 布 。 随 机 变量 也 可 以 定 
义 在 不 可 数 无 限 样本 空间 上 ， 但 是 这 么 做 会 引起 一 些 技术 问题 ， 这 对 我 们 的 目标 是 不 必要 的 。 因 
此 ， 我们 将 假定 随机 变量 是 离散 的 。 
对 于 随机 变量 X 和 实数 z， 和 定义 事件 X 一 z 为 {SES: XOS); 因此 
本 >. Pr{s} 


sES:X(s) =z 
PRK 
f(x) = Pr{X = zx} 


是 随机 变量 XHRRBERA. HRA, Pr(X=z}>0H >,Pr(X 一 z)}) 一 1。 


举例 来 说 ， 考 虑 掷 一 对 普通 的 6 面体 仍 子 。 样 本 空间 中 有 36 个 可 能 的 基本 事件 。 假 定 概率 
分 布 是 均匀 的 ， 从 而 每 个 基本 事件 ;SE S 均 为 等 可 能 的 : Pr(s}=1/36。 和 定义 随机 变量 X ATR 
子 值 中 最 大 的 那个 。 我 们 有 Pr(X=3}=5/36, AA XH 3 指派 给 36 个 可 能 基本 事件 中 的 5 个 ， 
EPCG, 3), 2, 3), G, 3), G, DAG, 1). 
RAA ERSE RA RELE TANEN. AX A Y 是 随机 变量 ， 则 函数 
flasy) = Pr(X =xH Y= y} 
是 X 与 Y 的 联合 概率 密度 函数 。 对 于 定 值 y， 
Pr{Y = y} = D)Pr{X=xH Y= y} 
类 似 地 ， 对 于 定 值 zx， 
Pr{X = z} = Š Pr(X= x HY = y} 


使 用 条 件 概率 的 定义 (公式 (C. 14)), A 


Pr{(X=zxz|Y=y)= re 


定义 两 个 随机 变量 X 与 了 是 独立 的 ， 如 果 对 于 所 有 的 和 >y， 事 件 X=r M Y= y 是 独立 的 ,或 
者 等 价 地 ， 如 果 对 于 所 有 的 x 和 y， 有 Pr{X=z 且 Y=y)}==Pr{(X=zx}Pr(Y 二 y)。 

给 定 一 个 定义 在 相同 样本 空间 上 的 随机 变量 集合 ， 我 们 可 以 定义 新 的 随机 变量 ,例如 乘积 、 
和 或 者 其 他 原始 变量 的 函数 。 

随机 变量 的 期 望 值 

对 于 一 个 随机 变量 来 说 ， 关 于 其 分 布 的 最 简单 、 最 有 效 的 概括 是 它 具 有 取 值 的 “平均 ”。 高 散 
随机 变量 X 的 期 望 值 ( 期 望 或 均值 ) 是 

ELX] = >,z。Pr{(X = x} (C. 20) 


当 该 和 是 有 限 的 或 绝对 收敛 时 ， 它 是 有 定义 的 。 有 了 时，X 的 期 望 可 以 表示 为 ux， 或 者 当 随 机 变 
量 在 上 下 文中 显然 时 ， 可 以 简写 为 uo 

考虑 扔 两 枚 均匀 硬币 的 游戏 。 游 戏 者 对 于 每 枚 正面 朝 上 的 硬币 可 以 说 3 美元 ， 对 于 每 枚 反面 
朝 上 的 硬币 要 输 掉 2 美元 。 表 示 收 入 的 随机 变量 X 的 期 望 是 

ELX]= 6. Pr{2H} +1 + Pr{1H,1T} —4 + Pr{2T} 
= 6(1/4) +1(€1/2) — 41/4) = 1 
两 个 随机 变量 的 和 的 期 望 与 它们 的 期 望 之 和 相等 ， 即 
ELX+Y]= ELX] + ELY] (C. 21) 

其 中 ，E[LXj 与 ELYj 需 有 定义 。 我 们 称 这 个 性 质 为 期 望 的 线性 性 质 ， 并 且 即 使 X 与 Y 不 独立 ， 
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该 性 质 也 成 立 。 这 一 性 质 可 以 扩展 到 有 限 的 以 及 绝对 收敛 的 期 望 和 上 。 期 望 的 线性 性 质 是 允许 

我 们 使 用 指标 随机 变量 进行 概率 分 析 的 关键 性 质 ( 见 5. 2 节 )。 

如 果 关 是 随机 变量 ,任何 消 数 g(xz) 定 义 一 个 新 的 随机 变量 g(X)。 如 果 g(xz) 的 期 望 有 定 

则 | 
ELg(X)] = Dg(x). Pr{X = zx) 


S g(x) 二 az， 则 对 于 任意 常数 a， 


: E[aX] = aELX] (C. 22) 
所 以 ， 期 望 是 线性 的 ， 对 于 任意 两 个 随机 变量 X 和 了 以 及 任意 常数 =， 有 
ElaX +Y] = aE[ X] +E[Y] (C. 23) 


当 两 个 随机 变量 X 和 YY 独立 且 期 望 有 定义 时 ， 
EL[XY|= 2 Duty * Pr{X = z EY = y} = >) > zy ¢ Pr{X = x} Pr{Y = y} 


atts Pr(X = x})( Jy + P(Y = y) ) = ELXJELY] 
通常 ， 当 个 随机 变量 X， Xp, ++, X, 互相 独立 时 ， 
ELX: Xa**X,] = ELX, JELX,]--ELX, ] (C. 24) 
当 随机 变量 X 可 在 自然 数 集 N= (0，1，2，…} 中 取信 时 ， 有 一 个 很 好 的 期 望 计 算 公式 : 


E[X]= yi 。Pr{(X =i} = SPX > i) —PrfX >it+1)}) 


= >) Pr{X >i} (C. 25) 


因为 在 公式 推导 过 程 中 ’ 每 一 项 Pr{ X71} IM T 1 次， 又 被 减 了 i=l 次 (除了 Pr{ X20}, 它 被 
MOK, AREMT). 
当 我 们 将 一 个 凸 函 数 f(z) 应 用 到 随机 变量 X 上 时 ， 假 定期 望 存在 且 有 限 ， 由 詹 森 不 等 式 得 
EL f(X) |] > fCELX)) (C. 26) 
(如 果 对 于 所 有 z, y 和 所 有 OAS, A fAztUd-ADwWXAflM+d—-A f(y)， 则 函数 f(r) 
Py PR.) 
方差 和 标准 差 
随机 变量 的 期 望 并 不 会 反映 出 变量 值 的 分 布 与 发 散 情 况 。 例 如 ， 者 有 随机 变量 XX 和 Y， 其 
中 Pr{ X=1/4}=Pr{ X=3/4}=1/2 H. Pr(Y=0}=Pr{Y=1}=1/2, HBA ELXj] 与 ELYj 均 为 1/2, 
但 是 立 的 实际 取 值 离 均值 比 X 的 实际 取 值 离 均值 远 得 多 。 
方差 的 概念 在 数学 上 表达 了 一 个 随机 变量 可 能 离 均值 有 多 远 。 均 值 为 EL] 的 随机 变量 X 的 
方差 为 
Var_X |= EL(X — ELX])’| = ELX — 2XELX] + ELX]] 
= EL X] — 2ELXELX]] + ELX] 
= E[ X] — 2ELX]+ ELX] = ELX: ]— ELX] (C. 27) 
注意 ， 因 为 EXAM EMINA, PLX], MUA ELELX]]SELX]. xX 
E[ XELXJJ=E’LXIBM GAC. 22)， 其 中 4 二 ELX]。 重 写 等 式 (C. 27) 得 到 随机 变量 平方 的 期 望 
的 一 个 表达 式 ; 
ELX? ] = VarLX]+E°LX] (C. 28) 
了 机变 X 的 方差 与 aX 的 方差 的 关系 为 ( 见 练习 C. 3-10): 
Var[ aX | = a’ Var| X] 
4X 和 Y 是 独立 随机 变量 时 ， 
Var X +Y] = Var[ X] + Var[Y] 


1198 


1199 


702 


1200 


1201 


ie 如 果 ?个 随机 变量 X， s X2, 
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wees X, 是 两 两 独立 的 ， 那么 


Var| 下 > \Var[X ] (C. 29) 
i=l i=l 


随机 变量 X 的 标准 差 是 X 的 方差 的 非 负 平方 根 。 随 机 变量 X 的 标准 差 表示 为 cx ， 或 者 当 随 
机 变量 X 在 上 下 文中 很 明确 时 ， 简 写 为 c。 利 用 这 一 符号 ，X 的 方差 表示 为 c 。 


练习 
C. 3-1 


C. 3-2 


C. 3-3 


C. 3-4 


*( 3-5 
*C. 3-6 


x( 3-7 


C. 3-8 
C. 3-9 


我 们 投掷 两 个 普通 的 6 ARS. APSR CA MBBS? ASR PARK 
值 的 期 望 是 多 少 ? 
数组 ALL. .zj 包含 ”个 不 同 数字 ， 且 顺序 随机 ， 每 种 排列 均 为 等 可 能 的 。 该 数组 中 最 大 
元 素 下 标的 期 望 是 多 少 ? 最 小 元 素 下 标 值 期 望 是 多 少 ? 
在 一 场 狂 欢 节 游戏 中 ， 将 3 个 货 子 放 在 一 个 旱 子 中 。 一 位 游戏 者 可 以 在 1 到 6 中 的 任意 数字 
EN 1 美元 。 主 持 人 播 单 子 ， 并 按 如 下 方案 确定 游戏 者 所 得 回报 。 如 果 游 戏 者 赌 的 数字 没有 
出 现在 任何 一 个 骨 子 上 ， 则 他 输 掉 1 美元 。 如 果 他 赌 的 数字 恰好 出 现在 & 个 从 子 上 ， 
k 二 1，2，3, 则 他 可 以 保留 他 的 1 美元 ， 并 赢得 & 美 元 。 请 计算 玩 这 个 游戏 一 次 的 期 望 收入 。 
WH: AX SY MAEM MLE, W 
EL max(X,Y) ]< E[X]+ELY] 

令 和 与 了 是 独立 随机 变量 。 证 明 对 于 任何 函数 Pe, fOOM g(Y) 是 独立 的 。 
令 X 是非 负 随机 变量 ， 并 假定 ELXj 是 有 定义 的 。 证 明 马 尔 可 夫 不 等 式 : 对 于 所 有 COO, 

Pr{X >t} < ELX]/t CC. 30) 
S S 为 样本 空间 ，X 和 X RAL, WERTE SES, A XOX Cs). WEA: 对 
FERRERS t, 

Pr{X > t} > Pr{X’ > 2} 

一 个 随机 变量 的 平方 的 期 望 与 其 期 望 的 平方 哪个 大 ? 
TE: 对 于 任意 取 值 仅 为 0 或 1 的 随机 变量 X， 有 VarLX]=ELXJEL1—X]. 


C.3-10 ”根据 方差 定义 (公式 (C. 27)) 证 明 ，Var[aX] 一 a2Var[X]。 


C. 4 几何 分 布 与 二 项 分 布 
我 们 可 以 将 掷 硬币 看 做 伯 努 利 试验 的 一 个 例子 。 伯 努 利 试验 有 两 种 可 能 的 结果 : 成 功 ， 其 概 


率 为 p; 失败 ， 其 概率 为 q=1—p. HWS 
个 伯 努 利 试验 时 ， 约 定 这 些 试验 是 相互 独立 
的 ， 且 除非 特殊 说 明 ， 每 个 试验 具有 相同 的 成 
功 概率 p。 从 伯 努 利 试验 得 出 两 个 重要 的 分 
布 : 几何 分 布 与 二 项 分 布 。 

几何 分 布 

假定 我 们 有 一 系列 伯 努 利 试验 ， 其 中 每 一 
个 的 成 功 概率 为 加， 失败 概率 为 q=1—p. 在 
获得 一 次 成 功 前 要 进行 多 少 次 试验 ? 定义 随机 
变量 义 为 获得 一 次 成 功 所 需 的 试验 次 数 。X 
的 取 值 范围 为 (1，2,，…}， 且 对 于 & 之 1， 因 为 
一 次 成 功 前 有 一 1 次 失败 ， 所 以 有 

PriX =k} = ¢`' p (C. 31) 

一 个 满足 等 式 (C. 31) 的 概率 分 布 称 为 几何 分 
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图 C-1 成 功 概率 为 p= 1/3, RBA q=1—p 
的 几何 分 布 。 分 布 的 期 望 是 1/p=3 


> k 


附录 C 计数 与 概率 。 703 


布 。 图 C-l 描绘 了 这 样 的 一 个 分 布 。 1202 
假定 a 二 1; 利用 恒等式 (A. 8) 可 以 计算 几何 分 布 的 期 望 ， 
bat Atk ak PG he 1 as , A 
E[X] 21 ka cae 21a ac ers 1/p (C. 32) 


因此 ， 获 得 一 次 成 功 前 平均 要 经 历 1/p 次 试验 。 这 是 一 个 很 直观 的 结论 。 方差 也 可 以 用 类 似 方 
法 计算 ， 但 是 需要 利用 练习 A. 1-3, 方差 是 
| Var[X] = gq/ (C. 33) 

举例 来 说 ， 假 定 我 们 反复 掷 两 个 山子 直到 获得 一 个 7 或 11。36 个 可 能 的 结果 中 ，6 个 可 以 得 
到 7，2 个 可 以 得 到 11。 因 此 ， 成 功 的 概率 为 2 一 8/ 36 一 2/9， 并 且 我 们 必须 平均 掷 1/p=9/2=4.5 
次 才能 获得 一 个 7 或 11。 

二 项 分 布 

令 一 但 努 利 试验 的 成 功 概率 为 p， 失 败 概 率 为 q=1— p, M nn 次 伯 努 利 试验 中 会 有 多 少 次 成 功 ? 
定义 随机 变量 为 次 试验 中 成 功 的 次 数 ， 则 X 的 取 值 范围 为 0，1，…, nn}。 对 于 =0，1,…, n 


因为 存在 (% ) 种 方法 来 选 出 n 次 试验 中 哪 & 次 成 功 ， 而 每 个 发 生 的 概率 是 pq, BTL 


Be Ce" q> (C. 34) 


满足 等 式 (C. 34) 的 概率 分 布 称 为 二 项 分 布 。 为 bk 15,13) 


blk;n,p) = Ce" C1—p)"* (C.35) 020 


图 C-2 描绘 了 一 个 二 项 分 布 。 名 称 “ 二 项 ”来 源 0.15 
于 等 式 (C. 34) 右 侧 是 (p 十 gq)" 的 二 项 展开 式 中 








的 第 & 项 。 因 为 ptq=1, 1203 
SC eae (oe) Male 
满足 了 概率 公理 2 的 要 求 。 a eae 9 10 11 1213 1415 
(C. 8) FICC. 36) Ay LIT 一 个 
a aia pearl 图 C-2 由 15 次 伯 努 利 试验 得 到 的 二 项 分 布 5C&; 
ney A i A e ee: a 其 中 ， 伯 努 利 试验 的 成 功 概 
` a, p ? o Pp 三 1/3。 分 布 的 期 望 是 np 二 5 
根据 期 望 的 定义 ， 有 
EL X |= Se e Pr{X = k} 
= Sie ° b(k3n, p) 
S n k „n—k 
= >") q 
n /n—1 
全 np >| 1 eg GRIES A CC. 8)) 
e > wr Hp go 1204 


n—l 


np >) b(k;n— 1, p) 
k=0 
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= np (根据 等 式 (C. 36)) (C. 37) 

通过 使 用 期 望 的 线性 性 质 ， 我 们 可 以 获得 相同 的 结论 ， 同 时 大 幅 减 少 了 算术 运算 量 。 令 X, 

是 描述 第 i 次 试验 中 成 功 次 数 的 随机 变量 ， 则 ELX = 二 p，1 十 ga， 0 二 p， 并 且 根 据 期 望 的 线性 性 
ECAC. 21), n 次 试验 中 成 功 次 数 的 期 望 为 


E[X]= E| > = D ELX: = Dp ih (C. 38) 


我 们 也 可 以 用 相同 的 方法 来 计算 分 布 的 方差 。 利 用 等 式 (C.27)， 有 VarLX; |] = ELX? ]— 
ELX] AX X: 只 能 取 值 0 和 1， 所 以 有 Xi=X;, PEMA ELX}J-ELX:J=p. At, 


Var_X;] = p— # = pA — p) = pq (C. 39) 
我 们 可 以 利用 次 试验 之 间 的 独立 性 来 计算 X 的 方差 。 因 此 ， 根 据 等 式 (C. 29), 
Varl X |= Var| > x: | = 2; Var Xi] 一 之 ,2g = npq (C. 40) 


如 图 C-2 所 示 ， 二 项 分 布 b(&; n, DME k 的 增长 而 增长 ， 直 到 达到 均值 np; 之 后 分 布 
开始 下 降 。 通 过 观察 相 邻 项 之 间 的 比值 ， 我 们 可 以 证 明 二 项 分 布 总 是 符合 此 规律 


("|p gr 
_blksn,p) _ k _ nl(k— D1(n—k 二 1)! 
b(k— 1;n,p) n k\i(n—k) Inlq 
(" )e ee (C. 41) 


ea) a e 
q q 


当 (n 十 1)p 一 & 是 正 数 时 ， 该 比值 严格 大 于 1。 因此， 对 于 二 (xn 十 1)p WL, OC; n, p)>blk—1; 
72， 力 ) (分布 递 增 ); 对 于 这 (十 Dp IAL, bk; n， 力 二 pL& 一 1; n，p) (分 布 递 减 )。 如 果 k= 二 (十 Dp 
是 一 个 整数 ， 则 bk; 2， 力 一 0 一 1; n，p)， 因 此 分 布 在 k= 二 (n 十 Dp 处 和 k 一 1 二 xr 十 Dp 一 1 二 np 一 q 处 
均 取 得 最 大 值 ， 否 则 ， 分 布 在 唯一 整数 处 取 最 大 值 ， 其 中 ,np 一 qa<k<(n 十 Dp。 

下 面 的 引 理 给 出 了 二 项 分 布 的 一 个 上 界 。 

引 理 C.1 令 n 宇 0， 0<p<l, q=1—p 且 0<k<n, N] 


blk;n,p) S (ey (2y 
证 明 利用 等 式 (C. 6)， 有 


blk;n,p)= Ce" q™ < (4) (5 p q"™ = (2) (24)" E 





练习 


C.4-1 对 几何 分 布 验 证 概率 公理 2。 

C.4-2 接 6 个 骨 子 平均 要 撕 多 少 次 才能 得 到 3 个 正面 和 3 个 反面 的 结果 ? 

C.4-3 WEAR: blk; n，p) 二 b(n 一 k; n, q), HH q=1— p. 

C. 4-4 WH: Hat blk; n，p) 的 最 大 值 近似 等 于 1/ J 2nnpq, HF q=1—p. 


*C. 4-5 证明: n 次 伯 努 利 试 验 ( 成 功 概率 为 p 二 1/n) 一 次 也 未 成 功 的 概率 近似 等 于 1/e。 证 明 : 只 


有 一 次 成 功 的 概率 也 近似 为 1/e。 


*C.4-6 Rosencrantz 教授 与 Guildenstern 教授 各 扔 一 枚 均匀 硬币 nK. WR: 他 们 得 到 正面 朝 上 


次 数 相同 的 概率 为 (Fe. (提示 : 对 于 Rosencrantz 教授 ， 称 正面 为 成 功 ; 对 于 
Guildenstern 教授 ， 称 背面 为 成 功 ,) 并 用 你 的 结论 来 验证 恒等式 | 

<i n\" 2n 

DE) =) 


k=0 
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*C. 4-7 证明: 对 于 O<k<n, 
b(k3n,1/2) <2 
其 中 A(x) FE PAB (ZS58 C. 7))。 
*C. 4-8 ”考虑 次 伯 努 利 试验 ， 其 中 i 二 1，2，…，n， 第 i 次 试验 成 功 的 概率 为 p;， 令 X 为 表示 
总 成 功 次 数 的 随机 变量 。 令 对 所 有 i= ly 25 "5 nA p=pP;. 证 明 : 对 于 1<k<n, 
Pr{X < k} 之 > Do n, p) 
1C. 4-9 令 X 为 表示 ?次 伯 努 利 试验 构成 的 集合 A 中 总 成 功 次 数 的 随机 变量 ， 其 中 第 i 次 试验 成 
功 的 概率 为 p;， 并 令 X 为 表示 另 一 个 由 ?个 伯 努 利 试验 构成 的 集合 A 中 总 成 功 次 数 的 随 
机 变量 ， 其 中 第 i KARRIER ppo WH: 对 于 O<R<n, 
Pr{ X >k) >Pr{ X>k} 
(提示 : ema A 中 试验 的 实验 来 获得 A 中 的 伯 努 利 试验 ， 并 使 用 练习 C. 3-7 
中 的 结论 


“C.5 二 项 分 布 的 尾部 

对 于 成 功 概率 为 p 的 伯 努 利 试验 ， 相 比 于 恰好 成 功 k 次 的 概率 ， 我 们 通常 对 n 次 伯 努 利 试验 
中 至 少 或 至 多 有 上 次 成 功 的 概率 更 感 兴趣 。 本 节 中 ， 我 们 研究 二 项 分 布 的 尾部 :分布 bp(k; n, 
Pp) PRE REA np 的 区 域 。 本 节 将 证 明 尾部 上 的 几 个 重要 界 ( 尾 部 中 所 有 项 的 和 ) 。 

首先 ， 我 们 给 出 分 布 5(&; 2，z) 的 一 个 右 尾 部 的 界 。 通 过 对 换 成 功 与 失败 的 概率 ， 我 们 可 
以 确定 左 尾 部 上 的 界 。 

定理 C. 2 考虑 nn 次 伯 努 利 试验 的 序列 ， 其 中 成 功 概率 为 p。 令 义 是 表示 成 功 次 数 的 随机 变 
量 ， 则 对 于 0 二 hn， 至 少 成 功 上 次 的 概率 为 


Pr{X > k} = > < Ce" 
i=k 


则 Pr(As)= p. RNA 
Pr(X > k} = Pr{ #H SC {1,2, sn}: |S| =k% As} 
SH {1,2 sn}: | S| =k 


Ss} Pr{As} (根据 等 式 (C. 19)) 


sc{1,2,01n): | S| =e 


下 面 的 推 沦 又 给 出 了 二 项 分 布 左 尾部 的 定理 。 通常 ， 我 们 将 一 个 尾部 的 结论 应 用 到 另 一 个 
尾部 的 证 明 工 作 留 给 读者 来 完成 。 

推论 C.3 考虑 nn 次 伯 努 利 试验 的 序列 ， 其 中 成 功 概率 为 p。 若 天 是 表示 成 功 次 数 的 随机 变 
量 ， 则 对 0<hk<n， 至 多 成 功 上 次 的 概率 为 


: PriX<k}= Timp) < Bi í Jaap = C)a-p 图 


下 面 考 虑 二 项 分 布 的 左 尾 部 的 界 。 其 推论 证 明 ， 在 远离 均值 时 ， 左 尾部 按 指数 级 缩减 。 
定理 C. 4 考虑 即 次 伯 努 利 试验 序列 ， 其 中 成 功 概 率 为 p, 失败 概率 为 g9 一 1 一 训 。 令 和 为 表 
示 总 成 功 数 的 随机 变量 ， 则 对 于 0<k<np， 少 于 上 次 成 功 的 概率 为 
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k—-1 
PrX<k}= Dbm p) < pak kins) 
i=0 


证 明 ”这 里 用 A2 节 中 的 方法 一 一 利用 几何 级 数 确定 级 数 > disp) 的 界 。 对 于 ;一 1，2，…. 
&， 由 等 式 (C 41)， 


bli— l; $7» b) ig ig < kq 
b(isn, p) Garni. (n—i)p ~(n—k)p 
如 果 令 


__kq -pk -pk 一生 
ry a app nqp io 


则 对 于 O<i<k, A 

bli— 1;n,p) < xb(i;n, p) 
对 该 不 等 式 迭 代 & 一 : 次 ， 得 到 

blizn, p) < ‘b(n, p) 
其 中 O<i<k, Alb 


& 一 ] 


之 ,00 ns p) < DE sns p) < bk; np) dy 


= Tees np) = pe n, p) B 


推论 C.5 考虑 nn 次 伯 努 利 试验 ， 其 成 功 概 率 为 p， 失 败 概率 为 9 二 1 一 p， 则 对 于 O<KkSnp/2, 
少 于 次 成 功 的 概率 小 于 少 于 十 1 次 成 功 的 概率 的 一 半 。 
证 明 因为 k<np/2 与 q<1， 所 以 有 


hg (np/2)g _ (np/2)g 
np —k~np —Gp/2)— np? =! ae 
令 和 是 表示 成 功 次 数 的 随机 变量 ， 由 定理 (C. 4) 和 不 等 式 (C. 42) 可 得 少 于 有 次 成 功 的 概率 为 


& 一 1 
PriX<k} = > blin, p) < blk;n, p) 


k—1 
MAW >) bCisns p) < blkin, p), BELA 


& 一 1 k=l 
Ee E a a a " 
Prix<kt+l) < < 


>) blin, p) > bGisns p) + b(Ry ns p) 

求 右 尾部 界 的 方法 与 此 类 似 。 练 习 C. 5-2 要 求 读 者 给 出 其 证 明 。 

推论 C.6 考虑 nn 次 伯 努 利 试验 ， 其 中 成 功 概 率 为 p。 令 六 为 表示 成 功 次 数 的 随机 变量 ， 则 
对 于 np 二 kn， 获 得 多 于 次 成 功 的 概率 为 


Pr{X > k} = Sain) < Foo chimp) = 

i 二 k+l 
推论 C.7 考虑 nn 次 伯 努 利 试验 ， 其 中 成 功 概率 为 p， 失 败 概率 为 gq 二 1 一 p， 则 对 于 (np 十 
n)/2 二 kn， 多 于 让 次 成 功 的 概率 要 小 于 多 于 一 1 次 成 功 的 概率 的 一 半 。 加 


下 面 的 定理 考虑 次 伯 努 利 试验 ， 其 中 对 于 i 二 1，2，…，n， 有 成 功 概率 p;。 如 后 续 推论 所 
示 ， 可 以 利用 这 一 定理 ， 通 过 为 每 个 试验 设 定 p; 二 pp 来 给 出 二 项 分 布 右 尾部 的 一 个 界 。 

定理 C.8 考虑 nn 次 伯 努 利 试 验 ， 其 中 在 第 i(i 二 1]，2，…，n) 次 试验 中 ， 成 功 概 率 为 pis 
失败 概率 为 g; 二 1 一 p;。 令 祥 为 表示 成 功 总 次 数 的 随机 变量 ， 并 令 v=ELX]. PA, HT rp 
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Pr(X—p>r)<(#) 
证 明 因为 对 于 任意 wo 之 0， 函 数 em KF x 严格 递增 ， 


Pri X— u Èr = Pre >e) (C. 43) 
其 中 ， x 将 稍 后 被 确定 。 利用 马尔 可 夫 不 等 式 (C. 30) ， 可 得 
Pre > e) Ee le” (C. 44) 


证 明 的 主体 包括 确定 44) 中 的 a。 首先 , 求 ELE |] 
的 界 。 利 用 指标 随机 变量 的 技术 ( 见 5. 2 节 )， 令 站 一 也 第 ;次 伯 努 利 试验 成 功 } ， 其 中 一 1，2，…， 了 3 
即 随机 变量 X: 满足 若 第 ; 次 们 努 利 试验 成 功 ， 则 X=; ERK, W X; 二 0。 因 此 ， 

LX, 
根据 期 望 的 线性 性 质 ， 
p = ELX] = EL >) x: = 2 E[X,] = 21: 
这 意味 着 
X—p= (Kp) 
为 求 ELe*™ ], Hie X 一 yj.， 得 到 
Ee J= E| e a$ cX, ae _ e| es | = [[ Ece] 

等 式 由 公式 (C. 24) 得 来 ， 这 是 因为 随机 变量 X, 之 间 相互 独立 意味 着 随机 变量 e*%- 加 之 间 相 互 独 
立 ( 见 练习 C. 3-5) 。 根 据 期 望 的 定义 ， 

E eX) |= eh? p, 十 est tg, 三 二 pe 十 gie < pe 十 1 < exp( p;e") (C. 45) 
其 中 exp(z) 表 示 指 数 函数 : exp(z) =e, (不 等 式 (C. 45) 来 自 不 等 式 a>0, gl, ew Se," A 


OSL, 同时 最 后 一行 来 自 不 等 式 (3.12))。 又 因为 /一 Dp MAR 


ete “Xr |= ILG | TI epcg. e) = exp( Dp e ) = exp(ne") (C. 46) 


因此 ， 根据 等 式 (C 43) 和 不 等 式 (C WEC. 46), Æ 
Pr{X — uÈ r} < exp(ue* — ar) (C. 47) 
选择 a= mo ( 见 练习 C. 5-7) ， 得 到 


Pr(X— p> ry< exp{ue™”” —rln(r/p)) = exp(r—rln(r/p)) = = (£) a 
Psy A r 


当 将 定理 C 8 应 用 到 成 功 概率 相同 的 多 个 伯 努 利 试验 中 时 ， 可 以 得 出 如 下 确定 二 项 分 布 右 
尾部 界 的 推论 。 

推论 C.9 考虑 次 伯 努 利 试验 的 序列 ， 其 中 每 次 试验 成 功 概率 为 p， 失 败 概 率 为 一 1 一 ， 
则 对 r>np, | 


En mp oa Zz as mp) < (BE) 


证 明 MESAC 37), A w=ELX]=np. m 
练习 : 
*C. 5-1 抛掷 一 枚 均匀 硬币 ”次 都 为 反面 朝 上 的 概率 与 抛掷 一 枚 均匀 硬币 4n 次 得 到 少 于 ”个 正面 
的 概率 哪个 小 ? 


*C. 5-2 ”证明 推论 C. 6 和 推论 C.7。 


1212 


1213 


708 > 第 八 部 分 附录 : 数学 基础 知识 


*C. S-3 WH: 对 于 所 有 满足 0<&<xa/(a 十 1) 的 ac>>0 和 &， 有 


n\ , on ae 
>) (“a < a+" -ipta (a+) 


*C.5-4 TEAR: FB 0 二 k 二 np， 其 中 0<p<1 H q=1—p, MW 
par < Ei) GT 
*C. 5-5 ”利用 定理 C. 8 的 证 明 ， 对 于 np, 
Prip—X>r} < (C= 
类 似 地 ， 利 用 推论 C. 9 证 明 ; WF r>n—np, 
Prinp —X >r) < (E) 


*C. 5-6 ”考虑 对 次 伯 努 利 试验 的 序列 ， 其 中 第 ;次 成 功 的 概率 为 p;， 失 败 的 概率 为 % 王 1 一 户 ，; 一 1， 
2, 0, ne S X 为 表示 成 功 总 数 的 随机 变量 ， 令 y= 二 EL[X]。 WH: 对 于 > 之 0， 有 
Pr{X—plor}<er™ 
(提示 : 证 明 pe? +qe%<e”, RGEC. 8 的 证 明 思 路 ， 并 利用 该 不 等 式 替 代 
不 等 式 (C. 45) 。) 
*C.5-7 证明: 选择 a 二 ln(r/p) 可 以 使 不 等 式 (C. 47) 右 侧 取 最 小 值 。 


思考 题 
Cl REST) 在 本 题 中 ,我 们 研究 了 在 几 种 假设 条 件 下 ， 将 n TRKE 个 箱子 的 方法 数 。 
a 假定 ”个 球 是 不 同 的 且 不 考虑 它们 在 盒子 中 的 顺序 。 证 明 : 有 br 种 方法 将 球 放 人 会 
Th 
b. 假定 ”个 球 是 不 同 的 且 它 们 在 盒子 中 有 序 。 证明; 恰 有 (8 一 1)! /(6 一 1)! 种 方法 将 球 
放 人 盒子 中 。( 提 示 : 考虑 将 ?个 不 同 的 球 和 2 一 1 根 相同 的 棍子 排列 成 一 排 的 方法 数 。) 
c. 假定 = 个 球 是 相同 的 ， 从 而 无 需 考虑 其 在 盒子 中 的 顺序 。 证 明 : 将 球 放 人 盒子 的 方法 数 
BEG"). GR: 若 球 相同 ， 则 (b) 中 的 排列 有 多 少 是 重复 的 ?) 
d 假定 球 是 相同 的 ， 且 每 个 盒子 最 多 只 能 放 一 个 球 ， 从 而 有 nb. ER: 将 球 放 和 人 盒子 中 
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的 方法 数 是 (*) 。 
e 假定 球 是 相同 的 ， 并 且 盒 子 不 能 为 空 。 假 定 nb, 证 明 : 将 球 放 人 盒子 的 方法 数 
(7) 
b—1/° 
附录 注 记 


B. Pascal 和 P. de Fermat 在 1654 年 的 一 封闭 名 通信 中 ， 第 一 次 讨论 了 解决 概率 问题 的 一 般 方 
法 。 这 一 内 容 也 出 现在 1657 Æ C. Huygens 的 书 中 。 严 格 的 概率 理论 始 自 J Bernoulli 在 1713 年 和 
A. De Moivre 在 1730 年 的 工作 。P. -S. Laplace, S -D. Poisson 与 C. F. Gauss 更 深入 发 展 了 这 门 理论 。 

P. L. Chebyshev 和 A. A. Markov 首次 研究 了 随机 变量 的 和 。A. N. Kolmogorov 在 1933 年 完 
成 了 概率 论 公 理化 工作 。ChernoffL66] 和 HoeffdingL173] 提 出 了 分 布 尾 部 的 界 。P. Erdos 在 随机 
组 合 结构 方 面 做 出 了 开创 性 的 工作 。 

Knuth[ 209] 与 LiuL237] 是 基础 组 合 与 计数 理论 很 好 的 参考 。 权 威 的 教科 书 ， 如 Billingsley 

[46 ]、Chung[ 67]、Drake[ 95 ]、Feller[ 107 和 Rozanov[ 300 为 概率 论 提 供 了 很 全 面 的 介绍 。 
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矩阵 来 源 于 众多 的 实际 应 用 ， 其 中 包括 (但 不 仅 限 于 ) 科 学 计算 。 如 果 你 曾经 学 习 过 矩阵 相关 
的 知识 ， 那 么 会 对 本 附录 中 许多 内 容 感到 熟悉 ， 但 部 分 材料 对 你 而 言 可 能 还 是 陌生 的 。D. 1 证 介 
绍 矩 阵 的 基本 定义 和 基本 操作 。D. 2 节 介 绍 矩 阵 的 几 个 基本 性 质 。 


D. 1 矩阵 与 矩阵 运算 

本 节 中 ， 我 们 将 回顾 矩阵 理论 中 的 几 个 基本 概念 与 矩阵 的 几 个 基本 性 质 。 

矩阵 与 向 量 

矩阵 是 矩形 的 数组 。 例 如 ， 

al Ay jz 1 2 3 
a [ a22 e] E p 5 a oo 

— 4 2X3 ER A=—(a,), Ep i=l, 2, j=1, 2, 3, BR PBI 行 第 7 列 的 元 素 通常 表示 为 
ai 。 我 们 用 大 写字 母 来 表示 矩阵， 并 用 其 对 应 的 标 有 下 标的 小 写字 母 来 表示 矩阵 中 元 素 。 我 们 用 
Rnx" 来 表示 所 有 元 素 为 实数 的 盖 Xz 和 矩阵 集合 。 一 般 而 言 ， 元 素来 自 集合 S 的 m Xn 矩阵 的 集合 
可 以 用 S”" 来 表示 ，。 
通过 交换 矩阵 A 的 行 和 列 获得 的 矩阵 是 矩阵 4 的 转 置 A"。 对 于 等 式 (D. 1) 中 的 矩阵 A， 其 
转 置 为 | 








向 量 是 一 维 数组 。 例 如 ， 








是 一 个 大 小 为 3 的 向 量 。 有 时 ， 称 长 度 为 的 向 量 为 n 向 量 。 通 常 使 用 小 写字 母 来 表示 向 量 ， 同 
时 用 z 来 表示 7 维 向 量 z 中 第 i 个 元 素 ，i 一 1，2，…，n。 我 们 将 向 量 的 标准 形式 定义 为 列 向 
E, B nX 矩阵 ;通过 转 置 可 以 获得 其 对 应 的 行 向 量 ; 
| Z 一 (2 3 5) 

单位 向 量 。 是 除 第 i 个 元 素 为 1 外 其 他 元 素 均 为 0 的 向 量 。 通 常 ， 单 位 向 量 的 大 小 可 由 上 下 文 内 
容 获 知 。 
所 有 元 素 均 为 0 的 矩阵 是 一 个 零 矩 阵 。 该 矩阵 通常 表示 为 0。 这 种 表示 与 数字 0 相同 ， 所 产 
生 的 歧义 一 般 可 以 通过 上 下 文 内 容 轻 易 地 消除 。 同 时 ， 在 用 0 表示 零 矩 阵 时 ， 和 矩阵 大 小 也 需要 从 
上 下 文中 推测 。 

方 阵 

正方 形 nXn 矩阵 非常 常见 。 我 们 通常 对 方 阵 的 几 个 特例 感 兴趣 。 

1. 若 一 个 矩阵 中 对 于 任意 Aj, WA 0; 一 0， 则 该 矩阵 是 一 个 对 角 矩 阵 。 因 为 对 角 和 矩阵 的 非 
对 角 元 素 均 为 0， 所 以 只 需要 列 出 其 对 角 线 上 的 元 素 就 可 以 表示 一 个 对 角 和 矩阵 ; 
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Qlil 0 0 
0 Q22 0 
diag(a,, 9Q929°°° sann) = : 
0 0 eee Ann 
2. 称 对 角 线 元 素 均 为 1 的 Xn AEE nxn BER I, 
1 0 eee 0 
0 1 eee 0 
I, = diag(1,1,+°**,1) 一 s 。 。 ° 
0 0 eee 1 


当 了 的 下 标 没 有 标明 时 ， 和 矩阵 的 大 小 需 从 上 下 文 获 知 。 单 位 矩阵 的 第 i 列 是 单位 向 量 e;。 

3. 若 一 个 矩阵 满足 当 | i—i >11, 与 二 0， 则 该 矩阵 是 三 对 角 和 矩阵 T。 三 对 角 矩 阵 中 的 非 
零 项 只 能 出 现在 主 对 角 线 上 ， 仅 靠 对 角 线 上 侧 Cti » t=1, 2, oe, n 一 1) 或 者 紧 靠 对 角 线 下 侧 
(o i=l, 2, **, n—l1): 


ti tz 0 0 0 0 0 
ta tee ts 0 0 0 0 
O tz t3 ta 0 0 0 
下 
0 0 0 O 8 there treet 0 
0 0 10 0 6 Ters berei teas 
0 0 0 0 «es 0 bowa Le 


4. 乔 一 个 矩阵 满足 对 于 任意 >j, H u =0, WERELERBRU. RWARU PH cRY 
HF: 


Ui Uz Ui 
U 0 U2 Wo 
0 0 eee Unn 


奉 一 个 上 三 角 和 矩阵 对 角 线 上 元 素 均 为 1， 则 它 是 单位 上 三 角 和 矩阵 。 
5 者 一 个 矩阵 满足 对 于 任意 i<j, A 50, WER PERE 工 。 其 对 角 线 以 上 的 元 素 均 
为 零 ， 


li 0 0 
a la "e Ln 


藻 一 个 下 三 角 和 矩阵 对 角 线 上 元 素 均 为 1， 则 它 是 单位 下 三 角 和 矩阵 。 
6. 大 一 个 矩阵 每 行 每 列 均 有 且 仅 有 一 个 1， 其 他 位 置 均 为 0， 则 称 之 为 排列 和 矩阵 了。 例如 ， 


0 1 0 0 0 
00 0 1 0 
P=|1 000 0 
00 0 0 1 
0010 0 


之 所 以 称 为 排列 矩阵 ， 是 因为 将 一 个 向 量 xz 乘 以 一 个 排列 矩阵 起 到 了 排列 (重新 排列 )z 中 元 素 的 
效果 。 练 习 D. 1-4 研究 了 排列 矩阵 的 一 些 其 他 特性 。 
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7. 若 一 个 矩阵 A 满足 A 王 人 ， 则 该 矩阵 为 对 称 矩 阵 。 例 如 ， 
1 2 3 
: 6 4 


3 4 5 





是 一 个 对 称 矩 阵 。 

矩阵 基本 操作 

矩阵 或 向 量 的 元 素 是 数 系 中 的 数 ， 例 如 ， 实 数 、 复 数 ， 或 者 整数 取 模 某 素数 。 数 系 定 义 了 数 
上 的 加 法 与 乘法 规则 。 这 里 ， 我 们 扩展 这 些 定义 使 之 包含 矩阵 上 的 加 法 与 乘法 。 

定义 矩阵 加 法 如 下 。 如 果 A=(a;) 和 B=(6; ) 是 mXn 矩阵， 那么 两 者 的 矩阵 和 C=(c;) = 
A 十 B 也 是 一 个 mXn 和 矩阵 ， 其 中 ， 对 于 i 二 1，2，…，m 与 ;二 1，2,，…，n， 定 义 

cf =a; +b; 
即 矩 阵 相 加 是 将 两 矩阵 对 应 位 置 上 的 元 素 进行 加 法 。 零 矩阵 是 矩阵 加 法 的 单位 元 ， 
A+0=A=0+A 

如 果 4 是 一 个 数 ，A= (a; ) 是 一 个 矩阵 ， 那 么 MA= Gai ) 是 A 的 一 个 标量 倍数 。 可 以 通过 将 矩 
阵 中 每 个 元 素 分 别 乘 以 A 获得 标量 倍数 。 作 为 一 个 特例 ， 定 义 矩 阵 A= (a; ) 的 负 为 一 1. A=—A, 
和 矩阵 一 A 的 第 AT 5 列 的 元 素 为 一 a AE, 

A 十 (一 4) =0=(CA)+A 

我 们 使 用 矩阵 的 负 来 定义 矩阵 减法 ， A—B=A+(—B), 

REI. ASABE A 和 B， 即 A 的 列 数 与 B 的 行 数 相等 。( 通 常 ， 一 
个 包含 矩阵 积 AB 的 表达 式 总 是 假定 矩阵 A AB HAW.) MR AS (a ) 是 一 个 mXn 的 矩阵 ， 
并 且 B= (6 ) 是 一 个 nXp 矩阵， 那么 它们 的 积 C=AB 是 一 个 mXp 和 矩阵 C=(c;)， Si 对 于 
i=l, 2, «+, m, j=l, 2, *, p', 


= = Daubs (D. 2) 


4, 2 节 中 的 SQUARE-MATRIX-MULTIPLY 过 程 在 假定 矩阵 是 方 阵 ( 即 7 一 ?一 力 ) 的 前 提 下 ， 用 
一 种 基于 等 式 (D. 2) 的 直接 方式 实现 矩阵 乘法 。 在 将 两 个 nXn 矩阵 相 乘 的 过 程 中 ，SQUARE- 
MATRIX-MULTIPLY 进行 了 n° 次 乘法 和 和 天 (2 一 1) 次 加 法 ， 所 以 其 运行 时 间 为 O). 
许多 (但 并 非 全 部 ) 典 型 的 数字 算术 性 质 亦 为 矩阵 所 有 。 单 位 矩阵 是 矩阵 乘法 的 单位 元 。 对 于 
任意 mXn EREA, 
| L,A=AlI,=A 
将 任意 矩阵 A 乘 以 零 矩阵 总 得 到 零 矩阵 : 
AO = 0 
矩阵 乘法 满足 结合 律 ， 
A(BC) = (AB)C 
其 中 ， 和 矩阵 A、B 和 C 是 相 容 的 。 和 矩阵 乘法 对 加 法 满足 分 配 律 ， 
A(B+C) = AB+AC 
(B+OD=BD+CD 


对 于 > 1 TE 例如 , 车 A=[” 。], B=[? °], w 


| | 
AB 
0 0 
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mal i 


在 求 矩 阵 -向 量 乘积 或 者 向 量 -向 量 乘 积 时 ， 可 以 将 向 量 看 做 一 个 等 价 的 nX1 矩阵 (如 果 是 行 
Ht, WAMI Xn). Ak, G@ARmxXn Pe, chnWe, N) Arm aE., WR fy 
HJA n mÆ, M 


T J= Sao: 
是 一 个 数值 (实际 上 是 1X1 矩阵)， 并 称 之 为 x By WAR. FER xy 是 2X7z 和 矩阵 Z， 并 称 之 为 
X Ej y 的 外 积 ， 其 中 Zj —ZLiVj 0 定义 7 [al x 的 ( 欧 几 里 得 ) 范 式 川 zj|| 为 
acl] = Cah tab ter ta?) = (ate) 
由 此 可 知 ，z 的 范式 即 是 其 在 维 欧 几 里 得 空间 内 的 长 度 。 


练习 


D.1-1 WH: ÆA S5 BIA nXn 对称 矩阵 ， 则 A 十 B 和 A 一 B 也 是 nXn 对 称 和 矩阵 。 

D. 1-2 EAA: (AB)T=BTAT, RATA 是 对 称 和 矩阵 。 

D. 1-3 证 明 : 两 个 下 三 角 和 矩阵 的 积 是 下 三 角 和 矩阵 。 

D. 1-4 WH: 若 书 是 2X7z 排 列 矩 阵 ，A 是 2X?z 和 矩阵 ， 则 矩阵 积 PA 是 A 行 变换 后 的 和 矩阵， 而 
矩阵 积 AP 是 和 矩阵 A 列 变 换 后 的 和 矩阵。 证 明 ， 两 个 排列 矩阵 的 积 是 排列 矩阵 。 


D.2 矩阵 的 基本 性 质 


本 节 中 ， 我 们 定义 与 矩阵 相关 的 几 个 基本 性 质 ， 逆 ， 线 性 相关 与 无 关 ， 秩 和 行列 式 。 本 节 还 
将 给 出 正定 矩阵 的 定义 。 

和 矩阵 的 逆 、 秩 和 行列 式 

ENX nXn EEA HBA NRA AWE AA = ISATA 的 nXn 和 矩阵 。 例如， 


ri for 4 
| =|; E 
许多 非 零 nXn 和 矩阵 没有 逆 矩 阵 。 一 个 没有 逆 的 矩阵 称 为 不 可 逆 的 ， 或 奇异 的 。 下 面 给 出 一 个 非 
零 奇 异 和 矩阵 的 例子 : 
hed 
1 0 


AeA, WROA AERA SE. WR, PARE W. WAY 
D. 2-1.) # A MB AE ATHY n Xn HH, Wy 

(BA) := A`” B` 
逆 操 作 与 转 置 操作 可 以 交换 计算 顺序 : 

(At)? = (AT)? 
如 果 存 在 不 全 为 零 的 相关 系数 Cio C29 °*%9 Cys 使 得 Ci 2} Fezz Hee C—O TU FK [a] et Tı » 
Lrs t, L, 是 线性 相关 的 。 行 向 量 SC 2 3)， zs 二 (2 64) 和 zs 二 (4 11 9) 是 线性 相关 的 ， 因 为 
存在 非 全 零 a, co 和 cs ， 使 得 cz 十 cz 十 cz 一 0， 例 如 ，2z +32,—22,-0. FAMBARER 
性 相关 的 ， 则 它们 是 线性 无 关 的 。 例 如 ， 单 位 矩阵 的 列 向 量 是 线性 无 关 的 。 

AES mXn BHA 的 列 秩 是 A 的 最 大 线性 无 关 列 集合 的 大 小 。 类 似 地 ， 甜 阵 A 的 行 秩 是 和 A 

最 大 线性 无 关 行 集合 的 大 小 。 任 意 矩 阵 A 所 共有 的 一 个 基本 性 质 是 A 的 行 秩 等 于 其 列 秩 ， 所 以 
可 以 简称 为 A 的 秩 。 一 个 mXnn 和 矩阵 的 秩 是 [0，minC(m，n)] 内 的 整数 。( 零 矩阵 的 秩 为 0， 市 


附录 D 4 阵 ， 713 


nXn 单 位 矩阵 的 秩 是 。) 秩 的 另 一 个 等 价 但 更 有 用 的 定义 是 : TES m Xn ERA 的 秩 是 满足 如 下 
条 件 的 最 小 数值 >: FETE mX r EEB Al r Xn REC, #1 


A=BC 

如 果 nXn 方 阵 的 秩 是 wx， 则 它 是 满 秩 的 。 如 果 mXnn 和 矩阵 的 秩 是 wx， 则 其 是 列 满 秩 。 下 面 的 定理 

给 出 了 秩 的 一 个 基本 性 质 。 1223 
定理 D.1 一 个 方 阵 是 满 秩 的 ， 当 且 仅 当 该 方 阵 是 非 奇 异 的 。 a 


矩阵 A 的 空 向 量 z 是 一 个 满足 Az 二 0 的 非 零 向 量 。 下 面 的 定理 (证 明 留 作 练 习 D. 2-7) 及 推 
论 将 阐述 列 秩 和 奇异 性 的 概念 与 空 癌 量 之 间 的 联系 。 
定理 D.2 一 个 矩阵 A 是 列 满 秩 的 ， 当 且 仅 当 该 矩阵 不 存在 空 向 量 。 m 
推论 D.3 一 个 方 阵 A 是 奇异 的 ， 当 且 仅 当 它 有 空 向 量 。 图 
nXn(n>1) Fa A 的 i 行 7 列子 矩阵 是 一 个 删除 A 中 i 行 j 列 后 得 到 的 (n 一 1) X a DEE 
Atilo 我 们 利用 nXn Fee A 的 子 和 矩阵 递归 地 定义 该 矩阵 的 行列 式 : 


ai aAn=1 
det(A) =4 2 
j Dp (一 1) Maydet(Ann) á #n>l 


Th (—1) H det(A MATICK a, 的 代数 余子 式 。 
下 面 的 定理 介绍 了 行列 式 的 基本 性 质 。 这 里 省 略 了 证 明 。 
EE D. 4 行列 式 性 质 ) FRA 的 行列 式 有 如 下 性 质 : 
。 wR A 中 某 行 或 某 列 为 零 ， 则 det(A)=0, 
。 SHEA 的 任意 一 行 (或 列 ) 的 每 个 元 素 乘 以 人 后 ，A 的 行列 式 乘 以 )。 
。 REE A 中 某 一 行 (或 列 ) 的 元 素 加 到 另 一 行 ( 或 列 ) 的 元 素 上 ， 则 A 的 行列 式 不 变 。 
。 HEA 的 行列 式 与 其 转 置 AT 的 行列 式 相等 。 
。 XXR A 的 任意 两 行 (或 两 列 ) 时 ， 行 列 式 政变 正 负 号 。 
同时 ， 对 于 任意 方 阵 A 和 B， 有 det(AB) 王 det(A)det(B)。 
定理 D.5 nXn 佐 阵 A 是 奇异 的 ， 当 且 仅 当 det(A) 一 0。 m [1224 
正定 矩阵 
正定 矩阵 在 许多 应 用 中 扮演 着 重要 的 角色 。 如 果 Xn MEA 满足 对 于 所 有 向 量 z 关 0， 也 


zxTAzx>0， 则 称 A 是 正定 的 。 例如， 单位 矩阵 是 正定 的 ， 因 为 对 于 任何 非 零 向 量 z= (zzo* 
工 , ) 工 ， 有 


站 ya > 0 
根据 如 下 和 定理 可 知 ， 实 际 应 用 中 遇 到 的 矩阵 通常 都 是 正定 的 。 
定理 D.6， 对 于 任意 列 满 秩 的 矩阵 A， 短 阵 A:A 是 正定 的 。 
证 明 ”我 们 需要 证 明 对 于 任意 非 零 向 量 zx， 有 z(AIA)z>>0。 对 于 任意 向 量 z， 
x (ATA) x = (Ar) (Ar) RR A&F D. 1-2) = || Axl]? 
注意 ，|| Az||? 正 是 向 量 Az 中 元 素 的 平方 和 。 因 此 ，|| Az|| :之 0。 如 果 | Arl =0, M Ax 中 的 每 个 
元 素 均 为 0， 即 Ax 二 0。 因 为 A 是 列 满 秩 的 ， 根 据 定理 D 2，Az=0 蕴涵 zx 二 0。 因 此 ，ATA 是 正定 的 。 


| a 
28. 3 WRIT T RAJUL EEEREN EI 


练习 


D.2-1 证 明 : 矩阵 的 道 是 唯一 的 ， 即 如 果 B AIC 均 为 A 的 逆 , 那么 B=C, 
D.2-2 证 明 :| 下 三 角 和 矩阵 或 上 三 角 甜 阵 的 行列 式 与 其 对 角 线 元 素 之 积 相等 。 证 明 ， 一 个 下 三 角 
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ee CSR APE) th et PF = 
HEAR: 如 果 己 是 一 个 排列 矩阵 ， 则 PETA, Caw P, AP’ 也 是 一 个 排列 矩阵 。 
& ARB finXn E, HAB=I, WH: FER A ERER A Bj 行 加 到 第 ; 行 所 得 ， 
则 将 B 中 第 j IRER i 列 所 得 的 B' 为 A' 的 逆 和 矩阵 。 
令 人 是 一 个 非 奇 异 ?X7 BBS. WER: A :中 每 个 元 素 均 为 实数 ， 当 且 仅 当 A 中 每 个 
元 素 是 实数 。 
证 明 : E A SE — SSE TRY 2 Xn PRE, MY AMT ERA. WER: E B 是 任意 m Xn 
ERE, M) m Xm FAK BAB? 也 是 对 称 的 。 
证 明和 定理 D. 2。 也 就 是 说 ， 证 明 :; 一 个 矩阵 A 是 列 满 秩 的 ， 当 且 仅 当 Az=0 蕴涵 z 一 0。 
(提示 : 将 一 列 在 其 他 列 上 的 线性 相关 表示 为 矩阵 - 癌 量 等 式 。) 
证 明 : 对 于 任意 两 个 相 容 矩阵 A 和 了 3， 

rank(AB) < min(rank(A), rank(B)) 
其 中 ， 如 果 A 或 如 是 非 奇 异 方 阵 ， 则 等 式 成 立 。( 提 示 : 使 用 矩阵 秩 的 另 一 种 定义 。) 


思考 题 
D-1 ( 范 德 蒙 德 矩 阵 ) 给 定数 值 Los Tis °°° Ln-19 证 明 范 德 蒙 德 矩阵 的 行列 式 


17 一】 


lam wm wf 


1 2 TX eee ie 
V(x 97 3°?’ 4) = 


2 7 一 
1 Tr- Tr- ”” Lra 


det(V(z 19°12) = [| CxO— x) 


0<j<k<r 


(提示 : 对 于 i 二 n 一 1，n 一 2,，…，1， 将 第 i 列 乘 以 一 zo 后 加 到 第 i 十 1 列 上 ， 然 后 使 用 归 
纳 法 。) 


D-2 (在 GF(2) 上 利用 矩阵 -向 量 乘法 定义 的 排列 ) ”利用 GF(2) 上 和 矩阵 乘法 可 以 定义 一 类 集合 


S,=(0; 1, 25 *%, 2" 一 1) 中 整数 的 排列 。 对 于 S, 中 每 个 整数 ， 可 以 将 它 的 二 进 制 表示 
形式 看 做 一 个 n 位 问 量 


Xo 
Tı 


T2 


1 一 1 


其 中 多 x2'。 如 果 A 是 一 个 元 素 均 为 0 或 1 HY Xm 矩阵 ， 则 我 们 可 以 定义 一 个 排列 。 访 


排列 将 S, 中 的 每 一 个 值 z 映射 到 一 个 数 上 ， 该 数 的 二 进 制 表示 形式 为 矩阵 -网 量 积 Ar. 
这 里 ， 我 们 按照 CGF(2) 执 行 所 有 算术 运算 : 所 有 的 值 为 0 或 1， 并且 除 特例 1+1=0 外 ， 
其 他 常规 加 法 、 乘 法 规则 均 适 用 。 读 者 可 以 认为 GF(2) 算 术 运 算 除 了 只 使 用 最 低 有 效 位 ， 
其 他 均 与 常规 整数 算术 运算 一 致 。 


例如 ， 对 于 S:={0, 1, 2, 3), RF 


4-l 1 


定义 了 如 下 排列 xy: (0) =0, my (1) =3, 2 (2) 一 2，x(3) 一 1。 下 面 解释 za (3)= 二 1 的 
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理由 ， 观 察 在 CF(2) 中 ， 


“= hd abd 


就 是 1 的 二 进 制 表 示 。 1227 

我 们 继续 在 GF(2) 上 讨论 本 问题 ， 并 且 所 有 和 矩阵 和 向 量 的 元 素 均 为 0 或 1。 定 义 0 一 1 
矩阵 (元 素 均 为 0 或 1 的 矩阵 ) 在 GF(2) 上 的 秩 与 普通 矩阵 一 致 ， 但 是 所 有 的 决定 线性 相关 
的 算术 运算 都 按 GF(2) 进 行 。 定 义 nXn 0 一 1 矩阵 A 的 取 值 范围 为 

R(A) = {y:y = Ar,z E S,} 

这 样 ， RCA) 是 S, 中 一 类 数 的 集合 ， 这 类 数 可 以 由 将 S, 中 每 个 值 z RAA 得 到 。 

3. mr 是 矩阵 A 的 秩 ， iE | RCA) | =2". WEAR: A 定义 一 个 S$S, 上 的 排列 ， 当 且 仅 当 A 
是 满 秩 的 。 

HFAA ER Xn EEA 和 一 个 给 定 的 值 yYE RCA), EX y 的 原 象 为 
P(A,y) = {z:Ar = y} 

从 而 ， PCA, y) 即 为 S, PRUA 后 会 映射 到 y 的 值 的 集合 。 

b. WR rÆ nXn KEM A WARE yERCA), 证 明 | PCA, y| 一 2 “。 

& 0<m<n， 假定 将 集合 S, 划分 成 相 邻 数字 的 块 ， 其 中 第 ;个 块 包含 2" 个 数 i2”，i2" 十 
1，i2" 十 2，…，(i 十 1)2" 一 1。 对 于 任意 子 集 SCS,， 定 义 BS, MABE S 中 某 元 素 的 S 中 
大 小 为 2” 的 块 的 集合 。 例 如 ， 当 一 3，m 一 1， 且 S 二 人，4，5} 时 ，B(S，m) 包 含 块 0( 因 为 1 
在 第 0 块 中 ) 和 块 2( 因 为 4 和 5 均 在 块 2 中 )。 

c. 令 r 是 A 的 左下 部 (n 一 m) Xm 子 和 矩阵 的 秩 ， 即 通过 取 和 矩阵 A 底部 n 一 m 行 和 最 左 端 m 
列 的 交 获得 的 矩阵 。 令 SHES, 中 任意 大 小 为 2" 的 块 ， 且 令 S' 二 {y: y 一 Arz， 对 于 某 
zES)。 证 明 ，| B(S'，m) | =27 且 对 于 B(S'，m) 中 每 一 个 块 ， 有 和 且 仅 有 2”' 个 S 中 的 
数 映射 到 该 块 上 。 

因为 将 零 向 量 乘 以 任意 矩阵 均 得 到 零 向 量 ， 所 以 通过 GF(2) 上 乘 以 满 秩 nXn 0 一 1 4E 
阵 所 定义 的 S, 的 排列 集合 不 能 圳 括 S, 所 有 的 排列 。 这 里 ， 将 由 矩阵 -向 量 乘法 定义 的 那 
类 排列 扩展 ， 以 包含 一 个 附加 项 ， 从 而 ES, RB Arte bk, Hc Bn 位 向 量 ， 加 法 
按 GF(2) 执 行 。 例 如 ， 当 

pes b J 
1 1 1228 


我 们 可 以 获得 如 下 排列 Taye: Ta, (O)=2, macClLI=1, xal2)=0, mA (3)=53. 对 于 某 个 

nXn 0 一 1 满 秩 和 矩阵 A 和 某 个 ”位 向 量 c， 称 任意 将 zE S, 映射 到 Az 十 c 的 排列 为 一 个 线 

性 排列 。 

d. 用 计数 观点 来 证 明 ，S; 的 线性 排列 的 数目 远 小 于 S, 排列 的 数目 。 

e 请 给 出 一 个 S, 的 排列 的 例子 及 nn 的 值 ， 其 中 该 排列 不 能 通过 任何 线性 排列 获得 。( 提 
示 : 对 于 一 个 给 定 的 排列 ， 考 虑 矩阵 与 单位 癌 量 相 乘 和 和 矩阵 的 列 的 关系 。) 


附录 注 记 
线性 代数 数 科 书 提供 了 关于 甜 阵 的 大 量 背 景 知识 。 Strang| 323，324j 所 著 的 书籍 尤为 出 色 。 1229 
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本 索引 使 用 下 列 约定 。 数 字 按 其 英文 拼写 的 字母 顺序 排序 例如,，“2-3-4 树 ” 被 当成 “two-three-four 
tree” 来 索引 。 当 一 个 索引 项 涉及 的 是 一 个 位 置 而 不 是 正文 内 容 时 ， 页 码 后 面 即 会 跟随 一 个 标记 : ex 表示 
练习 ，pr. 表示 思考 题 ，fig. 表示 图 ，n. 表示 脚注 。 带 标记 的 页 码 通常 表示 一 个 练习 、 思 考题 、 图 或 脚注 


的 第 一 页 ， 而 并 不 一 定 是 引用 真正 出 现 的 那个 页 码 。 


a(n), 511 

¢(golden ratio) (黄金 分 割 率 )，59，108 pr. 
$Cconjugate of the golden ratio) (黄金 分 割 率 的 共 恩 )，59 
$(n)(Euler’s phi function) ( 欧 拉 phi 函数 ) 943 
p(n) 一 approximation algorithm) (近似 算法 )， 
1106, 1123 

o-notation(o 记号 ) 50-51, 64 
O-notation(O 记号 ) 45 fig. , 47-48, 64 
O'-notation(O' 记 号 )，62 pr. 

Õ-notation(Õ 记号 )，62 pr. 

w-notation(w 记号 ) 51 

Q-notation(Q 记号 ) 45 fig. ，48-49，64 


O-notation(0 记号 ) , 62 pr. 
Q-notation( 记号 ) 62 pr. 
9-notation(@ 记 号 ) 44-47, 45 fig. 64 


@notation(®@ 记号 ) 62 pr. 

{} (set) (424), 1158 

E€ (set member) (RAWA), 1158 

¢& (not a set member) ( 非 集合 成 员 )，1158 

D 

(empty language) (ia qq), 1058 

(empty set) (SRA), 1158 

C (subset) (FÆ), 1159 

C (proper subset) (真子 集 )，1159 

: (such that) (满足 ) 1159 

N (set intersection) (集合 的 交 ) ，1159 

U (set union) (集合 的 并 )，1159 

一 (set difference) (集合 的 差 )，1159 

| | 
(flow value) ( 流 的 值 )，710 
(length of a string) (字符 串 的 长 度 )，986 
(set cardinality) (集合 的 势 )，1161 

x 
(Cartesian product) (#{-FJL#), 1162 
(cross product) (MA), 1016 


() 
(sequence) (序列 ) 1166 
(standard encoding) (标准 编码 ) 1057 
(") (choose) (选择 ) 1185 
[| || Ceudidean norm) (EK FRYER), 1222 
! (factorial) 《阶乘 )，57 
| l(ceiling) (ERZ), 54 
| |Cfloor) CFR), 54 
:三 (lower square root) (下 平方 根 )，546 


Ve upper square root)( 上 平方 根 )，546 

2 (sum) (和)，1145 
I(product) (#8), 1148 
— (adjacency relation) (邻接 关系 ) 1169 
~>(reachability relation) (可 达 关 系 )，1170 
ACAND)(5), 697, 1071 
一 NOT) (E), 1071 

V COR) (或 )，697，1071 
引 (group operator) ( 群 运算 符 ) 939 
®)(convolution operator) ( 卷 积 运算 符 ) 901 

x (closure operator)( 闭 包 运 算 符 )，1058 

| (divides relation) (整除 关系 )，927 

{ (does-not-divide relation) ( 非 整除 关系 ) 927 
三 (equivalent modulo n) (i n SH}, 54, 1165 ex 
(not equivalent modulo n) (fi n 不 等 价 ) 54 
[a], (equivalence class modulo n) (fi n HY | ft 

类 ) 928 
十 , (addition modulo n) ($ n DIE), 940 
e „(multiplication modulo n) ( 模 n R), 940 


F ) (Legendre symbol)( 勒 让 德 符号 )，982 pr. 


e(empty string) (4353), 986, 1058 
C(prefix relation) (前 缀 关系 ) 986 
(suffix relation) (FRKA), 986 
>, (above relation) (之 上 关系 ) 1022 
//comment symbol) (注释 符号 ) 21 


六 (much-greater-than relation)( 远 大 于 关系 ) 574 

<(much-less-than relation) ( 远 小 于 关系 )，783 

<p (polynomial-time reducibility relation) (多项式 时 
间 可 归 约 关系 )，1067，1077 ex. 


A 


AA-tree(AA 树 )，338 
abelian group( 阿 贝尔 群 或 交换 群 )，940 
ABOVE，1024 
above relation( Dr) (Z ERA), 1022 
absent child( 空 孩子 )，1178 
absolutely convergent series( 绝 对 收敛 级 数 )，1146 
absorption laws for sets( 和 集合 的 吸收 律 )，1160 
abstract problem( 抽 象 问题 ) ，1054 
acceptable pair of integers( 可 接受 的 整数 对 ) ，972 
acceptance( 接 受 ) 
by an algorithm( 被 一 个 算法 ) ，1058 
by a finite automaton( 被 一 个 有 限 自 动机 ) ，996 
accepting state( 接 受 状态 ) ，995 
accounting method( 核 算法 ) 456-459 
for binary counters( 用 于 二 进 制 计数 器 ) 458 
for dynamic tables( 用 于 动态 表 ) 465-466 
for stack operations (FA F #&% ## E), 457-458, 
458 ex. 
Ackermann’s function( Ackermann pia), 585 
activity-selection problem( 活 动 选 择 问题 )，415-422 
acyclic graph( 无 环 图 )，1170 
relation to matroids( 和 拟 阵 的 关系 )，48 pr. 
add instruction( 加 法 指令 ) 23 
addition( 加 法 ) 
of binary integers( 二 进 制 整数 ) 22 ex. 
of matrices( 和 矩阵 ) 1220 
modulo n(-+,,) R n), 940 
of polynomials( 多 项 式 )，898 
additive group modulo n( 模 nn 的 加 法 群 )，940 
addressing( 寻 HE), open (开放 )， 见 open-address 
hash table 
ADD-SUBARRAY, 805 pr. 
adjacency-list representation( 邻 接 链表 表示 法 ) 590 
replaced bya hash table( 用 散 列 表 替 代 )，593 ex. 
adjacency-matrix representation( 邻 接 和 矩阵 表示 法 )，591 
adjacent verti¢es( 邻接 顶点 )，1169 
admissible edge( 许 可 边 ) ，749 
admissible network( 许 可 网 络 ) 749-750 
aggregate analysis( 聚 合 分 析 ) 452-456 
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for binary counters( 二 进 制 计数 器 ) 454-455 
for breadth-first search( 广 度 优先 搜索 ) 597 
for depth-first search( 深 度 优先 搜索 ) 606 
for Dijkstra’s algorithm(Dijkstra 算法 )，661 
for disjoint-set data structures( 不 相交 集合 数据 结 
构 )，566-567，568 ex. 
for dynamic tables( 动 态 表 )，465 
for Fibonacci heaps (BEWARRE), 518, 522 ex. 
for Graham's scan(Graham 扫描 ) 1036 
for the Knuth-Morris-Pratt algorithm( Knuth-Morris- 
Pratt 算法 ) 1006 
for Prim’s algorithm(Prim 算法 ) 636 
for rod-cutting AW Hl), 367 
for shortest paths in a dag (4 MAHA PHAR 
路 径 ) 655 
for stack operations( 栈 操作 ) ，452-454 
aggregate flow( 汇 聚 流 ) 863 
Akra -Bazzi method for solving a recurrence( 解 递归 
式 的 Akra-Bazzi 方法 ) 112-113 
algorithm( 算 法 )，5 
correctness of( 正 确 性 ) 6 
origin of word( 字 的 起 源 ) 42 
running time of (运行 时 间 ) ，25 
as a technology( 作 为 一 项 技术 )，13 
Alice, 881 
ALLOCATE-NODE, 492 
ALLOCATE-OBJECT, 244 
allocation of objects( 对 象 的 分 配 ) 243-244 
all-pairs shortest paths( 所 有 结 点 对 的 最 短路 径 )， 
644, 684-707 
in dynamic graphs( 动 态 图 ) 707 
in e-dense graphs(e 稠密 图 ) 706 pr. 
Floyd-Warshall algorithm for (Floyd-Warshall 算 
法 ) 693-697, 706 
Johnson’s algorithm for(Johnson 算法 ) 700-706 
by matrix multiplication 3 E FRE), 686-693, 
706-707 
by repeated squaring( 通 过 重复 平方 )，689-691 
alphabet( 字 母 表 ) 995, 1057 
a(n), 574 
amortized analysis( 摊 还 分 析 ) 451-478 
accounting method of( 核 算法 ) ，456-459 
aggregate analysis( 聚 合 分 析 ) 367, 452-456 
for bit-reversal permutation( 位 逆序 置换 )，472 pr. 
for breadth-first search( 广 度 优先 搜索 )，597 
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for depth-first search( 深 度 优 先 搜索 ) 606 

for Dijkstra’s algorithm(Dijkstra 算法 ) 661 

for disjoint-set data structures( 不 相交 集合 数据 结 
构 )，566-567，568 ex., 572 ex., 575-581, 
581-582 ex. 

for dynamic tables( 动 态 表 ) 463-471 

for Fibonacci heaps( SE YR AB S2HE), 509-512, 517- 
518, 520-522, 522 ex. 

for the generic push-relabel algorithm( 通 用 -推送 - 
重 贴标签 算法 ) 746 

for Graham’s scan(Graham 扫描 )，1036 

for the Knuth-Morris-Pratt algorithm (Knuth- 

Morris-Pratt 算法 ) 1006 

for making binary search dynamic (动态 二 分 查 
找 ) 473 pr. 

potential method of (势能 法 ) 459-463 

for restructuring red-black trees (Hi #4 4. BA), 
474 pr. 

fro self-organizing lists with move-to-front (7% Æ Bil Hi 
组 织 列 表 ) 476 pr. 

for shortest paths in a dag( 有 问 无 环 图 中 的 最 短 
路 径 )，655 

for stacks on secondary storage( 畏 存 上 的 栈 )， 
502 pr. 

for weight-balanced trees( 加 权 平 衡 树 )，473 pr. 


amortized cost( PEAR HY) 


in the accounting method( 核 算法 中 ) 456 
in aggregate analysis( 聚 合 分 析 ) 452 
in the potential method( 势 能 法 )，459 


ancestor( 祖 先 ) 1176 


least common( 最 小 公共 ) ，584 pr. 


AND function(’ ) CAND pi), 697, 1071 
AND gate(AND/J), 1070 

and( 而 且 ) ，in pseudocode( 伪 代码 中 )，22 
antiparallel edges( 反 平行 边 ) 711-712 
antisymmetric relation( 反 对 称 关 系 )，1164 
ANY-SEGMENTS-INTERSECT, 1025 
approximation (iNT) 


by least squares( 通 过 最 小 二 乘 ) 835-839 
of summation by integrals( 通 过 积分 求 和 )，1154-1156 


approximation algorithm( 近 似 算 法 )，10，1105-1140 


for bin packing( 装 箱 ) 1134 pr. 

for MAX-CNF satisfiability (MAX-CNF 可 满足 
HE), 1127 ex. 

for maximum-clique(## AE), 1lllex., 1134 


for maximum matching( 最 大 匹配 ) 1135 pr. 
for maximum spanning tree( 最 大 生成 树 ) 1137 pr. 
for maximum weight cut( 最 大 权重 切割 )，1127 ex 
for MAX-3-CNF satisfiability (MAX-3-CNF 可 满 
EME), 1123-1124, 1139 
for minimum-weight vertex cover( 最 小 权重 顶点 
覆盖 ) ，1124-1127，1139 
for parallel-machine-scheduling (并 行 机 调度 )， 
1136 pr. 
randomized( 随 机 化 的 ) 1123 
for set cover(#A iH), 1117-1122, 1139 
for subset sum( FF), 1128-1134, 1139 
for the traveling-salesman problem( 旅 行商 问题 )，1111- 
1117, 1139 
for vertex-cover( 顶 点 履 盖 ) 1108-1111, 1139 
for weighted set cover( 带 权 集合 覆盖 ) 1135 pr. 
for 0-1 knapsack problem(0-1 背包 问题 )，1137 pr ，1139 
approximation error( 近 似 模 式 ) 836 
approximation ratio( 近 似 率 )，1022，1039 
approximation scheme( 近 似 方案 )，1107 
APPROX-MIN-WEIGHT-VC, 1126 
APPROX-SUBSET-SUM, 1131 
APPROX-TSP-TOUR, 1112 
APPROX-VERTEX-COVER, 1109 
arbitrage( 套 利 ) 679 pr. 
arc( 弧 )， 见 edge 
argument of a function( 函 数 的 参数 ) 1166-1167 
arithmetic instructions( 算 术 指 令 )，23 
arithmetic( 算 术 ) ，modular( 模 ) ，54，939-946 
arithmetic series( 等 差 级 数 ) 1146 
arithmetic with infinities( 无 穷 量 的 算术 运算 ) 650 
arm(#¥), 485 
array( 数 组 ) 21 
Monge, 110 pr. 
passing as a parameter( 作 为 参数 传递 )，21 
articulation point 衔接 点 )，621 pr. 
assignment( 赋 值 ) 
multiple( 多 重 )，21 
satisfying( 可 满足 性 )，1072，1079 
truth( 真 值 ) 1072, 1079 
associative laws for sets( 集 合 的 结合 律 ) 1160 
associative operation( 结 合 操作 )，939 
asymptotically larger( 渐 近 大 于 ) 52 
asymptotically nonnegative( 渐 近 非 负 )，45 
asymptotically positive( 渐 近 正 )，45 


asymptotically smaller( 渐 近 小 于 )，52 
asymptotically tight bound( 渐 近 紧 确 界 ) 45 
asymptotic efficiency( 渐 近 有 效 ) 43 
asymptotic lower bound( 渐 近 下 界 ) 48 
asymptotic notation( 渐 近 记 号 ) 43-53, 62 pr. 

and graph algorithms( 与 图 算法 ) 588 

and linearity pf summations( 与 和 的 线性 性 ) 146 
asymptotic upper bound( 渐 近 上 界 ) 47 
attribute of an object( 对 象 的 属性 )，21 
augumentation of flow( 流 的 扩张 )，719-720，763 pr. 
augmenting data structures( 扩 张 数据 结构 )，339-355 
augmenting path( 增 广 路 径 ) 719-720, 763 pr. 
authentication( 认 证 ) ，284 pr. ，960-961，964 
automaton( 自 动机 ) 

finite( 有 限 的 ) 995 

string-matching( 字 符 串 匹配 )，996-1002 
auxiliary hash function( 辅 助 散 列 函数 )，272 
auxiliary linear program( 辅 助 线 性 规划 )，886 
average-case running time( 平 均 情况 运行 时 间 )，28，116 
AVL-INSERT, 333 pr. 
AVL tree(AVL 树 ) 333 pr. ，337 
axioms( 公 理 )，for probability (J FHE), 1190 


B 


babyface( 娃 娃 脸 ) 602 ex. 
back edge( 反 回 边 )， 609，613 
back substitution( 反问 替换 )，817 
BAD-SET-COVER-INSTANCE, 1122 ex. 
BALANCE, 333 pr. 
balanced search tree( 平 衡 搜索 树 ) 
AA-trees(AA 树 )，338 
AVL trees(AVL $f), 333 pr. ，337 
B-trees(B ist) » 484-504 
k-neighbor trees(k 邻居 树 ) 338 
red-black trees( 红 黑 树 ) 308-338 
scapegoat trees( 替 罪 羊 树 ) 338 
splay trees( 伸 展 树 ) ，338，482 
treaps, 333 pr, 338 
2-3-4 trees(2-3-4 树 ) 489, 503 pr. 
2-3 trees(2-3 树 ) 337, 504 
weight-balanced trees( 带 权 平 衡 树 ) 338, 473 pr. 
balls and bins( 球 与 盒子 ) ，133-134，1215 pr. 
base-a pseudoprime( 以 a 为 底 的 伪 素 数 )，967 
base case( 基 础 情况 ) ，65，84 
basic feasible solution( 基 本 可 行 解 ) ，866 
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basic solution( SEAS HH), 866 
basic variable( 基 本 变量 ) 855 
basis function( 基 函数 )，835 
Bayes’s theorem( 贝 叶 斯 定理 ) 1194 
BELLMAN-FORD, 651 
Bellman-Ford algorithm(Bellman-Ford #53), 651-655, 682 
for all-pairs shortest paths( 所 有 结 点 对 的 最 短路 
径 ) 684 
in Johnson’s algorithm (Johnson 算法 中 )， 
702-704 
and objective functions( 与 目标 函数 ) 670 ex. 
to solve systems of difference constraints (求解 差 
分 约束 系统 )，678 
Yen’s improvement to(Yen 氏 的 改进 ) 678 pr. 
BELOW, 1024 
Bernoulli trial( 伯 努 利 试验 )，1201 
and balls and bins( 和 球 与 盒子 ) 133-134 
and streaks( 和 序列 ) 135-139 
best-case running time( 最 好 情况 运行 时 间 )，29 ex ，49 
BFS, 595 
BIASED-RANDOM, 117 ex. 
biconnected component( 双 连通 分 量 ) 621 pr. 
big-oh notation(K O 记号 ) 45 fig. ，47-48，64 
big-omega notation( K Q 记号 ) 45 fig. ，48-49 
bijective function($} O, 1167 
binary character code( 二 进 制 字符 编码 )，428 
binary counter( 二 进 制 计数 器 ) 
analyzed by accounting method (用 核算 法 分 析 )， 
458 
analyzed by aggregate analysis( 用 聚合 分 析 做 分 
析 ) ，454-455 
analyzed by potential method (用 势能 法 分 析 )， 
461-462 
bit-reversed({wi FR), 472 pr. 
binary entropy function( ZJG O, 1187 
binary gcd algorithm( 二 进 制 的 gcd 算法 ) 981 pr. 
binary heap(— HE), JL heap 
binary relation( 二 元 关系 ) 1163 
binary search( 二 分 查找 ) 39 ex. 
with fast insertion( 用 快速 插入 )，473 pr. 
in insertion sort( 插 入 排序 中 )，39 ex. 
in multithreaded merging (多 线程 归并 中 )， 
799-800 
in searching B-trees( 搜 索 B 树 ) ，499 ex. 
BINARY-SEARCH, 799 


736 。 R 5| 


binary search tree( 二 叉 搜 索 树 ) 286-307 
AA-trees(AA 树 )，338 
AVL trees(AVL 树 ) 333 pr. ，337 
deletion from( 删 除 ) 295-298, 299 ex. 
with equal keys( 带 有 相等 的 关键 字 ) 303 pr. 
insertion into( 择 人 )，294-295 
k-neighbor trees(k 邻居 树 ) 338 
maximum key of( 最 大 关键 字 )，291 
minimum key of (最 小 关键 字 ) 291 
optimal( 最 优 的 ) 397-404, 413 
predecessor in( 前 驱 )，291-292 
querying( 查 询 ) ，289-294 
randomly built( 随 机 构造 的 ) 299-303, 304 pr. 
right-converting of( 右 转 ) 314 ex. 
scapegoat trees( 替 罪 羊 树 ) 338 
searching( 搜 索 ， 查 找 ) 289-291 
for sorting( 排 序 ) 299 ex. 
splay trees( 伸 展 树 ) ，338 
successor in( 后 继 ) 291-292 
and treaps( 与 treap), 333 pr. 
weight-balanced trees( 带 权 平 衡 树 ) 338 
参见 red-black tree 
binary-search-tree property( 二 又 搜索 树 的 性 质 )，287 
in treaps( 在 treap 中 )，333pr. 
vs. mimheap property( 与 最 小 堆 的 性 质 ) 289 ex. 
binary tree( 二 叉 树 ) 1177 
full( 满 的 ) 1178 
number of different ones( 不 相同 的 数目 ) 306 pr. 
representation of( 表 示 法 ) 246 
superimposed upon a bit vector (44 [a] Ht KE Fre in 
AY), 533-534 
参见 binary search tree 
binomial coefficient( 二 项 式 系数 ) 1186-1187 
binomial distribution( 二 项 分 布 )，1203-1206 
and balls and bins( 和 球 与 盒子 ) 133 
maximum value of( 最 大 值 )，1207 ex. 
tails of( Æ), 1208-1215 
binomial expansion( 二 项 式 展 开 ) 1186 
binomial heap( 二 项 堆 )，527pr. 
binomial tree( 二 项 树 )，527pr. 
bin packing( 装 箱 ) 1134 pr. 
bipartite graph( 二 分 图 )，1172 
corresponding flow network of( 对 应 的 流 网 络 ) 732 
d-regular(d 正则 的 ) 736 ex. 
and hypergraphs( 与 超 图 ) 1173 ex. 


bipartite matching (二 分 匹配 )，530，732-736， 
747ex. , 766 
Hopcroft-Karp algorithm for ( Hopcroft-Karp 算 
法 ) 763 pr. 
birthday paradox( 生 日 悖 论 ) 130-133, 142 ex. 
bisection of a tree( 树 的 等 分 ) 1181 pr. 
bitonic euclidean traveling-salesman problem( 双 调 欧 
几 里 得 旅行 商 问 题 ) 405 pr. 
bitonic sequence( 双 调 序列 ) 682 pr. 
bitonic tour( 双 调 巡 游 ) 405 pr. 
bit operation( 位 操作 ) 927 
in Euclid’s algorithm( 欧 几 里 得 算法 中 ) 981 pr. 
bit-reversal permutation( 位 逆序 置换 ) 472 pr., 918 
BIT-REVERSE-COPY, 918 
bit-reversed binary counter( 位 逆序 二 进 制 计 数 器 )， 
472 pr. 
BIT-REVERSED-INCREMENT, 472 pr. 
bit vector( 位 和 癌 量 )，255 ex, 532-536. 
black-height( 黑 高 度 )，309 
black vertex( 黑 结 点 )，594，603 
blocking flow( 块 流 )，765 
block structure in pseudocode( 伪 代码 中 的 块 结构 )，20 
Bob, 959 
Boole’s inequality( 布 尔 不 等 式 )，1195 ex. 
boolean combinational circuit( 布 尔 组 合 电 路 )，1071 
boolean combinational element( 布 尔 组 合 元 素 )，1070 
boolean connective( 布 尔 连 接 ) 1079 
boolean formula (布尔 公式 )，1049，1066 ex., 
1079, 1086 ex. 
boolean function( 布 尔 函 数 ) 1187 ex. 
boolean matrix multiplication( 布 尔 矩 阵 乘法 ) 832 ex 
Boruvka's algorithm(Boruvka BYE), 641 
bottleneck spanning tree( 瓶 颈 生成 树 ) 640 pr. 
bottleneck traveling-salesman problem (瓶颈 旅行 商 
问题 ) 1117 ex. 
bottom of a stack( 栈 的 底 ) 233 
BOTTOM-UP-CUT-ROD, 366 
bottom-up method (上 和 目 底 向 上 方法 )，for dynamic 
programming( 动 态 规划 ) ，365 
bound( 界 ) 
asymptotically tight( 渐 近 紧 确 ) 45 
asymptotic lower( 渐 近 下 ) ，48 
asymptotic upper( 渐 近 上 )，47 
on binomial coefficients X} MARO, 1186-1187 
on binomial distributions( 对 二 项 分 布 ) 1206 


polylogarithmic( 多 项 对 数 的 )，57 
on the tails of a binomial distribution( 对 二 项 分 布 
的 尾 ) ，1208-1215 
参见 lower bounds 
boundary condition GH RZF), in a recurrence (i# 
归 式 中 )，67，84 
boundary of a polygon( 多 边 形 的 边界 ) 1020 ex. 
bounding a sumimation( 确 定 求 和 的 界 ) 1149-1156 
box( 盒 子 ) nesting), 678 pr. 
Br -tree(B* 树 )，488 
branching factor (分 支 因 子 )，in Btree (在 BW 
H), 487. 
branch instructions( 分 支 指令 )，23 
breadth-first search( 广 度 优先 搜索 )，594-602，623 
in maximum flow( 在 最 大 流 中 ) ，727-730，766 
and shortestipaths( 与 最 短路 径 ) 597-600, 644 
similarity to Dijkstra’s algorithm( 与 Dijkstra 算法 
的 相似 性 ) 662, 663 ex. 
breadth-first tree( 广 度 优先 树 ) 594, 600 
bridge( 桥 ) 621 pr. 
B* -tree(B* 树 ) 489 
B-treeC(B 树 ), 484-504 
compared with red-black trees (与 红 黑 树 比较 )， 
484，490 
creating( 构 造 ) 492 
deletion from( 删 除 ) » 499-502 
full node in( 满 结 点 ) 489 
height of PHRF), 489-490 
insertion into(## A), 493-497 
minimum degree of( 最 小 度数 ) 489 
minimum key of( 最 小 关键 字 ) 497 ex. 
properties of( 性 质 ) ，488-491 
searching( 搜 索 ， 查 找 ) ，491-492 
splitting a node in( 分 裂 结 点 ) 493-495 
2-3-4 trees(2-3-4 树 ) 489 
B-TREE-CREATE, 492 
B-TREE-DELETE, 499 
B-TREE-INSERT, 495 
B-TREE-INSERT-NONFULL, 496 
B-TREE-SEARCH, 492, 499 ex. 
B-TREE-SPLIT-CHILD, 494 
BUBBLESORT, 40 pr. 
bucket( 桶 ) 200 
bucket sort( 桶 排序 ) ，200-204 
BUCKET-SORT, 201 
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BUILD-MAX-HEAP, 157 
BUILD-MAX-HEAP’, 167 pr. 
BUILD-MIN-HEAP, 159 

butterfly operation( 蝴 蝶 操 作 ) 915 
by, in pseudocode( 伪 代码 中 )，21 


C 


cache( 高 速 缓 存 ) 24, 449 pr. 
cache hit( 缓 存 命 中 ) 449 pr. 
cache miss( 缓 存 未 命中 ) 449 pr. 
cache-obliviousness( 绥 存 无 关 ) 504 
caching( 缓 冲 ) ，off-line( 脱 机 ) ，449 pr. 
call( 调 用 ) 

in a multithreaded computation (在 多 线程 计算 

中 )，776 

a subroutine( 子 过 程 )，23，25 n. 

by value( 按 值 )，21 
call edge( 调 用 边 )，778 
cancellation lemma( 相 消 引 理 ) 907 
cancellation of flow( 流 的 抵消 )，717 
canonical form for task scheduling( 任 务 调度 的 规范 

形式 )，444 

capacity( 容 量 ) 

of a cut( 切 割 )，721 

of an edge( 边 ) ，709 

residual( 残 存 ) 716, 719 

of a vertex( 结 点 的 ) 714 ex. 
capacity constraint( 容 量 限 制 )，709，710 
cardinality of a set( | | ) (集合 的 基数 )，1161 
Carmichael number(Carmichael 数 ) 968, 975 ex. 
Cartesian product( X ) (4 -FJLAR), 1162 
Cartesian sum( 笛 卡 儿 和 ) 906 ex. 
cascading cut( 级 联 切断 ) 520 
CASCADING-CUT, 519 
Catalan numbers(Catalan 数 ) 306 pr. , 372 
ceiling function ])( 上 取 整 函数 ) 54 

in master theorem( 主 定理 ) 103-106 
ceiling instruction( 向 上 取 整 指令 )，23 
certain event( 必 然 事 件 )，1190 
certificate( 证 书 ) 

in a cryptosystem( 加 密 系 统 )，964 

for verification algorithms( 验 证 算法 )，1063 
CHAINED-HASH-DELETE, 258 
CHAINED-HASH-INSERT, 258 
CHAINED-HASH-SEARCH, 258 
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chaining( 链 接 法 ) 257-260, 283 pr. 
chain of a convex hull( 凸 包 链 ) 1038 
changing a key( 改 变 关 键 字 )，in a Fibonacci heap 
(在 斐 波 那 契 堆 中 ) 529 pr. 
changing variables (改变 变量 )，in the substitution 
method( 在 替换 方法 中 ) 86-87 
character code( 字 符 编 码 ) 428 
chess-playing program (国际 象棋 博弈 程序 )， 
790-791 
child(%F) 
in a binary tree(7E— MATH), 1178 
in a multithreaded computation( 在 多 线程 计算 中 )，776 
in a rooted tree( 在 有 根 树 中 ) 1176 
child list in a Fibonacci heap( 斐 波 那 契 堆 中 的 孩子 列 
表 )，507 
Chinese remainder theorem (中 国 余数 定理 )，950- 
954，983 
chip mnultiprocessor( 芯 片 多 处 理 器 ) 772 
chirp transform( 线 性 调频 变换) 914 ex. 


de a (选择 ) 1185 


chord(5%), 345 ex. 
Cilk, 774, 812 
Cilk-++ , 774, 812 
ciphertext( 4% 30), 960 
circuit (FA, BR) 
boolean combinational( 布 尔 组 合 ) 1071 
depth of (深度 ) 919 
for Fast Fourier Transform (快速 傅 里 叶 变 换 )， 
919-920 
CIRCUIT-SAT, 1072 
circuit satisfiability( 电 路 可 满足 性 )，1070-1077 
circular( 循 环 的 ) doubly linked list with a sentinel 
( 带 哨 兵 的 双向 链表 ) ，239 
circular linked list( 循 环 链表 ) ，236 
参见 linked list 
class( 类 ) 
complexity( 复 杂 )，1059 
equivalence( 等 价 ) 1164 
classification of edges( 边 的 分 类 ) 
in breadth-first search( 广 度 优先 搜索 )，621 pr. 
in depth-first search《 深 度 优先 搜索 )，609-610，611 ex 
in a multitheaded dag，( 在 多 线程 有 问 无 环 图 
中 )，778-779 
clause( 子 句 )，1081-1082 


clean sequence( 清 洁 序 列 )，208 pr 
clique( 团 )，1086-1089，1105 
approximation algorithm for( 近 似 算法 )，1111 ex , 
1134 pr. 
CLIQUE, 1087 
closed interval( 闭 区 间 ) ，348 
closed semiring( 闭 合 半 环 ) 707 
closest pair (最 近 的 对 )，finding (寻找 )，1039- 
1044，1047 
closest-point heuristic( 最 近 点 的 局 发 式 )，1117 ex. 
closure( 闭 包 ) 
group property( 群 的 性 质 ) 939 
of a language( 语 言 )，1058 
operator( 操 作 符 )(x* )，1058 
transitive( 传 递 的 ) J transitive closure 
cluster( 集 群 ) 
in a bit vector with a superimposed tree of constant 
height (RA {H7e me BES IMA Ek), 534 
for parallel computing( 并 行 计 算 ) 772 
in proto van Emde Boas structures( 原 型 van Emde 
Boas 结构 中 ) 538 
in van Emde Boas tree(van Emde Boas 树 中 ) 546 
clustering (##2), 272 
CNF (conjunctive normal form) ( 合 取 范 式 )，1049，1082 
CNF satisfiability(CNF 可 满足 性 ) 1127 ex. 
coarsening leaves of recursion( 递 归 的 叶 变 粗 ) 
in merge sort( 归 并 排序 中 ) 39 pr. 
when recursively spawning( 当 递归 派生 时 ) 787 
code( 编 码 ) ，428-429 
Huffman(#pRS), 428-437, 450 
codeword( 代 码 字 ) 429 
codomain( 陪 域 ) 1166 
coefficient( 系 数 ) 
binomial( 二 项 式 ) 1186 
of a polynomial( 多 项 式 )，55，898 
in slack form( 松 弛 型 )，856 
coefficient representation( 系 数 表 示 法 )，900 
and fast multiplication( 5 ER), 903-905 
cofactor( 余 子 式 )，1224 
coin changing( 人 硬币 找 零 )，446 pr. 
collinearity( 共 线性 )，1016 
collision( 冲 突 )，257 
resolution by chaining( 通 过 链接 解决 ) 257-260 
resolution by open addressing G it FFM ULE A 
BR), 269-277 


collision-resistant hash function ( 抗 冲 窗 散 列国 
数 )，964 
coloring( 着 色 ) 1103 pr. 1180 pr. 
color( 颜 色 ) , of a red-black-tree node( 红 黑 树 结 点 )， 
308 
column-major order( 列 主 次 序 ) 208 pr. 
column rank( 列 秩 ) ，1223 
columnsort( 列 排序 ) 208 pr. 
column vector( 列 向 量 )， 1218 
combination( 组 合 ) ，1185 
combinational circuit( 组 合 电路 ) 1071 
combinational element( 组 合 元素 ) 1070 
combine step( 合 并 步 ) ，in divide-and-coquer( 分 治 法 
中 )，30, 65 
comment( 注 释 ) in pseudocode(//)( 伪 代码 中 )，21 
commodity( 商 品 ) 862 
common divisor( 公 因子 ) 929 
greatest( 最 大 的 ) ， 见 greatest common divisor 
common multiple( 公 倍数 ) 939 ex. 
common subexpression( 公 共 子 表达 式 ) ，915 
common subsequence( 公 共 子 序列 ) 7, 391 
longest( 最 长 的 ) 7, 390-397, 413 
commutative laws for sets( 和 集合 的 交换 律 )，1159 
commutative operation( 交 换 操 作 )，940 
COMPACTIFY-LIST, 245 ex. 
compact list( 紧 凑 列 表 ) 250 pr. 
COMPACT-LIST-SEARCH, 250 pr. 
COMPACT-LIST-SEARCH’, 251 pr. 
comparable line segments( 可 比较 的 线段 )，1022 
COMPARE-EXCHANGE, 208 pr. 
compare-exchange operation (比较 交换 操作 ， 
208 pr. 
comparison sort( 比 较 排 序 )，191 
and binary search trees( 与 二 又 搜索 树 ) 289 ex. 
randomized( 随 机 化 的 ) 205 pr. 
and selection( 与 选择 )， 222 
compatible activities( 可 比较 的 活动 )，45 
compatible matrices( 7] LEAR FHKE), 371, 1221 
competitive analysis( 竞 争 分 析 ) 476 pr. 
complement( 补 ) 
of an event( 事 件 )，1190 
of a graph( 图 ) ，1090 
of a language( 语 言 ) ，1058 
Schur( 舒 尔 ) ，820，834 
of a set( 集 合 ) ，1160 
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complementary slackness( 互 补 松 弛 性 ) 894 pr. 
complete graph( 完 全 图 ) 1172 
complete k-ary tree (Z£ k XN), 1179 

参见 heap 
completeness of a language( 语 言 的 完备 性 ) 1077 ex. 
complete step( 完 成 步 ) 782 
completion time( 完 成 时 间 ) 447 pr. ，1136 pr. 
complexity class( 复 杂 类 ) ，1059 

co-NP, 1064 

NP, 1049, 1064 

NPC, 1050, 1069 

P, 1049, 1055 
complexity measure( 复 杂 性 度量 ) 1059 
complex numbers( 复 数 ) 
inverting matrices of (Œ RERI), 832 ex. 
multiplication of (乘法 ) 83 ex. 
complex root of unity( 单 位 复 根 ) 906 

interpolation at(##{H), 912-913 
component( 分 量 ) 

biconnected( 双 连通 ) 621 pr. 

connected( 连 通 ) 1170 

strongly connected( 强 连通 ) 1171 
component graph( 分 量 图 )，617 
composite number( 合 数 ) 928 

witness to( 证 据 )，968 
composition( 合 成 )，of multithreaded 

computations( 多 线程 计算 )，784 fig. 
computational depth( 计 算 深度 )，812 
computational geometry( 计 算 几 何 )，1014-1047 
computational problem( 计 算 问 题 )，5-6 
computation dag( 计 算 有 向 无 环 图 )，777 
computation( 计 算 ) ，mnultithreaded( 多 线程 )，777 
COMPUTE-PREFIX-FUNCTION, 1006 
COMPUTE-TRANSITION-FUNCTION, 1001 
concatenation #44) 

of languagesGi# BH), 1058 

of strings (FF), 986 
concrete problem( 具 体 问题 ) 1055 
concurrency keywords( 并 发 关键 词 )，774，776，785 
concurrency platform( 并 发 平台 ) 773 
conditional branch instruction( 条 件 分 支 指令 ) 23 
conditional independence( 条 件 独 立 ) 1195 ex. 
conditional probability( 条 件 概 率 ) 1192, 1194 
configuration( 配 置 ) 1074 


conjugate of the golden ration ($) (黄金 分 割 率 的 共 
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Hp), 59 
conjugate transpose(FtSE# BH), 832 ex. 
conjunctive normal form( W 7E), 1049, 1082 
connected component(##i 4?) , 1170-1171 
identified using depth-first search( 用 深度 优先 搜 
索 识 别 ) 612 ex. 
identified using disjoint-set data structures( 用 不 相 
交集 合 数据 结构 识别 )，562-564 
CONNECTED-COMPONENTS, 563 
connected graph( 连 通 图 )，1170 
connective( 连 接 词 )，1079 
co-NP(complexity class) (复杂 类 )，1064 
conquer step( 解 决 步 )，in divide-and-conquer( 分 治 
法 中 )，30，65 
conservation of flow( 流 的 守恒 )，709-710 
consistency( 一 致 ) 
of literals( 字 面 上 的 )，1088 
sequential( 串 行 )，779，812 
CONSOLIDATE, 516 
consolidating a Fibonacci-heap root list( 合 并 一 个 斐 
UAB SZ HE YAR I FS) 513-517 
constraint( 约 束 ) 851 
difference( 差 分 ) 665 
equajlity( 等 式 ) 670 ex ，852-853 
inequality( 不 等 式 )，852-853 
linear( 线 性 ) ，846 
nonnegativity( 非 负 性 )，851，853 
tight( 紧 ) 865 
violation of (违反 ) 865 
constraint graph(Aj RA), 666-668 
contain( 包 含 ) in a path( 在 路 径 中 ) 1170 
continuation edge( 连 续 边 ) ，778 
continuous uniform probability distribution (连续 均 
匀 概 率 分 布 )，1192 
contraction( 收 缩 ) 
of a dynamic table( 动 态 表 的 ) 467-471 
of a matroid( 拟 阵 的 ) 442 
of an undirected graph by an edge( 无 向 图 沿 一 条 
WHY), 1172 
control instructions( 控 制 指令 ) 23 
convergence property (ASAE), 650, 672-673 
convergent series (KARRO, 1146 
converting binary to decimal( 将 二 进 制 转 换 为 十 进 
H), 933 ex. 
convex combination of points( 点 的 凸 组 合 ) 934 


convex function(¢4 K), 1015 
convex hull( 凸 包 ) 8, 1029-1039, 1046 pr. 
convex layers(/4/%), 1044 pr. 
convex polygon( h ZAJE), 1020 ex. 
convex set( 凸 集 ) 714 ex. 
convolution( 卷 积 )(CO) 901 
convolution theorem( 卷 积 定 理 ) ，913 
copy instruction( 复 制 指令 )，23 
correctness of an algorithm( 算 法 的 正确 性 )，6 
corresponding flow network for bipartite matching 
(二 分 匹配 对 应 的 流 网 络 ) 732 
countably infinite set( 可 数 无 限 集 )，1161 
counter( 计 数 器 ) ， 见 binary counter 
counting( 计 数 )，1183-1189 
probabilistic( 概 率 的 ) 143 pr. 
counting sort( 计 数 排序 ) ，194-197 
in radix sort( 基 数 排序 中 ) 198 
COUNTING-SORT, 195 
coupon collector’s problem( 礼 券 收集 者 问题 ) 134 
cover (#i 3 ) 
path( 路 径 ) 761 pr. 
by a subset( 用 子 集 )，1118 
vertex( 顶 点 ) 1089, 1108, 1124-1127, 1139 
covertical( 共 垂 线 的 ) 1024 
CREATE-NEW-RS-VEB-TREE, 557 pr. 
credit( 存 款 ) 456 
critical edge( 关 键 边 ) 729 
critical path( 关 键 路 径 ) 
of a dag( 有 问 无 环 图 ) 657 
of a multithreaded computation( 多 线程 计算 )，779 
cross a cut (EHR, 626 
cross edge(2@ Zi), 609 
cross product( X R)(X), 1016 
cryptosystem (INARA), 958-965, 983 
cubic spline( 三 次 样 条 )，840 pr. 
currency exchange( 货 币 兑 换 ) 390 ex., 679 pr. 
curve fitting( 曲 线 拟 合 ) 835-839 
cut( 切 割 |) 
capacity of( 容 量 )，721 
cascading( 级 联 )，520 
of a flow network( 流 网 络 )，720-724 
minimum( 最 小 ) 721, 731 ex. 
net flow across( 净 流 )，720 
of an undirected graph( 无 问 图 )，626 
weight of( 权 重 )，1127 ex. 


CUT, 519 
cutting (YJ Wr), in a Fibonacci heap ( 32 ye AR 32 HE 
HA), 519 
cycle of a graph( 图 的 环 ) 1170 
hamiltonian( 哈 密 顿 )，1049，1061 
minimum mean-weight( 最 小 平均 权重 ) ，680 pr. 
negative-weight( 负 权重 ) Ji, negative-weight cycle 
and shortest paths( 与 最 短路 径 ) ，646-647 
cyclic group( 循 环 群 )， 955 
cyclic rotation( 循 环 旋转 ) » 1012 ex. 
cycling), of simplex algorithm (单纯 形 算法 
的 ) 875 


D 


dag， 见 directed acyclic graph 
DAG-SHORTEST-PATHS, 655 
d-ary heap(d LI), 167 pr. 
in shortest-paths algorithms( 最 短路 径 算 法 ) 706 pr. 
data-movement instructions( 数 据 移 动 指令 ) x23 
data structure( 数 据 结 构 ) 9, 229-355, 481-585 
AA-trees(AA AY), 338 
augmentation of( 扩 张 ) 339-355 
AVL trees(AVL 树 ) 333 pr. ，337 
binary search trees(— MiB RM), 286-307 
binomial heaps( 二 项 堆 ) 527 pr. 
bit vectors( 位 向 量 ) ，255 ex. 532-536 
B-trees(B $f), 484-504 
deques( 双 端 队列 ) 236 ex. 
dictionaries( 字 典 ) , 229 
direct-address tables( 直 接 寻 址 表 ) 254-255 
for disjoint sets( 不 相交 集合 ) ，561-585 
for dynamic graphs( 动 态 图 ) 483 
dynamic sets( 动 态 集合 ) ，229-231 
dynamic trees( 动 态 树 ) 482 
exponential search trees( 指 数 搜索 树 ) 212, 483 
Fibonacci heaps( 斐 波 那 契 堆 ) 505-530 
fusion trees (RAH ), 212, 483 
hash tables( 散 列表 ) 256-261 
heaps(H#E), 151-169 
interval trees( 区 间 树 ) 348-354 
k-neighbor trees(k 邻居 树 ) 338 
linked lists( 链 表 ) ，236-241 
order-statistic trees( 顺 序 统计 树 )，339-345 
persistent( 持 久 的 )， 331 pr. ，482 
potential of( 势 ) ，459 
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priority queues( 优 先 队 列 ) 162-166 
proto van Emde Boas stractures (原型 van Emde 
Boas 结构 ) 538-545 
queues( 队 列 ) 232, 234-235 
radix trees( 基 树 ) 304 pr. 
red-black trees( 红 黑 树 ) 308-338 
relaxed heaps( 松 弛 堆 ) 530 
rooted trees( 有 根 树 ) 246-249 
scapegoat trees( 替 罪 羊 树 ) 338 
on secondary storage( 辅 助 存 储 器 ) 484-487 
skip lists( 跳 表 ) 338 
splay trees( 伸 展 树 ) 338, 482 
stacks( 栈 )，232-233 
treaps, 333 pr. ，338 
2-3-4 heaps(2-3-4 HE), 529 pr. 
2-3-4 trees(2-3-4 #Y), 489, 503 pr. 
2-3 trees(2-3 $f), 337, 504 
van Emde Boas trees (van Emde Boas 树 )， 
531-560 
weight-balanced trees( 带 权 平 衡 树 ) 338 
deadline( 和 截止 时 间 ) ，444 
deallocation of objects( 对 象 的 释放 ) 243-244 
decision by an algorithm (由 一 个 算法 决定 )， 
1058-1059 
decision problem( 判 定 问 题 )，1051，1054 
and optimization problems( 与 最 优化 问题 )，1051 
decision tree( 决 策 树 ) 192-193 
DECREASE-KEY, 162, 505 
decreasing a key( 对 一 个 关键 字 减 值 ) 
in Fibonacci heaps( 斐 波 那 契 堆 )，519-522 
in 2-3-4 heaps(2-3-4 堆 ) 529 pr. 
DECREMENT, 456 ex. 
degeneracy(iB 44), 874 
degree( 度 ) 
of a binomial-tree root( 二 项 树 根 ) 527 pr. 
maximum( 最 大 )，of a Fibonacci heap (SE YR AK $ 
HE), 509, 523-526 
minimum( 最 小 ) of a B-tree(BAY), 489 
of a node( 结 点 )，1177 
of a polynomial( 多 项 式 )，55，898 
of a vertex( 顶 点 )，1169 
degree-bound( 次 数 界 ) 898 
DELETE, 230, 505 
DELETE-LARGER-HALF, 463 ex. 
deletion HK) 
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from binary search trees( 二 叉 搜 索 树 )，295-298， 
299 ex. 
from a bit vector with a superimposed binary tree 
(具有 又 加 二 又 树 的 位 向 量 )，534 
from a bit vector with a superimposed tree of 
constant height( 具 有 和 恒定 高 度 共 加 树 的 位 
mE), 535 
from B-trees(B #8), 499-502 
from chained hash tables( 链 接 的 散 列 表 ) 258 
from direct-address tables( 直 接 寻 址 表 ) 254 
from dynamic tables( 动 态 表 ) 467-471 
from Fibonacci heaps (3E ARRIE), 522, 526 pr. 
from heaps(#E), 166 ex. 
from interval trees( 区 间 树 ) 349 
from linked lists( 链 表 ) 238 
from open-address hash tables( 开 放 寻 址 散 列 表 )，271 
from order-statistic trees( 顺 序 统计 树 )，343-344 
from proto van Emde Boas struetures (原型 van 
Emde Boas 结构 )，544 
from queues( 队 列 ) 234 
from red-black trees( 红 黑 树 ) 323-330 
from stacks( 栈 ) 232 
from sweep-line statuses( 扫 描 线 状态 ) 1024 
from 2-3-4 heaps(2-3-4 堆 )，529 pr. 
from van Emde Boas tress(van Emde Boas 树 )， 
554-556 
DeMorgan’s laws( 4 + ERIE) 
for propositional logic( 47 #7248), 1083 
for sets( 集 合 ) 1160, 1162 ex. 
dense graph(#a38 AI), 589 
e-dense(e 稠密 )，706 pr. 
density( 密 度 ) 
of prime numbers( #4), 965-966 
of a rod( 钢 条 ) 370 ex. 
dependence( #8) 
and indicator random variables (与 指示 器 随机 变 
量 )，119 
linear( 线 性 )，1223 
参见 independence 
depth Æ) 
average (34 43), of a node in a randomly built 
binary search tree( 随 机 构造 的 二 又 搜索 树 中 
结 点 )，304 pr. 
of a circuit( 电 路 ) ，919 
of a node in a rooted tree( 有 根 树 的 结 点 ) 1177 


of quicksort recursion tree( 快 速 排序 递归 树 )， 
178 ex. 
of a stack(#¥), 188 pr. 
depth-determination problem( 深 度 确定 问题 ) 583 pr. 
depth-first forest( 深 度 优 先 森 林 ) 603 
depth-first search( 深 度 优 先 搜索 )，603-612，623 
in finding articulation points, bridges, and biconn- 
ected components( 寻 找 衡 接点 、 桥 和 双 连 通 
分 量 ) 621 pr. 
in finding strongly connected components( 寻 找 强 
连通 分 量 ) 615-621, 623 
in topological sorting( 拓 扑 排 序 ) 612-615 
depth-first tree( 深 度 优 先 树 ) 603 
deque( 双 端 队列 ) 236 ex. 
DEQUEUE, 235 
derivative of series( 级 数 的 导数 ) 1147 
descendant($#)), 1176 
destination vertex( 目 的 地 结 点 )，644 
det， 见 determinant 
determinacy race( 确 定性 竞争 ) 788 
determinant( 行 列 式 )，1224-1225 
and matrix multiplication( 与 矩阵 乘法 ) 832 ex. 
deterministic algorithm( 确 定性 算法 ) 123 
multithreaded( 多 线程 的 ) 787 
DETERMINISTIC-SEARCH, 143 pr. 
DFS, 604 
DFS-VISIT, 604 
DFT(Discrete Fourier Transform) (È #4 E I 45 
换 ) 9, 909 
diagonal matrix( 对 角 和 矩阵 ) 1218 
LUP decomposition of(LUP 分 解 )，827 ex. 
diameter of a tree( 树 的 直径 ) 602 ex. 
dictionary( 字 典 ) ，229 
difference constraints( 差 分 约束 ) 664-670 
difference equation( #24} JÆ), JL recurrence 
difference of sets( 集 合 的 差 )( 一 ) 1159 
symmetric( 对 称 的 ) 763 pr. 
differentiation of series( 级 数 的 微分 ) 1147 
digital signature( 数 字 签 名 ) 960 
digraph( 有 回 图 )， 见 directed graph 
DIJKSTRA, 658 
Dijkstra’s algorithm(Dijkstra 算法 )，658-664，682 
for all-pairs shortest paths( 所 有 结 点 对 的 最 短路 
42), 684, 704 
implemented with a Fibonacci heap( FASE 2K AR SHE 


实现 ) 662 
implemented with a min-heap( 用 最 小 堆 实 现 ) ，662 
with integer edge weights( 带 整数 边 权 重 )，664 ex. 
in Johnson’s algorithm(Johnson 算法 )，702 
similarity to breadth-first search( 与 广度 优先 搜索 
的 相似 性 )，662，663 ex. 
similarity to Prim’s algorithm (5 Prim 算法 的 相 
似 性 )，634，662 
DIRECT-ADDRESS-DELETE, 254 
direct addressing( 直 接 寻 址 ) ，254-255，532-536 
DIRECT-ADDRESS-INSERT，254 
DIRECT-ADDRESS-SEARCH，254 
direct-address table( 直 接地 址 表 ) 254-255 
directed acyclic graph( 有 向 无 环 图 ，dag) 1172 
and back edges( 与 反 向 边 ) 613 
and component graphs( 与 分 量 图 ) ，617 
and hamiltonian-path problem (与 哈密 顿 路 径 问 
fl), 1066 ex. 
longest simple path in( 最 长 简单 路 径 ) 404 pr. 
for representing a multithreaded computation( 表 示 
多 线程 计算 ) 777 
single-source shortest-paths algorithm for( 单 源 最 
短路 径 算法 ) 655-658 
topological sort of (拓扑 排序 ) 612-615, 623 
directed graph( 有 向 图 ) , 1168 
all-pairs shortest paths in( 所 有 结 点 对 的 最 短路 
4%), 684-707 
constraint graph ARA) , 666 
Euler tour of( 欧 拉 回 路 ) ，623 pr., 1048 
hamiltonian cycle of( 哈 密 顿 环 ) ，1049 
and longest paths( 与 最 长 路 径 ) ，1048 
path cover of 路径 覆盖 ) 761 pr. 
PERT chart(PERT 图 ) 657, 657 ex. 
semiconnected( 半 连通 的 ) 621 ex. 
shortest path in( 最 短路 径 ) 643 
single-source shortest paths in( 单 源 最 短路 径 )， 
643-683 
singly connected( 单 连通 图 ) » 612 ex. 
square of( 平 方 ) » 593 ex. 
transitive closure of( 传 递 闭 包 ) 697 
transpose of( 转 置 )，592 ex. 
vniversal sink in( 通 用 汇 点 ) 593 ex. 
参见 circuit, directed acyclic graph, graph, network 
directed segment( 有 向 线段 ) 1015-1017 
directed version of an undirected graph( 无 回 图 的 有 
| 
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向 版 本 )，1172 
DIRECTION, 1018 
dirty data( 脏 数据 ) 208 pr. 
DISCHARGE，751 
discharge of an overflowing vertex (溢出 结 点 的 释 
BO, 751 
discovered vertex( 被 发 现 的 结 点 ) 594, 603 
discovery time( 发 现时 间 )，in depth-first search (%8 
度 优先 搜索 )，605 
Discrete Fourier Transform (离散 傅 里 叶 变 换 )， 
9, 909 
discrete logarithm (H BUXT AD , 955 
discrete logarithm theorem( #3 UXT BE HE), 955 
discrete probability distribution (离散 概率 分 
Ai), 1191 
discrete random variable( 离 散 随 机 变量 ) 1196-1201 
disjoint-set data structure( 不 相交 集合 数据 结构 )， 
561-585 
analysis of( 分 析 )，575-581，581] ex. 
in connected components( 连 通 分 量 )，562-564 
in depth determination( 深 度 确定 )，583 pr. 
disjoint-set-forest implementation of( 不 相交 集合 
森林 实现 ) 568-572 
in Kruskal’s algorithm(Kruskal 算法 )，631 
linear-time special case of( 线 性 时 间 特 例 )，585 
linked-list implementation of( 链 表 实 现 ) 564-568 
in off-line least common ancestors( 脱 机 最 小 公共 
祖先 )，584 pr. 
in off-line minimum( 脱 机 最 小 ) ，582 pr. 
in task scheduling( 任 务 调 度 ) 448 pr. 
disjoint-set forest( 不 相交 集合 森林 ) 568-572 
analysis of (分 析 ) 575-581, 581 ex. 
rank properties of( 秩 性 质 ) 575, 581 ex. 
参见 disjoint-set data structure 
disjoint sets( 不 相交 集合 ) 1161 
disjunctive normal form( 析 取 范 式 )，1083 
disk( 磁 盘 ) 1028 ex. 
参见 secondary storage 
DISK-READ, 487 
DISK-WRITE, 487 
distance( BBS) 
edit( 编 辑 ) 406 pr. 
euclidean( 欧 几 里 得 )，1039 
Lms 1044 ex. 
Manhattan (S df), 225 pr. , 1044 ex. 
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of a shortest path( 最 短路 径 ) ，597 division theorem( 除 法 定理 ) 928 
distributed memory( 分 布 式 存 储 ) 772 divisor( 因 子 ) ，927-928 
distribution( 分 布 ) common( 人 公共) 929 
binomial( 二 项 ) 1203-1206 参见 greatest common divisor 
continuous uniform( 连 续 均 匀 ) 1192 DNA, 6-7, 390-391, 406 pr. 
discrete( 离 散 ) 1191 DNF (disjunctive normal form) ( 析 取 范式 ) 1083 
geometric( 几 何 ) 1202-1203 does-not-divide relation( 非 整除 关系 ) Ch), 927 
of inputs( 输 入 )，116，122 domain( 域 ) 1166 
of prime numbers( 素 数 ) 965 dominates relation( 支 配 关 系 )，1045 pr. 
probability( 概 率 ) 1190 double hashing( 双 散 列 )，272-274，277 ex. 
sparse-hulled RRE), 1046 pr. doubly linked list( Xf] ## #2), 236 
uniform(#j4J), 1191 参见 linked list 
distributive laws for sets( 集 合 的 分 配 律 )，1160 downto, in pseudocode( 伪 代码 中 )，21 
divergent series( 发 散 级 数 ) 1146 d-regular graph(d 正则 图 ) 736 ex. 
divide-and-conquer method( 分 治 法 ) 30-35, 65 duality( 对 偶 性 ) 879-886, 895 pr 


analysis of 分析) 34-35 

for binary search( 二 分 查找 ) 39 ex. 

for conversion of binary to decimal( 二 进 制 到 十 进 
制 的 转换 ) 933 ex. 

for Fast Fourier Transform (快速 傅 里 时 变换 )， 
909-912 

for finding the closest pair of points( 寻 找 最 近 点 
Xf), 1040-1043 

for finding the convex hull( 寻 找 凸 包 ) 1030 

for matrix inversion( 和 矩阵 的 逆 )，829-831 

for matrix multiplication (矩阵 乘法 )，76-83， 


weak(§§), 880-881, 886ex. 
dual linear program( 对 偶 线 性 规划 ) , 879 
dammy key( 伪 关键 字 ) 397 
dynamic graph( 动 态 图 ) 562 n. 
all- pairs shortest Paths algorithm for( 所 有 结 点 对 的 
最 短路 径 算法 )，707 
data structures for( 数 据 结 构 )，483 
minimum-spanning-tree algorithm for( 最 小 生成 树 
算法 )，637 ex. 
transitive closure of( 传 递 闭 包 )，705 pr. ，707 
dynamic multithreaded algorithm( 动 态 多 线程 算 


792-797 法 )， 参 见 mltithreaded algorithm 
for maximum-subarray problem (最 大 子 数 组 问 dynamic multithreading( 动 态 多 线程 )，773 
fi), 68-75 dynamic order statistics( 动 态 顺序 统计 )，339-345 


for merge sort( 归 并 排序 ) 30-37, 797-805 
for multiplication( 乘 法 ) 920 pr. 
for multithreaded matrix multiplication (£ AE 
ERE), 792-797 
for multithreaded merge sort( 多 线程 归并 排序 )， 
170-190 
for quicksort( 快 速 排 序 )，145-164 
relation to dynamic programming (与 动态 规划 的 
关系 )，359 
for selection( 选 择 )，215-224 
solving recurrences for (求解 递归 式 )，83-106， 
112-113 
for Strassen’s algorithm(Strassen 算法 ) 79-83 


dynamic-programming method (动态 规划 方法 )， 
359-413 
for activity selection( 活 动 选 择 ) 421 ex. 
for all-pairs shortest paths( 所 有 结 点 对 的 最 短路 
径 )，686-697 
for bitonic euclidean traveling-salesman problem 
( 双 调 欧 几 里 得 旅行 商 问题 )，405 pr. 
bottom-up( 自 底 向 上 )，365 
for breaking a string( 分 解 字符 串 ) 410 pr. 
compared to greedy algorithms( 与 贪心 算法 比较 )， 
381, 390 ex. , 418, 423-427 
for edit distance( 编 辑 距 离 ) 406 pr. 
elements of (Emi), 378-390 


divide instruction( 除 法 指令 ) 23 for Floyd-Warshall algorithm (Floyd-Warshall 算 
divides relation( 整 除 关 系 )( | )，927 法 )，693-697 
division method( 除 法 )，263，268-269 ex. for inventory planning( 库 存 规划 ) 411 pr. 


for longest common subsequence( 最 长 公共 子 序 
列 )，390-397 
for longest palindrome subsequence( 最 长 回 文子 序 
列 )，405 pr. 
for longest: simple path in a weighted directed 
acyclic graph( 加 权 有 向 无 环 图 中 的 最 长 简单 
路 径 ) 404 pr. 
for matrix-chain multiplication (矩阵 链 乘 法 )， 
370-378 
and memoization( 与 备 忘 ) 387-389 
for optimal binary search trees( 最 优 二 又 搜索 树 )， 
397-404 
optimal substructure in( 最 优 子 绪 构 ) 379-384 
overlapping subproblems in〈 重 要 子 问 题 )， 
384-386 
for printingineatly( 整 齐 打印 ) 405 pr. 
reconstructing an optimal solution in( 重 新 构造 一 
个 最 优 解 )，387 
relation to divide-and-conquer (与 分 治 法 的 关系 )， 
359 
for rod-cutting( 钢 条 切割 )，360-370 
for seam carving( 接 颖 裁剪 ) 409 pr. 
for signing free agents( 签 约 自 由 球员 ) ，411 pr. 
top-down with memoization (He mH A A 
F), 365. 
for transitive closure( 传 递 闭 包 ) 697-699 
for Viterbi algorithm( Viterbi 算法 ) 408 pr. 
for 0-1 knapsack problem(0-1 背包 问题 ) 427 ex 
dynamic set( 动 态 集合 )，229-231 
参见 data structure 
dynamic table( 动 态 表 ) 463-471 
analyzed by accounting method( 用 核算 法 分 析 )， 
465-466 ， 
analyzed by aggregate analysis( 用 汇聚 分 析 做 分 
析 ) ，465 
analyzed by potential method (用 势能 法 分 析 )， 
466-471 
load factor of RRAF), 463 
dynamic tree( 动 态 树 ) 482 


E 


€s 53 

E []Cexpected value) (期 望 值 ) 1197 
early-first form( 提 前 优先 形式 ) 444 
early task( 提 前 任务 )， 444 
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edge( 边 )，1168 
admissible( 许 可 的 ) ，749 
antiparallel( 反 平行 )，711-712 
attributes of( 属 性 ) 592 
back( fz [a] A), 609 
bridge( 桥 ) 621 pr. 
call( 调 用 ) 778 
capacity of( 容 量 ) 709 
classification in breadth-first search( 广 度 优 先 搜索 
中 的 分 类 ) 621 pr. 
classification in depth-first search (深度 优 先 搜索 
中 的 分 类 ) 609-610 
critical( 关 键 的 )，729 
cross(24 MA), 609 
forward(jE[AJ HY), 609 
inadmissible( 非 许可 的 )，749 
light( 轻 的 ) 626 
negative-wWeight( 负 的 权重 ) 645-646 
residual( 残 留 的 ) 716 
safe( 安 全 的 ) 626 
saturated( 饱 和 的 )，739 
tree( 树 ) 601, 603, 609 
weight of (LH), 591 
edge connectivity( 边 的 连通 性 ) 731 ex. 
edge set( 边 集合 ) ，1168 
edit distance( HJE), 406 pr. 
Edmonds-Karp algorithm(Edmonds-Karp $E), 727-730 
elementary event( 基 本 事件 ) 1189 
elementary insertion(ZEAS HHA), 465 
element of a set( 和 集合 的 元 素 )(€)，1158 
ellipsoid algorithm( 椭 球 算 法 ) 850, 897 
elliptic-curve factorization method (椭圆 曲线 因子 分 
解 方法 ) ，984 
else if, in pseudocode( 伪 代码 中 )，20 n. 
else(else 子 句 ) in pseudocode( 伪 代码 中 )，19 
empty language (Z 1R) (Ø), 1058 
empty set(4348)(@), 1158 
empty set laws (5 R), 1159 
empty stack( 空 栈 ) 233 
empty string( 空 串 )(e)，986，1058 
empty tree( 空 树 ) 1178 
encoding of problem instances (问题 实例 的 编码 )， 
1055-1057 
endpoint (3H Fa) 
of an interval( 区 间 )，348 
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of a line segment (#6), 1015 
ENQUEUE, 203 
entering a vertex( 进 入 一 个 顶点 ) 1169 
entering variable( 替 人 变量 ) 867 
entropy function (i PKA, 1187 
e-dense graph(e 稠密 图 ) 706 pr. 
e-universal hash function(e 全 域 散 列 函数 )，269 ex. 
equality《 相 等 》 
of functions( KA), 1166 
linear( 线 性 ) 845 
of sets‘), 1158 
equality constraint( 等 式 约束 )，670 ex. , 852 
and inequality constraints( 与 不 等 式 约束 )，853 
tight( 紧 的 )，865 
violation of( 违 反 ) 865 
equation( 方 程 ) 
and asymptotic notation( 与 渐 近 记号 ) ，49-50 
normal( 正 态 ) 837 
recurrence( 递 归 ) ， 见 recurrence 
equivalence class( 等 价 类 ) 1164 
modulo n(#i n)([La],), 928 
equivalence ( Æ ft), modular ( 模 ) (=), 54, 
1165 ex. 
equivalence relation( 等 价 关 系 ) 1164 
and modular equivalence( 与 模 等 价 ) 1165 ex. 
equivalent linear programs( 等 价 的 线性 规划 ) ，852 
error, in pseudocode( 擅 代码 中 ) 22 
escape problem( 逃 跑 问 题 ) 760 pr. 
EUCLID, 935 
Euclid’s algorithm (KK JL BBY), 933-939, 981 
pr. , 983 
euclidean distance( 欧 几 里 得 距离 )，1039 
euclidean norm( 欧 几 里 得 范 数 ) 1222 
Euler’s constant( 欧 拉 常 数 ) 943 
Euler’s phi function( 欧 拉 phi pia), 943 
Euler’s theorem( 欧 拉 和 定理 ) 954, 975 ex. 
Euler tour( 欧 拉 回 路 ) 623 pr., 1048 
and hamiltonian cycles( 与 哈密 顿 环 ) 1048 
evaluation of a polynomial (EMAAR), 41 pr., 
900, 905 ex. 
derivatives of( 导 数 ) 922 pr. 
at multiple points( 多 点 )，923 pr. 
event( 事 件 ) 1190 
event point( 事 件 点 )，1023 
event-point schedule( 事 件 点 调度 ) 1023 


EXACT-SUBSET-SUM, 1129 
excess flow( 超 额 流 )，736 
exchange property( 交 换 性 质 )，437 
exclusion and inclusion( 容 斥 ) 1163 ex. 
execute a Subroutine( 执 行 子 过 程 )，25 n. 
expansion of a dynamic table (动态 表 的 扩张 )， 
464-467 
expectation( 期 望 ) ， 见 expected value 
expected running time( 期 望 运行 时 间 ) 28, 117 
expected value( 期 望 值 ) 1197-1199 
of a binomial distribution( 二 项 分 布 )，1204 
of a geometric distribution( 几 何 分 布 )，1202 
of an indicator random variable (指示 器 随机 变 
量 )，118 
explored vertex( 探 测 过 的 结 点 ) 605 
exponential function( 指 数 函 数 )，55-56 
exponential height( 指 数 高 度 )，300 
exponential search tree( 指 数 搜索 树 )，212，483 
exponential series( 指 数 级 数 )，1147 
exponentiation instruction (WRF), 24 
exponentiation( WE), ，modular( 模 ) 956 
EXTENDED-BOTTOM-UP-CUYT-ROD, 369 
EXTENDED-EUCLID, 937 
EXTEND-SHORTEST-PATHS, 688 
extension of a set( 集 合 的 扩张 )，438 
exterior of a polygon( 多 边 形 的 外 边界 )，1020 ex. 
external node( 外 部 结 点 )，1176 
external path length( 外 部 路 径 长 度 )，1180 ex. 
extracting the maximum key( 抽 取 最 大 关键 字 ) 
from d-ary heaps(d XL), 167 pr. 
from max-heaps( 最 大 堆 ) 163 
extracting the minimum key( 抽 取 最 小 关键 字 ) 
from Fibonacci heaps (3E ARRIE), 512-518 
from 2-3-4 heaps(2-3-4 HE), 529 pr. 
from Young tableaus( Young RERE), 167 pr. 
EXTRACT-MAX, 162-163 
EXTRACT-MIN, 162, 505 
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factor( 因 子 ) 928 
twiddle( 旋 转 ) 912 
factorial function( 阶 乘 函 数 )(1) ，57-58 
factorization( 因 子 分 解 )，975-980，984 
unique( 唯 一 的 ) 931 
failure( 失 败 )，in a Bernoulli trial ( 伯 努 利 试 


验 )，1201 
fair coin( 均 匀 人 硬币 )，1191 
fan-out( tH), 1071 
Farkas’s lemma(Farkas 引 理 ) 895 pr. 
farthest-pair problem( 最 远 对 问题 )，1030 
FASTER-ALL-PAIRS-SHORTEST-PATHS, 691, 
692 ex. 
Fast Fourier Transform(FFT) (快速 傅 里 叶 变 换 )， 
898-925 
circuit for( 电 路 ) 919-920 
iterative implementation of GEIRE), 915-918 
multidimensional( 4 4E HY), 921 pr. 
recursive implementation of( 递 归 实现 ) 909-912 
using modulariarithmetic( 利 用 取 模 运算 ) 923 pr. 
feasibility problem( 可 行 性 问题 )，665，894 pr. 
feasible linear program( 可 行 线性 规划 )，851 
feasible region( 可 行 区 域 ) 847 
feasible solution( 可 行 解 )，665，846，851 
Fermat’s theorem( 费 马 定 理 ) 954 
FFT, Ji, Fast Fourier Transform 
FFTW, 924 
FIB, 775 
FIB-HEAP-CHANGE-KEY, 529 pr. 
FIB-HEAP-DECREASE-KEY, 519 
FIB-HEAP-DELETE, 522 
FIB-HEAP-EXTRACT-MIN, 513 
FIB-HEAP-INSERT, 510 
FIB-HEAP-LINK, 516 
FIB-HEAP-PRUNE, 529 pr. 
FIB-HEAP-UNION, 512 
Fibonacci heap( 斐 波 那 契 堆 ) , 505-530 
changing a key in( 改 变 一 个 关键 字 ) 529 pr. 
compared with binary heaps (与 二 叉 堆 比较 )， 
506-507 ` 
creating (F432), 510 
decreasing a key in( 对 其 中 一 个 关键 字 减 值 )， 
519-522 
deletion from( 删 除 ) 522, 526 pr. 
in Dijkstra’s algorithm(Dijkstra BYE), 662 
extracting the minimum key from( 抽 取 最 小 关键 
字 )，512:518 
insertion into( 插 入 )，510-511 
in J ohnson’s algorithm(Johnson 算法 ) 704 
maximum degree of( 最 大 度数 ) 509, 523-526 
minimum key of (最 小 关键 字 )，511 


索 51 。 747 


potential function for( P% , 509 
in Prim’s algorithm(Prim 算法 ) 636 
pruning( 前 枝 ) 529 pr. 
running times of operations on( 操 作 的 运行 时 间 )， 
506 fig. 
uniting( 合 并 ) 511-512 
Fibonacci numbers( 斐 波 那 契 数 )，59-60，108 pr. ，523 
computation of( 计 算 )，774-780，981 pr. 
FIFO (first-in, first-out) (先进 先 出 )，232 
参见 queue 
final-state function(RxA RAS KRO, 996 
final strand( 最 后 链 ) 779 
FIND-DEPTH, 583 pr. 
FIND-MAX-CROSSING-SUBARRAY, 71 
FIND-MAXIMUM-SUBARRAY, 72 
find path( 发 现 路 径 ) 569 
FIND-SET, 562 
disjoint-set-forest implementation of (不 相交 集合 
森林 实现 )，571，585 
linked-list implementation of( 链 表 实 现 ) 564 
finished vertex( 完 成 结 点 ) 603 
finishing time( 完 成 时 间 )，in depth-first search( 深 
度 优先 搜索 ) 605 
and strongly connected components (与 强 连 通 分 
量 )，618 
finish time( 完 成 时 间 ) in activity selection( 活 动 选 
择 ) ，415 
finite automaton( 有 限 目 动机 ) 995 
for string matching( 字 符 串 匹配 ) 996-1002 
FINITE-AUTOMATON-MATCHER, 999 
finite group(4 bRAF), 940 
finite sequence( 有 限 序列 ) 1166 
finite set( 有 限 集 )，1161 
first-fit heuristic( 首 先 适 合 启发 式 ) 1134 pr. 
first-in( 先 进 ) ，first-out( 先 出 ) 232 
参见 queue 
fixed-length code( 固 和 定 长 度 编码 ) 429 
floating-point data type( 浮 点 数据 类 型 )，23 
floor function( 下 取 整 函数 )(| |), 54 
in master theorem( 主 定理 ) 103-106 
floor instruction( 下 取 整 指令 )，23 
flow( 流 )，709-714 
aggregate( 聚 合 ) 863 
augmentation of( 扩 张 )，716 
blocking( 块 )，765 
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excess( 洲 出 )，736 
integer-valued( 整 数值 的 ) 733 
integer-valued( 整 数值 ) 733 
net), across a cut( 横 路 切 制 )，720 
value of ( 值 ) 710 
flow conservation( 流 守恒 ) 709-710 
flow network( 流 网 络 ) 709-714 
corresponding to a bipartite graph (相应 于 二 分 
图 )，732 
cut of( 切 割 )，720-724 
with multiple sources and sinks (多 源 点 和 汇 
点 )，712 
FLOYD-WARSHALL，695 
FLOYD-WARSHALL 699 ex. 
Floyd-Warshall algorithm ( Floyd-Warshall 算法 )， 
693-697, 699-700 ex. 
multithreaded( 多 线程 的 ) 797 ex. 
FORD-FULKERSON, 724 
Ford -Fulkerson method ( Ford-Fulkerson 方法 )， 
714-731, 765 
FORD-FULKERSON-METHOD, 715 
forest( 森 林 ) , 1172-1173 
depth-first (REESE), 603 
disjoint-set( 不 相交 集合 ) 568-572 
formal power series( 形 式 宁 级 数 ) 108 pr. 
formula-satisfiability problem( 公 式 可 满足 性 问题 )， 
1079-1081, 1105 
forward edge( 正 向 边 )，609 
forward substitution( 正 癌 替 换 )，816-817 
fractional knapsack problem (部 分 背包 问题 )，426， 
428 ex. 
free agent( 自 由 球员 )，411 pr. 
freeing of objects( 对 象 的 释放 )，210-212 
free list( 释 放 列 表 ) 243 
FREE-OBJECT，244 
free tree( 释 放 树 ) 1172-1176 
frequency domain( 频 率 域 ) ，898 
full binary tree( 满 二 叉 树 ) 1178, 1180 ex. 
relation to optimal code( 和 最 优 编码 的 关系 ) 430 
full node( 满 结 点 )，489 
full rank( 满 秩 ) 1223 
full walk of a tree( 树 的 完全 遍历 ) 1114 
fully parenthesized matrix-chain product( 完 全 括号 化 
矩阵 链 积 ) 370 


fully polynomial-time approximation scheme( 完 全 多 


项 式 时 间 近 似 模式 )，1107 

for subset-sum( 子 集 和 )，1128-1134，1139 
function( Kx), 1166-1168 

Ackermann’s, 585 

basis( 基 ) ，835 

convex(/4 AY), 1199 

final-state( 最 终 状 态 ) 996 

hash( 散 列 )， 见 hash function 

linear( 线 性 的 )，26，845 

objective( 目 标 )，664，847，851 

potential( 势 ) 459 

prefix( A 3k), 1003-1004 

quadratic( 二 次 的 )，27 

reduction( 上 归 约 )，1067 

suffix( 后 缀 )，996 

transition( 变 换 ) 995, 1001-1002, 1012 ex 
functional iteration( IBGE), 58 
fundamental theorem of linear programming (2& tt $0 

划 的 基本 定理 )，892 

fusion tree RAH), 212, 483 
fuzzy sorting( 模 糊 排 序 ) 189 pr. 


G 


Gabow’s scaling algorithm for single-source shortest 
paths( 单 源 最 短路 径 的 Gabow 定 标 算法 )， 
679 pr. 
gap character( |B] RF), 989 ex., 1002 ex. 
gap heuristic( 跨 越 式 局 发 )，760 ex, 766 
garbage collection( 垃 圾 收集 )，151，243 
gate( 门 )，1070 
Gaussian elimination( 高 斯 消 元 ) 819, 842 
gcd， 见 greatest common divisor 
general number-field sieve(— ARATE AN IME), 984 
generating function(4 WAZO, 108 pr. 
generator( 生 成 元 ) 
of a subgroup( 子 群 )，944 
of Ze (Z? ), 955 
GENERIC-MST, 626 
GENERIC-PUSH-RELABEL, 741 
generic push-relabel algorithm( 通 用 推送 - 重 贴标签 
算法 ) ，740-748 
geometric distribution( 几 何 分 布 )，1202-1203 
and balls and bins( 与 球 和 盒子 ) ，134 
geometric series( 几 何 级 数 )，1147 
GF(2), 1227 pr. 


gift wrapping( 礼 物 包 装 )，1037，1047 
global variable( 全 局 变量 ) 21 
Goldberg's algorithm (Goldberg 算法 )， 见 push- 
relabel algorithm 
golden ratio( 黄 金 分 割 率 ) (¢), 59, 108 pr. 
gossiping( 传 布 消息 ) ，478 
GRAFT, 583 pr. 
Graham’s scan(Graham #44), 1030-1036, 1047 
GRAHAM-SCAN, 1031 
graph( 图 ) 1168-1173 
adjacency-list representation of (邻接 链表 表示 法 )，590 
adjacency-matrix representation of (邻接 矩阵 表示 
法 ) 591 
algorithms for( 算 法 ) ，587-766 
and asymptotic notation( 渐 近 记 号 ) 588 
attributes of( 属 性 )，588，592 
breadth-first search of (广度 优先 搜索 )，594- 
602，623 
coloring of (#4), 1103 pr. 
complement iof(#}), 1090 
component( 分 量 ) 617 
constraint( 约 束 )， 666-668 
dense( 稠 密 )， 589 
depth first search of( 深 度 优先 搜索 )，603-612，623 
dynamic( 动 态 的 ) 562 n. 
e-dense(e 稠密 的 ) ，706 pr. 
hamiltonian( 哈 密 顿 )，1061 
incidence matrix of (关联 矩阵 ) 448 pr. , 539 ex. 
interval( 区 间 )， 422 ex. 
nonhamiltonian( 非 哈密 顿 ) 1061 
shortest path in( 最 短路 径 ) 597 
singly connected( 单 连通 的 ) 612 ex. 
sparse (RPH) , 589 
static( 静 态 的 )， 562 n. 
tour of( 回 路 ) 1096 
weighted( 带 权 的 )，591 
参见 directed acyclic graph, directed graph, flow 
network, undirected graph, tree 
graphic matroid( 图 拟 阵 ) 437-438, 642 
GRAPH-ISOMORPHISM，1065 ex 
gray vertex KRETA) » 594, 603 
greatest common divisor( 最 大 公 因 子 ) (gcd), 929- 
930, 933éx. 
binary gcd: algorithm for (二 进 制 gcd 算法 )， 
981 pr. 
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Euclid’s algorithm for( 欧 几 里 得 算法 ) 933-939, 


98lpr. ，983 
with more than two arguments( 多 于 两 个 参数 )， 
939 ex. 


recursion theorem for(j#J5%E HB), 934 
greedoid()” CFU), 450 
GREEDY, 440 
GREEDY-ACTIVITY-SELECTOR, 421 
greedy algorithm( 贪 心算 法 ) 414-450 
for activity selection( 活 动 选 择 ) 415-422 
for coin changing hE FRA), 446 pr. 
compared with dynamic programming( 与 动态 规划 比 
BE), 381, 390 ex ，418，423-427 
Dijkstra’s algorithm(Dijkstra BYE), 658-664 
elements of (A), 423-428 
for fractional knapsack problem( 用 于 部 分 背包 问 


fA), 426 
greedy-choice property in (贪心 选择 性 质 )， 
424-425 


for Huffman code( 赫 夫 曼 编码 )，428-437 
Kruskal’s algorithm(Kruskal 算法 )，631-633 

and matroids( 与 拟 阵 )，437-443 

for minimum spanning tree (最 小 生成 树 )， 


631-638 
for multithreaded scheduling (多 线程 调度 )， 
781-783 


for off-line caching( 脱 机 缓存 )，449 pr. 
optimal substructure in( 最 优 子 结构 )，425 
Prim’s algorithm(Prim 算法 )，634-636 
for set cover( 集 合 覆 盖 ) 1117-1122, 1139 
for task scheduling( 任 务 调 度 ) 443-446, 447- 
448 pr. 
on a weighted matroid( 在 带 权 拟 阵 上 ) ，439-442 
for weighted set cover( 用 于 带 权 集合 覆盖 ) 1135 
pr. 
greedy-choice property( 贪 心 选 择 性 质 )，424-425 
of activity selection( 活 动 选择 ) 417-418 
of Huffman codes( 赫 夫 曼 编码 )，433-434 
of a weighted matroid( 加 权 拟 阵 ) 441 
greedy scheduler (A OEZ), 782 
GREEDY-SET-COVER, 1119 
grid( 网 格 ) 760 pr. 
group( 和 群 )，939-946 
cyclic( 循 环 的 ) 955 
operator( 中 ) (操作 符 ) 939 
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guessing the solution (猜想 的 解 )，in the substitution 
method( 蔡 换 方法 中 ) 84-85 


H 


half 3-CNF satisfiability( 半 3-CNF 可 满足 性 )，1101 ex 
half-open interval( 半 开 区 间 ) ，348 
Hall's theorem( Hall 定理 ) 735 ex. 
halting problem( 停 机 问题 )，1048 
halving lemma( 折 半 引 理 ) 908 
HAM-CYCLE，1062 
hamiltonian cycle( 哈 密 顿 环 )，1049，1061，1091- 
1096, 1105 
hamiltonian graph( 哈 密 顿 图 ) 1061 
hamiltonian path (了 哈密 顿 路 径 )，1066 ex., 
1101 ex. 
HAM-PATH, 1066 ex. 
handle( 句 柄 ) 163, 507 
handshaking lemma( 握 手 引 理 ) 1172 ex. 
harmonic number( 调 和 数 ) 1147, 1153-1154 
harmonic series( 调 和 级 数 )，1147，1153-1154 
HASH-DELETE, 277 ex. 
hash function( 散 列 函 数 )，256，262-269 
auxiliary (FH BAY), 272 
collision-resistant( 抗 冲突 ) 964 
division method for( 除 法 方法 )，263，268-269 ex. 
e-universal(e 全 域 ) 269 ex. 
multiplication method for( 乘 法 方法 ) 263-264 
universal( 人 全域) 265-268 
hashing( 散 列 )，253-285 
with chaining( 链 接 )，257-260，283 pr. 
double( 双 )，272-274，277 ex. 
k-universal(k 全 域 ) 284 pr. 
in memoization( 备 忘 ) 365, 387 
with open addressing( 用 开放 寻 址 ) 269-277 
perfect( 完 全 的 ) 277-282, 285 
universal( 全 域 ) 265-268 
HASH-INSERT, 270, 277 ex. 
HASH-SEARCH, 271, 277 ex. 
hash table( 散 列表 ) 256-261 
dynamic( 动 态 的 ) 471 ex. 
secondary(—7%K), 278 
参见 hashing 
hash value( 散 列 值 ) 256 
hat-check problem( 帽 子 核 对 问题 ) 122 ex. 
head( 头 ) 


in a disk drive( 磁 盘 驱动 器 ) 485 
of a linked list( 链 表 ) 236 
of a queue( 队 列 )，234 
heap(#E), 151-169 
analyzed by potential method (用 势能 法 分 析 )， 
462 ex. 
binomial( 二 项 的 ) 527 pr. 
building( 构 造 ) 156-159, 166 pr. 
d-ary(d SL), 167 pr. ，706 pr. 
deletion from( 删 除 ) 166 ex. 
in Dijkstra’s algorithm(Dijkstra 算法 ) 662 
extracting the maximum key from( 抽 取 最 大 关键 
字 )，163 
Fibonacci( 斐 波 那 契 ) J, Fibonacci heap 
as garbage-collected storage (作为 垃圾 收集 存 
t), 151 
height of GE), 153 
in Huffman’s algorithm( 在 赫 夫 曼 算法 中 )，433 
to implement a mergeable heap( 实 现 可 合并 堆 )，506 
increasing a key in( 增 大 一 个 关键 字 )，163-164 
insertion into( 插 入 )，164 
in Johnson’s algorithm(Johnson 算法 ) 704 
max-heap( 最 大 堆 )，152 
maximum key of( 最 大 关键 字 )，163 
mergeable( 可 合并 的 ) ， 见 mergeable heap 
min-heap( 最 小 堆 )，153 
in Prim’s algorithm(Prim 算法 )，636 
as a priority queue( 作 为 一 个 优先 队列 ) ，162-166 
relaxed( 松 弛 的 )，530 
running times of operations on( 操 作 的 运行 时 间 )， 
506 fig. 
and treaps( 与 treap), 333 pr. 
2-3-4, 529 pr. 
HEAP-DECREASE-KEY, 165 ex. 
HEAP-DELETE, 166 ex. 
HEAP-EXTRACT-MAX, 163 
HEAP-EXTRACT-MIN, 165 ex. 
HEAP-INCREASE-KEY, 164 
HEAP-MAXIMUM, 163 
HEAP-MINIMUM, 165 ex. 
heap property HÆ WJ HEJ), 152 
maintenance of( 维 护 ) 154-156 
vs. binary-search-tree property( 与 二 又 搜索 树 的 性 
质 )，289 ex. 
heapsort( 堆 排序 )，151-169 


HEAPSORT, 160 
heel (AERE), 602 ex. 
height (ij BED | 
of a binomial tree( 二 项 树 )，527 
black( 黑 )，309 
of a B-tree(B 树 )，489-490 
of a d-ary heap(d 叉 堆 )，167 pr. 
of a decision tree( 决 策 树 ) 193 
exponential( 指 数 ) 300 
of a heap( 堆 ) 153 
of a node in a heap( 扒 中 结 点 ) 153, 159 ex. 
of a node in a tree( 树 中 结 点 ) 1177 
of a red-black tree( 红 黑 树 ) 309 
of a tree( 树 ) ，1177 
height-balanced tree( 高 度 平衡 树 )，333 pr. 
height function( 高 EKA), in push-relabel algorithms 
(推送 - 重 贴标签 算法 ) 738 
hereditary family of subsets( 子 集 的 遗传 族 ) 437 
Hermitian matrix( 挨 尔 米 特 矩 阵 ) ，832 ex. 
high endpoint bf an interval( 区 间 的 高 端点 ) 348 
hing function($ KAO, 573, 546 
HIRE-ASSISTANT, 115 
hiring problem( 雇 用 问题 ) 114-115, 123-124, 145 
on-line( 在 线 ) ，139-141 
probabilistic analysis of 概率 分 析 ) 120-121 
hit( 命 中 ) 
cache( 缓 存 ) 449 pr. 
spurious( 假 的 ) ，991 
HOARE-PARTITION，185 pr 
HOPCROFT-KARP, 764 pr. 
Hopcroft-Karp bipartite matching algorithm ( Hopcroft- 
Karp 二 分 匹配 算法 ) 763 pr. 
horizontal ray( 水 平 射线 ) 1021 ex. 
Horner’s rule( 霍 纳 法 则 )， 41 pr. ，900 
in the Rabin-Karp algorithm (Rabin-Karp 算法 )， 
990 
HUFFMAN, 431 
Huffman code( 赫 夫 曼 编码 )，428-437，450 
hull(4), convex(/4), 8, 1029-1039, 1046 pr. 
hyperedge( 超 边 ) ，1172 
hypergraph( 超 图 ) ，1172 
and bipartite graphs( 与 二 分 图 ) 1173 ex. 


| 
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ideal parallelicomputer( 理 想 并 行 计算 机 )，779 
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idempotency laws for sets (8 WREE), 1159 
identity( 单 位 元 ) 939 
identity matrix( 单 位 矩阵 ) 1218 
if(if AJ), in pseudocode( 伪 代码 中 ) 20 
image( 像 )，1167 
image compression( 图 像 压 缩 )，409 pr. 413 
inadmissible edge( 非 许可 边 ) 749 
incidence( 人 射 )，1169 
incidence matrix( 关 联 和 矩阵 ) 
and difference constraints( 与 差分 约束 )，666 
of a directed graph( 有 癌 图 )，448 pr. ，593 ex. 
of an undirected graph( 无 回 图 ) 448 pr. 
inclusion and exclusion( JF), 1163 ex. 
incomplete step( 非 完全 步 ) 782 
INCREASE-KEY, 162 
increasing a key( 对 一 个 关键 字 增 值 )，in a max 
heap( 在 最 大 堆 中 ) 163-164 
INCREMENT, 454 
incremental design method( 增 量 设计 方法 )，29 
for finding the convex hull( 寻 找 凸 包 ) 1030 
in-degree( 人 度 ) ，1169 
indentation in pseudocode( 伪 代码 中 的 缩 进 )，20 
independence( 独 立 ) 
of events( 事 件 )，1192-1193，1195 ex. 
of random variables( 随 机 变量 )，1197 
of subproblems in dynamic programming (动态 规 
划 中 子 问题 )，383-384 
independent family of subsets( 子 集 的 独立 族 ) 437 
independent set( 独 立 集 )，1101 pr. 
of tasks( 任 务 ) 444 
independent strands( 独 立 链 ) 789 
index function( 指 标 函 数 )537，546 
index of an element of Zè (Z 中 元 素 的 下 标 ) 955 
indicator random variable (指示 器 随机 变量 )， 
118-121 
in analysis of expected height of a randomly built 
binary search tree( 随 机 构造 的 二 又 搜 索 树 的 
期 望 高 度 的 分 析 中 )，300-303 
in analysis of inserting into a treap( 问 treap 插入 
的 分 析 中 )，333 pr. 
in analysis of streaks( 在 序列 的 分 析 中 )，138-139 
in analysis of the birthday paradox( 在 生日 悖 论 的 
分 析 中 ) 132-133 
in approximation algorithm for MAX-3-CNF 
satisfiability(#E MAX-3-CNF 可 满足 性 的 近 
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似 算 法 中 ) 1124 
in bounding the right tail of the binomial distribution 
(二 项 分 布 的 右 尾 定 界 )，1212-1213 
in bucket sort analysis (在 桶 排序 分 析 中 )，202- 
204 
expected value of( 期 望 值 )，118 
in hashing analysis( 散 列 分 析 )，259-260 
in hiring-problem analysis( 雇 用 问题 分 析 ) 120-121 
and linearity of expectation( 与 期 望 的 线性 性 ) 119 
in quicksort analysis( 快 速 排序 分 析 )，182-184， 
187 pr. 
in randomized selection analysis( 随 机 选择 分 析 )， 
217-219, 226 ex. 
in universal-hashing analysis (全 域 散 列 分 析 )， 
265-266 


induced subgraph( #i} HI), 1171 
inequality constraint( 不 等 式 约束 ) 852 


and equality constraints( 与 等 式 约 束 ) 853 


inequality (REA), ，linear( 线 性 的 ) 846 
infeasible linear program( 不 可 行 的 线性 规划 ) ，851 
infeasible solution( 不 可 行 解 )，851 

infinite sequence( 无 限 序列 ) 1166 

infinite set( 无 限 集 )，1161 

infinite sum( 无 限 和 ) ，1145 

infinity( 无 限 大 ) arithmetic with( 算 术 )，650 
INITIALIZE-PREFLOW, 740 
INITIALIZE-SIMPLEX, 871, 887 
INITIALIZE-SINGLE-SOURCE, 648 

initial strand( 初 始 链 ) 779 

injective function( 单 射 函数 ) 1167 

inner product( 内 积 )，1222 

inorder tree walk( 中 序 遍 历 ) 287, 293 ex ，342 
INORDER-TREE-WALK, 288 

in-place sorting( 原 址 排序 ) 17, 148, 206 pr. 
input (#7 A.) 


to an algorithm( 算 法 ) 5 

to a combinational circuit( 组 合 电路 ) 1071 
distribution of 分布 )，116，122 

to a logic gate( 逻 辑 门 )，1070 

size of ARE), 25 


input alphabet( 输 入 字母 表 ) 995 
INSERT, 162, 230, 463 ex., 505 
insertion (fi A) 


into binary search trees(— MiB RA), 294-295 


into a bit vector with a superimposed binary tree 


(RAS Lie), 534 
into a bit vector with a superimposed tree of 
constant height( 具 有 恒定 高 度 秋 加 二 又 树 的 
位 向 量 )，534 
into B-trees(B 树 )，493-497 
into chained hash tables( 链 接 散 列表 ) ，258 
into d-ary heaps(d 又 堆 )，167 pr. 
into direct-address tables( 直 接地 址 表 ) 254 
into dynamic tables( 动 态 表 ) 464-467 
elementary( 基 础 )，465 
into Fibonacci heaps( 斐 波 那 契 堆 ) 510-511 
into heaps(H#E), 164 
into interval trees( 区 间 树 ) 349 
into linked lists( 链 表 ) 237-238 
into open-address hash tables( 至 开放 寻 址 散 列 
表 )，270 
into order-statistic trees( 顺 序 统 计 树 ) 343 
into proto van Emde Boas structures (原型 van 
Emde Boas 结构 ) 544 
into queues( BAI), 234 
into red-black trees( 红 黑 树 ) 315-323 
into stacks( 栈 ) 232 
into sweep-line statuses( 扫 除 线 状 态 ) 1024 
into 2-3-4 heaps(2-3-4 HE), 529 pr. 
into van Emde Boas trees (van Emde Boas 树 )， 
552-554 
into Young tableaus( Young 氏 和 矩阵 ) 167 pr. 
insertion sort( 插 人 排序 ) 12, 16-20, 25-27 
in bucket sort( 桶 排序 ) ，201-204 
compared to merge sort( 与 归并 排序 比较 ) 14 ex 
compared to quicksort( 与 快速 排序 比较 )，178 ex 
decision tree for( 决 策 树 ) 192 fig. 
in merge sort( 归 并 排序 ) 39 pr. 
in quicksort( 快 速 排序 ) 185 ex. 
using binary search( 用 二 分 查找 ) 39 ex. 
INSERTION-SORT, 18, 26, 208 pr. 
instance( 3k i] ) 
of an abstract problem( 抽 象 问题 ) 1051, 1054 
of a problem( 问 题 )，5 
instructions of the RAM model (RAM 模型 的 指 
4), 23 
integer data type( 整 数 数据 类 型 ) 23 
integer linear-programming (整数 线性 规划 )，850， 
895 pr. ，1101 ex. 
integers( 整 数 )(Z) 1158 


integer-valued flow( 整 数值 的 流 )，733 
integrality theorem( 整 数 定理 )，734 
integral( 积 分 ) ，to approximate summations( 近 似 求 
和 )，1154-1156 
integration of series( 级 数 的 积分 )，1147 
interior of a polygon( 多 边 形 的 内 部 )，1020 ex. 
interior-point method( 内 点 法 ) 850, 897 
intermediate vertex( 中 间 结 点 )，693 
internal node( 内 部 结 点 )，1176 
internal path length( 内 部 路 径 长 度 ) 1180 ex. 
interpolation by a cubic spline( 用 三 次 样 条 插值 )， 
840 pr. | 
interpolation by a polynomial( 用 多 项 式 插 值 )，901， 
906 ex. 
at complex roots of unity( 在 单位 复 根 处 )，912-913 
intersection(2@ N 4) 
of chords(5%), 345 ex. 
determining (##3E), for a set of line segments(— 
AINA), 1021-1029, 1047 
determining (# Æ) , for two line segments (两 条 
线段 ) 1017-1019 
of languages( 语 言 ) , 1058 
of sets( 集 合 )( N), 1159 
interval( 区 间 )，348 
fuzzy sorting of( 模 糊 排 序 ) 189 pr. 
INTERVAL-DELETE，349 
interval-graph( 区 间 图 )，422 ex. 
INTERVAL-INSERT, 349 
INTERVAL-SEARCH, 349, 351 
INTERVAL-SEARCH-EXACTLY, 354 ex. 
interval tree( DX [i] 4 ), 348-354 
interval trichotomy( 区 间 三 分 法 ) 348 
intractability GR) , 1048 
invalid shift( 无 效 偏 移 ) 985 
inverse( 逆 元 ) | 
of a bijective function(AL4t Px), 1167 
in a group(##), 940 
of a matrix(4 RF), 827-831, 842, 1223, 
1225 ex. 
multiplicative FE) , modulo n(#i n), 949 
inversion jut JF) 
ina self-orgahizing list( 自 组 织 表 中 )，476 pr. 
in a sequence (序列 中 )，41 pr., 122 ex., 
345 ex. : 
inverter( 逆 变 器 )，1070 
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invertible matrix( 可 逆 和 矩阵 ) 1223 

isolated vertex( 孤 立 顶 点 )，1169 

isomorphic graphs( 同 构图 )，1171 

iterated function £ ERO, 63 pr. 

iterated logarithm function( 多 重 对 数 函 数 ) 58-59 
ITERATIVE-FFT, 917 
ITERATIVE-TREE-SEARCH, 291 

iter function KO, 577 


J 


Jarvis’s march(Jarvis 步 进 法 ) 1037-1038, 1047 
Jensen’s inequality(Jensen 不 等 式 )，1199 
JOHNSON, 704 
Johnson’s algorithm(Johnson 算法 ) 700-706 
joining( 连 接 ) 

of red-black trees( 红 黑 树 )，332 pr. 

of 2-3-4 trees(2-3-4 树 )，503 pr. 
joint probability density function (联合 概率 密度 孙 

数 ) 1197 

Josephus permutation(Josephus 排列 ) ，355 pr. 


K 


Karmarkar’s algorithm(Karmarkar 算法 ) 897 
Karp’s minimum mean-weight cycle algorithm (Karp 
最 小 平均 权 回 路 算法 ) 680 pr. 
k-ary tree(k 叉 树 ) 1179 
k-CNF, 1049 
k-coloring(k 44), 1103 pr., 1180 pr. 
k-combination(k 组 合 ) 1185 
k-conjunctive normal form(k 合 取 范式 )，1049 
kernel of a polygon( 多 边 形 的 内 核 ) 1038 ex. 
key( 关 键 字 )，16，147，162，229 
dummy( 伪 )，397 
interpreted as a natural number( 转 换 为 自然 数 )，263 
median (中 位 数 )，of a Btree node (B 树 结 
点 )，493 
public( 公 开 的 )，959，962 
secret( 秘 密 的 )，959，962 
static( 静 态 的 ) 277 
keyowrds (关键 字 )，in pseudocode ( 伪 代 码 中 )， 
20-22 
mnultithreaded( 多 线程 ) 774, 776-777, 785-786 
“killer adversary”for quicksort( 快 速 排序 的 “杀手 级 
对 手 ”)，190 
Kirchhoff’s current law (kirchhoff 电流 定律 )，708 
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Kleene star(Kleene 星 )(x*)，1058 
KMP algorithm(KMP 算法 )，1002-1013 
KMP-MATCHER, 1005 
knapsack problem( #7 44/4] 
fractional( 部 分 的 ) 426, 428 ex. 
0-1, 425, 427 ex., 1137 pr., 1139 
k-neighbor tree(k 邻居 树 ) 338 
knot( 结 ) of a spline( 样 条 ) 840 pr. 
Knuth-Morris-Pratt algorithm ( Knuth-Morris-Pratt 
算法 ) 1002-1013 
k-permutation(k 排列 ) 126, 1184 
Kraft inequality(Kraft 不 等 式 ) 1180 ex. 
Kruskal’s algorithm(Kruskal 算法 ) 631-633, 642 
with integer edge weights( 带 整数 边 权 重 ) 637 ex 
k-sorted(k 有 序 的 ) 207 pr. 
k-string(k FIF), 1184 
k-subset(k FÆ), 1161 
k-substring(k 子 字符 串 ) 1184 
kth power(& wÆ), 933 ex. 
+ k-universal hashing(k 全 域 散 列 ) 284 pr. 


L 


Lagrange’s formula( 拉 格 朗 日 公式 )，902 
Lagrange’s theorem( 拉 格 朗 日 定理 ) 944 
Lamé’s theorem(Lamé 定理 ) 936 
language( 语 言 )，1057 
completeness of (完全 性 ) 1077 ex. 
proving NP-completeness of (NP 完全 性 证 明 )， 
1078-1079 
verification of( 验 证 )，1063 
last-in( 后 进 ) ，firstrout( 先 出 ) 232 
参见 stack 
late task( 迟 任务 ) 444 
ljayers( 层 ) 
convex(f4AY), 1044 pr. 
maximal (# KAY), 1045 pr. 
LCA, 584 pr. 
Ic m(least common multiple)( 最 小 公 倍 数 ) 939 ex. 
LCS, 7, 390-397, 413 
LCS-LENGTH, 394 
leading submatrix( 主 子 式 )，833，839 ex. 
leaf( 叶 子 ) 1176 
least common ancestor( 最 小 公共 祖先 ) 584 pr. 
least common mnultiple( 最 小 公 倍 数 ) 939 ex. 
least-squares approximation (最 小 二 乘 通 近 )， 


835-839 
leaving a vertex( 离 开 一 个 顶点 )，1169 
leaving variable( 替 出 变量 ) 867 
LEFT, 152 
left child( 左 孩子 ) 1178 
left -child( 左 孩子 ) right-sibling representation(4 
兄弟 表示 法 ) 246, 249 ex. 
LEFT-ROTATE, 313, 353 ex. 
left rotation(A We), 312 
left spine( Æ% 4t), 333 pr. 
left subtree( 左 子 树 ) 1178 


Legendre symbol( a (BLL AES), 982 pr. 


length( 长 度 ) 
of a path( 路 径 ) ，1170 
of a sequence( 序 列 ) ，1166 
of a spine(4$#E), 333 pr. 
of a string( FF), 986, 1184 
level( 阶 ) 
of a function( 函 数 的 阶 ) 573 
of a tree( 树 ) 1177 
lexicographically less than( 字 典 序 小 于 )，304 pr. 
lexicographic sorting( 字 典 排序 ) 304 pr. 
Ig(binary logarithm) (2 为 底 的 对 数 ) 56 
lg* (iterated logarithm function) (4 H Xt HX HRM), 
58-59 
lgt (exponentiation of logarithms) (对 数 的 指数 ) 56 
lg lg(composition of logarithms) (对 数 复 合 )，56 
LIFO(last-in，first-out) (后 进 先 出 )，232 
参见 stack 
light edge( 轻 量 级 边 )，626 
linear constraint( 线 性 约束 )，846 
linear dependence( 线 性 相关 ) ，1223 
linear equality( 线 性 等 式 ) 845 
linear equations( 线 性 方程 ) 
solving modular( 求 解 模 ) 946-950 
solving systems of (组 的 求解 ) 813-827 
solving tridiagonal systems of (三 对 角 方 程 组 求 
fÆ), 840 pr. 
linear function( 线 性 函数 ) 26, 845 
linear independence( 线 性 独立 ) ，1223 
linear inequality( 线 性 不 等 式 )，846 
linear-inequality feasibility problem( 线 性 不 等 式 可 行 
性 问题 ) 894 pr. 
linearity of expectation( 期 望 的 线性 性 ) 1198 
and indicator random variables( 指 示 器 随机 变量 )， 


119 
linearity of summations( 和 的 线性 性 ) 1146 
linear order( 线 性 序 ) ，1165 
linear permuation( 线 性 排列 ) 1229 pr. 
linear probing( 线 性 探测 ) ，272 
linear programming( 线 性 规划 ) ，7，843-897 
algorithms for( 算 法 )， 850 
applications of( 应 用 ) 849 
duality in( 对 偶 性 ) 879-886 
ellopsoid algorithm for( 椭 球 算法 ) 850, 897 
finding an initial solution for( 寻 找 一 个 初始 解 )， 
886-891 | 
fundamental theorem of( 基 本 定理) 892 
interior-point methods for( 内 点 法 ) 850, 897 
Karmarkar's algorithm for(Karmarkar 算法 ) 897 
and maximum flow( 与 最 大 流 )，860-861 
and minimum-cost flow( 与 最 小 费用 流 )，861-862 
and minimum-cost multicommodity flow( 与 最 小 费 
用 多 商品 流 ) 864 ex 
and multicommodity flow( 与 多 商品 流 )，862-863 
simplex algorithm for( 单 纯 形 法 ) 864-879, 896 
and single-pair shortest path (与 单 对 结 点 最 短路 
径 ) ，859-860 
and single-source shortest paths (与 单 源 最 短路 
径 ) 664-670, 863 ex. 
slack form for( 松 弛 型 )，854-857 
standard form for( 标 准 型 ) 850-854 
参见 integer linear-programming problem, 0-1 
integer-programming problem 
linear-programming relaxation( 线 性 规划 松弛 )，1125 
linear search( 线 性 查找 ) » 22 ex. 
linear speedup( 线 性 加 速 ) 780 
line segment(# Et), 1015 
determining turn of( 确 定 它 的 转向 ) ，1017 
determining whether any intersect( 确 定 任意 线段 
是 否 相交 ) 1021-1029, 1047 
determining whether two intersect (确定 两 条 线段 
是 否 相 交 )，1017-1019 
link《 链 接 ) \ 
of binomial trees( 二 项 树 )，527 pr. 
of Fibonacci-heap roots( 斐 波 那 契 堆 的 根 ) 513 
LINK, 571 | 
linked list( 链 表 ) ，236-241 
compact( 紧 资 的 ) 245 ex ，250 pr. 
deletion from( 删 除 )， 238 
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to implement disjoint sets (实现 不 相交 集合 )， 
564-568 
insertion into( 插 入 ) ，237-238 
neighbor list( 邻 居 列 表 ) 750 
searching( 查 找 )，237，268 ex. 
list( 列 表 )， 见 linked list 
LIST-DELETE, 238 
LIST-DELETE’, 238 
LIST-INSERT, 238 
LIST-INSERT’, 240 
LIST-SEARCH, 237 
LIST-SEARCH’, 239 
literal( 文 字 的 ) 1082 
littl-oh notation( 小 o 记号 ) 50-51, 64 
littl-omega notation( 大 Q 记号 ) 51 
L,-distance(L,, 距离 )，1044 ex. 
InCnatural logarithm) (自然 对 数 ) 56 
load factor( 装 载 因 子 ) 
of a dynamic table( 动 态 表 ) 463 
of a hash table( 散 列表 ) ，258 
load instruction( 装 载 指令 ) 23 
local variable( 局 部 变量 ) 21 
logarithm function (Xt K% Clog), 56-57 
logical parallelism( 逻 辑 并 行 度 ) 777 
discrete( 离 散 的 ) 955 
iterated( 多 重 的 )(lg* )，58-59 
logic gate( 人 逻辑 门 )，1070 
longest common subsequence( 最 长 公共 子 序 列 )，7， 
390-397, 413 
longest palindrome subsequence( 最 长 回 文子 序列 )， 
405 pr. 
LONGEST-PATH, 1060 ex. 
LONGEST-PATH-LENGTH, 1060 ex. 
longest-simple cycle( 最 长 简单 环 ) 1101 ex. 
longest simple path( 最 常 简单 路 径 ) ，1048 
in an unweighted graph( 在 一 个 无 权 图 中 ) 382 
in a weighted directed acyclic graph( 在 带 权 有 向 无 
环 图 中 ) 404 pr. 
LOOKUP-CHAIN, 388 
loop( 循 环 ) in pseudocode( 在 伪 代 码 中 ) 20 
parallel( 并 行 )，785-787 
loop invariant( 循 环 不 变 式 )，18-19 
for breadth-first search( 广 度 优 先 搜 索 )，595 
for building a heap( 构 造 堆 )，157 


for consolidating the root list of a Fibonacci heap 
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〈 合 并 斐 波 那 契 堆 的 根 列 表 ) ，517 

for determining the rank of an element in an order- 
statistic tree( 确 定 顺 序 统 计 树 中 一 个 元 素 的 
秩 ) ，342 

for Dijkstra’s algorithm(Dijkstra 算法 ) 660 

for the generic minimum-spanning-tree algorithm 
(用 于 通用 最 小 生成 树 算法 )，625 

for the generic push-relabel algorithm( 用 于 通用 推 
送 - 重 贴标签 算法 ) 743 

for heapsort( 堆 排序 ) 160 ex. 

for Horner's rule ÆW), 41 pr. 

for increasing a key in a heap( 增 大 堆 中 一 个 关键 
字 )，166 ex. 

initialization of( 初 始 化 ) ，19 

for insertion sort( 反 人 排序 ) 18 

maintenance of( 维 护 ) 19 

for merging( 归 并 ) 32 

for modular exponentiation (A RE), 957 

origin of (起 源 ) 42 

for partitioning( 划 分 ) 171 

for Prim’s algorithm(Prim 算法 ) 636 

for the Rabin-Karp algorithm ( Rabin-Karp # 

%), 993 

for randomly permuting an array( 随 机 排列 一 个 数 
组 )，127 

for red-black tree insertion( 红 黑 树 插 人 )，318 

for the relabel-to-front algorithm( 前 置 重 贴标签 算 
法 )，755 

for searching an interval tree( 搜 索 区 间 树 ) 352 

for simplex algorithm( 单 纯 形 算法 ) 872 

for string-matching automata (字符 串 匹 配 上 自动 
机 ) 998, 1000 

and termination( 与 终止 )，19 

low endpoint of an interval( 区 间 的 低 端 点 )，348 
lower bounds( 下 界 ) 

for average sorting( 平 均 排序 ) 207 pr. 

on binomial coefficients( 二 项 系数 ) 1186 

for comparting water jugs( 区 分 水 壶 ) 206 pr. 

for convex hull( #44), 1038 ex., 1047 

for disjoint-set data structures (不 相交 集合 数据 
结构 )，585 

for finding the minimun( 找 最 小 值 ) ，214 

for finding the predecessor( 找 前 驱 )，560 

for length of an optimal traveling-salesman tour 


(最 优 旅 行商 回路 的 长 度 )，1112-1115 


for median finding( 中 位 数 寻 找 )，227 
for merging( 归 并 )，208 pr. 
for minimum-weight vertex cover( 最 小 权 顶 点 履 
wi), 1124-1126 
for multithreaded computations( 多 线程 计算 )，780 
and potential functions(5j #\ phe), 478 
for priority-queue operations (优先 队列 操 
HE), 531 
and recurrences, (与 递归 式 )67 
for simultaneous minimum and maximum， (同时 
找到 最 小 值 和 最 大 值 )215 ex. 
for size of optimal vertex cover( 最 优 顶 点 覆盖 的 
规模 ) 1110, 1135 pr. 
for sorting( 排 序 ) 191-194, 205 pr., 211, 531 
for streaks( 序 列 ) 136-138, 142 ex. 
on summations CRAU), 1152, 1154 
lower median( 低 中 位 数 ) 213 


lower square root( M) (下 平方 根 ) 546 
lower-triangular matrix ( F = f # HM), 1219, 
1222ex. , 1225ex. 
low function, Clow 函数 )537，546 
LU decomposition(LU 4>##), 806 pr. , 819-822 
LU-DECOMPOSITION, 821 
LUP decomposition(LUP 4#), 806 pr., 815 
computation of( 计 算 ) 823-825 
of a diagonal matrix(X} #448), 827 ex. 
in matrix inversion #2 3%), 828 
and matrix multiplication( 546 RER), 832 ex. 
of a permutation matrix (HE KÆ, HEF), 
827 ex. 
use of (FAW), 815-819 
LUP-DECOMPOSITION, 824 
LUP-SOLVE, 817 


M 


main memory( F), 484 
MAKE-HEAP, 505 
MAKE-SET, 561 
disjoint-set-forest implementation of (不 相交 集合 
森林 实现 ) 571 
linked-list implementation of( 链 表 实 现 ) ，564 
makespan( 跨 度 )，1136 pr. 
MAKE-TREE, 583 pr. 
Manhattan distance ( & MA m PR BS), 225 pr., 
1044 ex. 


marked node( 带 标记 的 结 点 )，508，519-520 
Markov’s inequality( 马 尔 可 夫 不 等 式 )，1201 ex. 
master method for solving a recurrence( 解 递归 式 的 
主 方法 ) 93-97 
master theorem( 主 定理 )， 94 
proof of( 证 明 )， 97-106 
matched vertex( 匹配 的 结 点 )，732 
matching( 匹 配 ) 
bipartite(—4}), 732, 763 pr. 
maximal( 极 大 )，1110，1135 pr. 
maximum( 最 大 )， 1135 pr. 
and maximuth fow( 与 最 大 流 )，732-736，747 ex. 
perfect( 完 全 )， 735 ex. 
of strings( 字 符 串 ) 985-1013 
weighted bipartite( 加 权 二 分 )，530 
matric matroid GE EH KE), 437 
matrix( 矩 阵 ) 1217-1229 
addition of( 加 法 ) 1220 
adjacency( 邻 接 ) ，591 
conjugate tianspose of (Sten 4e HH), 832 ex. 
determinant of (行列 式 )，1224-1225 
diagonal( 对 角 ) ，1218 
Hermitian( 挨 尔 米 特 ) 832 ex. 
identity( 单 位 ) 1218 
incidence( 关 联 ) 448 pr. ，593 ex. 
inversion of (3, )806 pr. , 827-831, 842 
lower-triangular( F =f), 1219, 1222 ex. , 1225ex. 
multiplication of (乘法 ) I matrix multiplication 
negative of( ff), 1220 
permutation( 排 列 ， 置 换 ) 1220, 1222 ex. 
predecessor( 前 驱 ) ，685 
product of( 积 ) with a vector( 与 向 量 )，785-787， 
789-790, 792 ex. 
pseudoinverse of (fyi), 837 
scalar multiple of (标量 乘法 ) 1220 
subtraction of (减法 ) 1221 
symmetric(XT#K), 1220 
symmetric positive-definite (Xf PK IE 7), 832- 
835, 842 
Toeplitz EAX), 921 pr. 
transpose of( 转 置 )，797 ex., 1217 
transpose of( 转 置 )，multithreaded( 多 线程 )，792 ex 
tridiagonal( 三 对 角 )，1219 
unit lower-triangular( 单 位 下 三 角 ) ，1219 
unit uppet-triangular( 单 位 上 三 角 ) ，1219 
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upper-triangular( 上 三 角 )，1219，1225 ex. 
Vandermonde( 范 德 蒙 德 ) 902, 1226 pr. 
matrix-chain multiplication Æ ER), 370-378 
MATRIX-CHAIN-MULTIPLY 
MATRIX-CHAIN-ORDER, 336 
matrix inversion (Æ E32), 75-83, 1221 
matrix multiplication E ER), 75-83, 1221 
for all-pairs shortest paths( 所 有 结 点 对 的 最 短路 
径 ) 686-693, 706-707 
boolean( 布 尔 ) 832 ex. 
and computing the determinant (与 计算 行列 式 )， 
832 ex. 
divide-and-conquer method for( 分 治 法 ) 76-83 
and LUP decomposition( 与 LUP 分 解 ) 832 ex. 
and matrix inversion( 576 MEW), 828-831, 842 
multithreaded algorithm for( 多 线程 算法 )，792- 
797，806 pr. 
Pan’s method for(Pan 方法 )，82 ex. 
Strassen’s algorithm for(Strassen 算法 )，79-83， 
111-112 
MATRIX-MULTIPLY, 371 
matrix-vector multiplication 〈 和 矩阵 向 量 乘 法 )， 
multithreaded( 4272), 785-787, 792 ex. 
with race% £), 789-790 
matroid (HRF), 437-443, 448 pr, 450-647. 
for task scheduling 4£45 JAJE), 443-446 
MAT-VEC, 785 
MAT-VEC-MAIN-LOOP, 786 
MAT-VEC-WRONG, 790 
MAX-CNF satisfiability (MAX-CNF 可 满足 性 )， 
1127 ex. 
MAX-CUT problem(MAX-CUT 问题 ) 1127 ex. 
MAX-FLOW-BY-SCALING, 763 pr. 
max-flow min-cut theorem( 最 大 流 最 小 切割 定理 )， 
723 
max-heap( Bx KIE), 152 
building (#44), 156-159 
d-ary(d SL), 167 pr. 
deletion from( 删 除 ) 142 ex. 
extracting the maximum key from( 抽 取 最 大 关键 
字 )，163 
in heapsort( 扒 排序 ) 159-162 
increasing a key in( 增 大 一 个 关键 字 ) 163-164 
insertion into( 捅 人 )，164 
maximum key of (最 大 关键 字 ) 163 
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as a max-priority queue( 作 为 一 个 最 大 优先 队列 )， 
162-166 
mergeable( 可 合并 的 ) 250 n. , 481 n., 505 n. 
MAX-HEAPIFY, 154 
MAX-HEAP-INSERT, 164 
building a heap with( 构 造 堆 )，166 pr. 
max-heap property( 最 大 堆 的 性 质 )，152 
maintenance of( 维 护 )，154-156 
maximal element( 最 大 元 ) ，of a partially ordered set 
〈 偏 序 集 )，1165 
maximal layers( 最 大 层 ) 1045 pr. 
maximal matching( 极 大 匹配 ) 1110, 1135 pr. 
maximal point( 极 大 点 ) 1045 pr. 
maximal subset (最 大 子 集 )，in a matroid ( 拟 阵 
HH), 438 
maximization linear program (最 大 化 线性 规划 )， 
846 
and minimization linear programs (与 最 小 化 线性 
规划 )，852 
maximum( 最 大 值 ) 213 
in binary search trees( 二 又 搜 索 树 )，291 
of a binomial distribution( 二 项 分 布 )，1207 ex. 
in a bit vector with a superimposed binary tree( 具 
有 侄 加 二 又 树 的 位 向 量 )，533 
in a bit vector with a superimposed tree of constant 
height( 具 有 恒定 高 度 倒 加 树 的 位 向 量 )，535 
finding( 寻 找 )，214-215 
in heaps( 堆 )，163 
in order-statistic trees( 顺 序 统计 树 )，347 ex. 
in proto van Emde Boas strctures( 原 型 van Emde 
Boas 结构 ) 544 ex. 
in red-black trees( 红 黑 树 ) 311 
in van Emde Boas trees( Van Emde Boas 树 ) 550 
MAXIMUM, 162-163, 230 
maximum bipartite matching (fz K —4} DER), 732- 
736, 747 ex. , 766 
Hopcroft-Karp algorithm for ( Hopcroft-Karp # 
Æ), 763 pr. 
maximum degree (fx KÆ), in a Fibonacci heap 
( 斐 波 那 契 堆 ) 509, 523-526 
maximum flow( 最 大 流 )，708-766 
Edmonds-Karp algorithm for (Edmonds-Karp 算 
法 )，727-730 
Ford -Fulkerson method for (Ford-Fulkerson 方 
法 )，714-731，765 


as a linear program( 作 为 一 个 线性 规划 )，860-861 
and maximum bipartite matching (与 最 大 二 分 匹 
配 )，732-736，747 ex. 
push-relabel algorithms for (推送 - 重 贴 标签 算 
法 ) 736-760, 765 
relabel-to-front algorithm for (前 量 重 贴 标签 算 
法 ) 748-760 
scaling algorithm for( 伸 缩 算法 ) 762 pr., 765 
updating( 更 新 )，762 pr. 
maximum matching( 最 大 匹配 ) 1135 pr. 
maximum spanning tree( 最 大 生成 树 ) 1137 pr. 
maximum-subarray problem( 最 大 子 数 组 问题 )，68- 
15, 111 
max-priority queue( 最 大 优先 队列 ) 162 
MAX-3-CNF satisfiability(MAX-3-CNFE 可 满足 性 )， 
1123-1124，1139 
MAYBE-MST-A, 641 pr. 
MAYBE-MST-B, 641 pr. 
MAYBE-MST-C, 641 pr. 
mean( 均 值 )， 见 expected value 
mean weight of a cycle( 环 的 平均 权重 ) 680 pr. 
median( 中 位 数 ) 213-227 
multithreaded algorithm for( 多 线程 算法 ) 805 ex. 
of sorted lists (HF Æ), 223 ex. 
of two sorted lists( 两 个 有 序列 表 ) 804 ex. 
weighted( 带 权 的 ) 225 pr. 
median key( 中 位 数 关 键 字 )，of a Btree node(B 树 
结 点 ) 493 
median-of-3 method( 三 数 取 中 方法 ) 188 pr. 
member of a set( 集 合 的 成 员 )(CE )，1158 
membership( 成 员 ) 
in proto van Emde Boas structures( 原 型 van Emde 
Boas 结构 )，540-541 
in van Emde Boas tress(van Emdle Boas 树 )，550 
memoization( 477m), 365, 387-389 
MEMOIZED-CUT-ROD, 365 
MEMOIZED-CUT-ROD-AUX, 366 
MEMOIZED-MATRIX-CHAIN, 388 
memory( 内 存 ， 存 储 器 ) 484 
memory hierarchy( 存 储 器 分 层 体 系 ) 24 
MERGE, 31 
mergeable heap( JAHH), 481, 505 
binomial heaps( 二 项 堆 ) 527 pr. 
linked-list implementation of (链表 实现 ) 250 pr. 
relaxed heaps( 松 弛 堆 )，530 
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running times of operations on( 操 作 的 运行 时 间 )， 
506 fig. 
2-3-4 heaps(2-3-4 HE), 529 pr. 
参见 Fibonacci heap 
mergeable max-heap (可 合并 的 最 大 堆 )，250 n, 
481 n., 505 n. 
mergeable min-heap (可 合并 的 最 小 堆 )，250 n., 
481 n. 505 
MERGE-LISTS，1129 
merge sort( 归 并 排序 ) , 12, 30-37 
compared with insertion sort( 与 插入 排序 比较 ) ,14 ex 
multithreaded algorithm for( 多 线程 算法 )，797- 
805, 812 
use of insertion sort in( 用 插入 排 序 )，39 pr. 
MERGE-SORT, 34 
MERGE-SORT’, 797 
merging( 归 并 ) 
of k sorted lişts( 有 序列 表 ) 166 ex. 
lower bounds for( 下 界 ) 208 pr. 
mult ithreaded algorithm for (多 线程 算法 )， 
798-901 
of two sorted arrays( 两 个 有 序数 组 ) 30 
MILLER-RABIN，970 
Miller-Rabin primality test(Miller-Rabin 素数 测试 )， 
968-975，983 
MIN-GAP, 354 ex. 
min-heap( 最 小 堆 ) 153 
analyzed by ‘potential method (用 势能 法 分 析 )， 
462 ex. | 
building Hi), 156-159 
d-ary(d X) ,1 706 pr. 
in Dijkstra’s algorithm(Dijkstra 算法 ) 662 
in Huffman’s algorithm (REA), 433 
in Johnson’s algorithm(Johnson 算法 ) 704 
mergeable( 可 合并 的 ) 250 n., 481 n., 505 
as a minm priority queue( 作 为 最 小 优先 队列 ) 165 ex 
in Prim's algorithm(Prim 算法 ) ，636 
MIN-HEAPIFY, 156 ex. 
MIN-HEAP-INSERT, 165 ex. 
min-heap-ordering( 最 小 堆 顺 序 的 ) 507 
min-heap property( 最 小 堆 性 质 )，153，507 
maintenance of (维护 ) 156 ex. 
in treaps(treap 中 ) 333 pr. 
vs. binary-search-tree property( 与 二 又 搜索 树 性 
Ji), 289 ex. 
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minimization linear program( 最 小 化 线性 规划 ) ，846 
and maximization linear programs (与 最 大 化 线性 
规划 )，852 
minimum( 最 小 值 ) 213 
in binary search trees( 二 又 搜索 树 ) 291 
in a bit vector with a superimposed binary tree( 具 
AB IN LHL Bt), 533 
in a bit vector with a superimposed tree of constant 
height RA HER ERIM), 535 
in B-trees(B $), 497 ex. 
in Fibonacci heaps( 327K SHE), 511 
finding( 48), 214-215 
off-line( 脱 机 ) ，582 pr. 
in order-statistic trees( 顺 序 统 计 树 ) 347 ex. 
in proto van Emde Boas structurs( 原 型 Van Emde 
Boas 结构 ) 541-542 
in red-black trees( 红 黑 树 ) 311 
MINIMUM, 162, 214, 230, 505 
minimun~-cost circulation( 最 小 代价 电路 ) 896 pr. 
minimum-cost flow( 最 小 代价 流 )，861-862 
minimum-cost multicommodity flow( 最 小 代价 多 商 
品 流 ) 864 ex. 
minimum-cost spanning tree( 最 小 代价 生成 树 ) ， 见 
minimum spanning tree 
minimum cut( 最 小 切割 )，721，731 ex. 
minimum degree (最 小 度数 )，of a Btree(B 树 
的 )，489 
minimum mear- weight cycle( 最 小 平均 权重 环 路 ) 680 
pr. 
minimum node of a Fibonacci heap(3# yx Ff 32 HE AY Be 
小 结 点 ) 508 
minimum path cover(ig@/|\BR 4478 HH), 761 pr. 
minimum spanning tree( 最 小 生成 树 ) 624-642 
in approximation algorithm for traveling-salesman 
problem( 旅 行商 问题 的 近似 算法 ) 1112 
Boruvka's algorithm for(Borivka 算法 ) 641 
on dynamic graphs( 动 态 图 ) 637 ex. 
generic method for( 一 般 方法 ) 625-630 
Kruskal's algorithm for(Kruskal 算法 ) 631-633 
Prim’s algorithm for(Prim 算法 )，634，636 
relation to matroids( 与 拟 阵 的 关系 )，437，439-440 
second-best( 次 优 ) 638 pr. 
minimum- weight spanning tree (最 小 权 生 成 树 )， 见 
minimum spanning tree 
minimum-weight vertex cover (fx /h $ M AH), 
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1124-1127, 1139 
minor of a matrix( 和 矩阵 的 子 式 ) 1224 
min-priority queue( 最 小 优先 队列 ) 162 
in constructing Huffman codes (74 3 ik K 2 fa 
#3), 431 
in Dijkstra’s algorithm(Dijkstra 算法 ) 661 
in Prim’s algorithm(Prim 算法 ) 634-636 
miss( 人 缺失 )，449 pr. 
missing child( 缺 孩子 ) 1178 
mod( 模 ) 54, 928 
modifying operation( 修 改 操 作 ) 230 
modular arithmetic 〈 模 运算 )，54，923 pr., 
939-946 
modular equivalence( 模 等 价 ) 54, 1165 ex. 
modular exponentiation( 模 取 宕 ) 956 
MODULAR-EXPONENTIATION, 957 
modular linear equations (2R HEFT FZ), 946-950 
MODULAR-LINEAR-EQUATION-SOLVER, 949 
modulo( 模 ) 54, 928 
Monge array(Monge 数组 ) 110 pr. 
monotone Sequence( 单 调 序列 ) 168 
monotonically decreasing( 单 调 递减 )，53 
monotonically increasing( 单 调 递 增 )，53 
Monty Hall problem(Monty Hall 问题 )，1195 ex. 
move-to-front heuristic( 移 至 前 端 启发 式 策略 )，476 
pr., 478 
MST-KRUSKAL, 631 
MST-PRIM, 634 
MST-REDUCE, 639 pr. 
much-greater-than(>) QKF), 574 
much-less-than(<) (t/h F), 783 
multicommodity flow( 多 商品 流 )，862-863 
minimum-cost( 最 小 代价 ) 864 ex. 
multicore computer( 多 核 计 算 机 )，772 
multidimensional Fast Fourier Transform (多 维 快速 
傅 里 叶 变换 ) 921 pr. 
multigraph( 多 重 图 )，1172 
converting to equivalent undirected graph (转换 成 
等 价 的 无 问 图 ) 593 ex. 
multiple( 倍 数 ) 927 
of an element modulo zx( 元 素 模 n), 946-950 
least common( 最 小 公共 ) 939 ex. 
scalar( 标 量 ) 1220 
multiple assignment( 多 重 赋值 ) 21 
multiple sources and sinks( 多 个 源 点 和 汇 点 )，647 


multiplication( 乘 法 ) 
of complex numbers( 复 数 ) 83 ex. 
divide-and-conquer method for( 分 治 法 ) 920 pr. 
of matrices( 和 矩阵 ) Ji, matrix multiplication 
of a matrix chain( 矩 阵 链 ) 370-378 
matrix-vector (矩阵 问 量 )，multithreaded (多 线 
程 )，785-787，789-790，792 ex. 
modulo n( 模 n)(。,)，940 
of polynomials( 多 项 式 )，899 
multiplication method( 乘 法 方法 ) 263-264 
multiplicative group modulo n(# ”的 乘法 群 ) 941 
multiplicative inverse(FAWMIT), modulo nin), 949 
multiply instruction( 乘 法 指令 ) 23 
MULTIPOP, 453 
multiprocessor( 多 处 理 器 )，772 
MULTIPUSH, 456 ex. 
multiset( 多 重 集 合 ) 1158 n. 
multithreaded algorithm (多 线程 算法 )，10， 
772-812 
for computing Fibonacci numbers( 计 算 斐 波 那 契 
数 ) 774-780 
for fast Fourier transform( 快 速 傅 里 叶 变换) 804 ex 
Floyd-Warshall algorithm ( Floyd-Warshall 算 法 )， 
797 ex. 
for LU decomposition(LU 分 解 )，806 pr. 
for LUP decomposition( LUP 分 解 ) 806 pr. 
for matrix inversion( 和 矩阵 求 道 ) 806 pr. 
for matrix multiplication (48 PE 乘 法 )，792-797， 
806 pr. 
for matrix transpose( 和 矩阵 转 置 )，792 ex., 797 ex. 
for matrix-vector product (和 矩阵- 向量 积 )，785- 
787, 789-790, 792 ex. 
for median( 中 位 数 ) 805 ex. 
for merge sorting( 归 并 排序 ) 797-805, 812 
for merging( 归 并 )，798-801 
for order statistis( 顺 序 统计 量 ) 805 ex. 
for partitioning( 划 分 ) 804 ex. 
for prefix computation( 前 缀 计算 ) 807 pr. 
for quicksort( 快 速 排序 ) 811 pr. 
for reduction( 归 约 ) 807 pr. 
for a simple stencil calculation( 人 简单 的 模板 计算 )， 
809 pr. 
for solving systems of linear equations (求解 线性 
方程 组 ) 806 pr. 
Strassen’s algorithm(Strassen 算法 ) 795-796 


multithreaded composition( 多 线程 混合 计算 )，784 fig. 
multithreaded computation( 多 线程 计算 ) ，777 
multithreaded scheduling( 多 线程 调度 ) 781-783 
mutually exclusive events( 互 斥 事 件 ) 1190 
mutually independent events( 相 互 独立 事件 )，1193 


N 


N(set of natural numbers) (自然 数 的 集合 ) 1158 

naive algorithm (žE), for string matching( 串 
匹配 ) 988-990 

NAIVE-STRING-MATCHER, 988 


natural cubic spline( 自然 三 次 样 条 ) 840 pr. 
natural numbers( HARRON), 1158 

keys interpreted as( 关 键 字 解释 为 )，263 
negative of a matrix RMA), 1220 
negative-weight cycle( 负 权 重 环 路 ) 

and difference constraints( 与 差分 约束 ) 667 

and relaxation( 与 松弛 ) ，677 ex. 

and shortest paths( 与 最 短路 径 ) 645, 653-654, 

692 ex. , 700 ex. : 

negative-weight edges( 负 权 重 的 边 ) 645-646 
neighbor( 邻 居 ) ，1172 
neighborhood( 邻 近 ) 735 ex. 
neighbor list( 邻 居 列 表 ) ，750 
nested parallelism({x223¢47), 776, 805 pr. 
nesting boxes(REMWES), 678 pr. 
net flow across a cut( 横 跨 切 割 的 净 流 量 ) 720 
network( 网 络 ) 

admissible( 许 可 的 ) ，749-750 

flow( 流 )， 见 flow network 

residual( 残 留 ) ，715-719 

for sorting( 排 序 )， 811 
NEXT-TO-TOP, 1031 
NIL, 21 : 
node( 结 点 )，1176 

参见 vertex | 
nonbasic variable( 非 基本 变量 ) 855 
nondeterministic multithreaded algorithm( 非 确定 多 

线程 算法 ) ，787 
nondeterministi¢ polynomial time( 非 确定 多 项 式 时 
间 )，1064 n. 

参见 NP 
nonhamiltonian graph( 非 哈密 顿 图 ) ，1061 
noninstance( 非 实例 ) ，1056 n. 
noninvertible matrix( 不 可 北 矩 阵 ) ，1223 


索 5| 。 761 


nonnegativity consttraint( 非 负 性 约束 ) 851, 853 
nonoverlappable string pattern AA] BSH ZA Re 
zt), 1002 ex. 
nonsaturating push( 非 饱和 推送 ) 739, 745 
nonsingular matrix( 非 奇异 和 矩阵) 1223 
nontrivial power( 非 平凡 害 ) 933 ex. 
nontrivial square root of 1(1 的 非 平凡 平方 根 )，modulo 
n( 模 n)，956 
no-path property( 无 路 径 性 质 )，650，672 
normal equation( 正 态 方 程 )，837 
norm of a vector( 问 量 的 范 数 )，1222 
NOT function GERO )，1071 
not a set member( ¢) (不 属于 ) 1158 
not equivalent(4) (ASHP), 54 
NOT gate(JE[J), 1070 
NP( complexity class) (42 A838), 1049, 1064, 1066 
ex. , 1105 
NPC(complexity class) (84828), 1050, 1069 
NP-complete(NP 完全 的 ) 1050, 1069 
NP-completeness( NP 完全 ) 9-10, 1048-1105 
of the circuit-satisfiability problem( 电 路 可 满足 性 
问题 ) ，1070-1077 
of the clique problem( 团 问题 ) 1086-1089, 1105 
of determining whether a boolean formula is a tautology 
(确定 一 个 布尔 公式 是 否 为 重 言 式 )，1086 ex 
of the formula-satisfiability problem (公式 可 满足 
性 问题 ) ，1079-1081，1105 
of the graph-coloring problem( 图 着 色 问 题 )，1103 pr. 
of the half 3-CNF satisfiability problem( 半 3-CNF 
可 满足 性 问题 ) 1101 ex. 
of the hamiltonian-cycle problem (哈密 顿 回路 问 
题 ) ，1091-1096，1105 
of the hamiltonian-path problem( 哈 密 顿 上 路径 问 题 )， 
1101 ex 
of the independent-set problem (独立 集 问题 )， 
1101 pr. 
of the integer linear-programming (整数 线性 规 
Rij), 1101 ex. 
of the longest-simple-cycle problem( 最 长 简单 回路 
问题 ) 1101 ex. 
proving( 证 明 ) of a language( 语 言 ) 1078-1079 
of scheduling with profits and deadlines( 带 有 收益 
和 完工 期 限 的 调度 ) 1104 pr. 
of the set-covering problem( 集 合 覆 盖 问 题 )，1122 ex 
of the set-partition problem (集合 划分 问题 )， 
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1101 ex. 
of the subgraph-isomorphism problem (F & [A] #4 
问题 ) 1100 ex. 
of the subset-sum problem( 子 集 和 问题 )，1097-1100 
of the 3-CNF-satisfiability problem(3-CNF- 可 满足 
性 问题 )，1082-1085，1105 
of the traveling-salesman problem (旅行 商 问 题 )， 
1096-1097 
of the vertex-cover problem( 顶 点 履 盖 问题 )，1089- 
1091, 1105 
of the 0-1 integer-programming problem(0-1 整数 
规划 问题 ) 1100 ex. 
NP-hard(NP 难度 ) 1069 
n-set(n 集 )，1161 
n-tuple(n 元 组 )，1162 
null event( 零 事件 )，1190 
null tree( 空 树 ) 1178 
null vector( 空 问 量 ) 1224 
number-field sieve( 数 域 的 筛选 )，984 
numerical stability( 数 值 稳定 性 )，813，815，842 
n-vector(n W), 1218 


O 


o-notation(o 记号 ) 50-51, 64 
O-notation(O 记号 ) 45 fig. , 47-48, 64 
O -notation(O 记号 ) 62 pr. 
O-notation(O 记号 ) 62-pr. 
Object( 对 象 )，21 
allocation and freeing of (分 配 与 释放 ) ，243-244 
array implementation of( 数 组 实现 ) 241-246 
passing as parameter( 作 为 参数 传递 )，21 
objective function HRZ), 664, 847, 851 
objective value( 目 标 值 )，847，851 
optimal( 最 优 的 ) 778 
oblivious compare-exchange algorithm (遗忘 比较 交 
换算 法 ) 208 pr. 
occurrence of a _ pattern( 模 式 的 出 现 )，985 
OFF-LINE-MINIMUM, 583 pr. 
off-line problem( 脱 机 问题 ) 
caching( 缓 存 ) 449 pr. 
least common ancestors( 最 小 公共 祖先 ) 584 pr. 
minimum( 最 小 的 ) 582 pr. 
Omega-notation(Q 记号 ) 45 fig. ，48-49，64 
1-approximation algorithm(1 近似 算法 )，1107 
one-pass method( 一 趟 扫描 法 )，585 


One-to-one correspondence( 一 一 对 应 )，1167 
one-to-one function( 一 对 一 函数 )，1167 
on-line convex-hull problem( 联 机 上 同 包 问题 )，1039 ex 
on-line hiring problem( 在 线 雇 用 问题 ) 139-141 
ON-LINE-MAXIMUM, 140 
on-line multithreaded scheduler (在 线 多 线程 调度 
器 ) 781 | 
ON-SEGMENT, 1018 
onto function( 映 上 函数 ) 1167 
open-address hash table( 开 放 寻 址 散 列 表 ) ，269-277 
with double hashing( 双 散 列 ) 272-274, 277 ex. 
with linear probing( 线 性 探测 ) ，272 
with quadratic probing( 二 次 探测 )，272，283 pr. 
open interval( 开 区 间 )，348 
OpenMP, 774 
optimal binary search tree( 最 优 二 又 搜索 树 )，397- 
404，413 
OPTIMAL-BST, 402 
optimal objective value( 最 优 目标 值 )，851 
optimal solution( 最 优 解 )，851 
optimal subset (最 优 子 集 )，of a matroid ( 拟 
阵 ) 439 
optimal substructure( 最 优 子 结构 ) 
of activity selection( 活 动 选择 ) 416 
of binary search trees(— MiB RAY), 399-400 
in dynamic programming( 动 态 规划 ) , 379-384 
of the fractional knapsack problem (部 分 背包 问 
题 ) 426 
in greedy algorithms (AOH), 425 
of Huffman codes( 赫 夫 曼 编码 )，435 
of longest common subsequences (最 长 公共 子 序 
列 ) 392-393 
of matrix-chain multiplication( 和 矩阵 链 匀 法 ) 373 
of rod-cutting HAWS), 362 
of shortest paths( 最 短路 径 ) 644-645, 687, 693-694 
of unweighted shortest paths( 无 权重 最 短路 径 ) 382 
of weighted matroids( 加 权 拟 阵 ) ，442 
of the 0-1 knapsack problem(0-1 背包 问题 )，426 
optimal vertex cover( 最 优 顶 点 覆盖 )，1108 
optimization problem( 最 优化 问题 )，359，1050，1054 
approximation algorithms for( 近 似 算法 )，10， 
1106-1140 
and decision problems( 与 判定 问题 )，1051 
OR function( 或 函数 )(V )，697，1071 
order( 序 ) 


of a group( 和 群 的 ) 945 
linear( 线 性 ) ，1165 
partial( 偏 )， 1165 
total( 全 )，1165 
ordered pair( 有 序 对 ) , 1161 
ordered tree( 有 序 树 ) 1177 
order of growth( 增 长 的 量 级 ) 28 
order statistics( 顺 序 统计 ) ，213-227 
dynamic( 动 态 的 )，339-345 
multithreaded algorithm for (多 线程 算法 )， 
805 ex 
order-statistic tree( 顺 序 统计 树 ) » 339-345 
querying(# 74) , 347 ex. 
OR gate( 或 门 ) ，， 1070 
origin( 源 ) 1015 
or( 或 ) in pseudocode( 伪 代码 中 ) 22 
orthonormal( 正 交 的 ) ，842 
OS-KEY-RANK, 344 ex. 
OS-RANK, 342 
OS-SELECT, 341 
out-degree( H BF) » 1169 
outer product( 外 积 ) 1222 
output ($AH) | 
of an algorithm( 算 法 )，5 
of a combinational circuit( 组 合 电路 ) 1071 
of a logic gate( 逻 辑 | J), 1070 
overdetermined system of linear equations (#8 jE Zk tE 
方程 组 )，814 
overflow( 溢 出 ) | 
of a queue( 队 列 ) 235 
of a stack( 栈 )，233 
overflowing vertex( 洲 出 顶点 )，736 
discharge of( 释 放 )，751 
overlapping intervals( 重 县 区 间 )，348 
finding all( 找 出 所 有 的 )，354 ex 
point of maximum overlap (RKB BA A), 
354 pr. | 
overlapping rectangles(HB45J%), 354 ex. 
overlapping subproblems( 重 谷子 问题 )，384-386 
overlapping-suffix lemma( 重 全 后 缀 引 理 )，987 


P 


P(complexity class) (复杂 类 )，1049，1055，1059， 
1061 ex ，1105 
package wrapping( 打 包 )，1037，1047 
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page on a disk (磁盘 上 的 页 )，486，499 ex., 
502 pr. 
pair( 对 ) ordered(A Fr), 1161 
pairwise disjoint sets( 两 两 不 相交 集合 ) 1161 
pairwise independence( 两 两 独立 ) 1193 
pairwise relatively prime( 两 两 互 质 的 数 ) 931 
palindrome( 回 文 )，405 pr. 
Pan’s method for matrix multiplication (Pan 的 矩阵 
乘法 方法 ) 82 ex. 
parallel algorithm( 并 行 算法 ) 10, 772 
参见 multithreaded algorithm 
parallel computer( 并 行 计 算 机 ) 772 
ideal( 理 想 的 ) 779 
parallel for，inpseudocode( 伪 代码 中 )，785-786 
parallelism( 并 行 ， 并 行 性 ， 并 行 度 ) 
logica i? 48), 777 
of a multithreaded computation (多 线程 计 
Fe), 780 
nested (xÆ), 776 
of a randomized multithreaded algorithm( 随 机 多 
线程 算法 ) 811 pr. 
parallel loop( 并 行 循 环 ) 785-787, 805 pr. 
parallel-machine-scheduling problem (并 行 机 调度 问 
题 )，1136 pr. 
parallel prefix( 并 行 前 缀 ) 807 pr. 
parallel random-access machine (并 行 随 机 存 取 机 )， 
811 
parallel slackness(FF47 PA 4h), 781 
rule of thumb( 经 验 法 则 )，783 
parallel(3¢47), strands being logically inZ EW 
链 ) 778 
parameter( 人 参数 ) 21 
costs of passing( 传 递 的 代价 ) 107 pr. 
parent( X03) 
in a breadth-first tree( 广 度 优先 树 ) 594 
in a multithreaded computation( 多 线程 计算 )，776 
in a rooted tree( 有 根 树 ) 1176 
PARENT, 152 
parenthesis structure of depth-first search( 深 度 优先 
搜索 的 括号 化 结构 ) 606 
parenthesis theorem( 括 号 化 定理 ) ，606 
parenthesization of a matrix-chain product( 和 矩阵 链 乘 
积 的 括号 化 ) 370 
parse tree( 语 法 分 析 树 ) 1082 
partially ordered set( 偏 序 集 )，1165 
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partial order( 偏 序 ) 1165 
PARTITION, 171 
PARTITION’, 186 pr. 
partition function( 划 分 函数 ) 361 n. 
Partitioning( 划 分 )，171-173 
around median of 3 elements( 在 3 个 元 素 的 中 位 数 
附近 ) 185 ex. 
Hoare’s method for(Hoare 方 法) 185 pr. 
multithreaded algorithm for( 多 线程 算法 ) 804 ex. 
randomized( 随 机 的 )，179 
partition of a set( 集 合 的 划分 )，1161，1164 
Pascal’s triangle(Pascal 三 角 ) 1188 ex. 
path( #84), 1170 
augmenting(J#J~), 719-720, 763 pr. 
critical( 关 键 ) 657 
find( 找 出 )，569 
Hamiltonian( 哈 密 顿 )，1066 ex. 
longest( 最 长 的 )，382，1048 
shortest( 最 短 的 ) ， 见 shortest paths 
simple( 简 单 的 ) 1170 
weight of( 权 重 ) ，643 
PATH, 1051, 1058 
path compression( 路 径 压 缩 ) 569 
path cover( 路 径 履 盖 ) 761 pr. 
path length( 路 径 长 度 )，of a tree( 树 )，304 pr., 
1180 ex. 
path-relaxation property( 路 径 松 弛 性 质 ) 650, 673 
pattern (模式 )，in string matching (字符 串 匹 
配 )，985 
nonoverlappable( A. HASH), 1002 ex. 
pattern matching( 模 式 匹 配 ) JL string matching 
penalty(#&Ti}), 444 
perfect hashing( 完 全 散 列 ) 277-282, 285 
perfect linear speedup( 完 美 线性 加 速 ) 780 
perfect matching( 完 全 匹配 ) 735 ex. 
permutation( 排 列 ) 1167 
bit-reversal( 位 道 序 ) 472 pr., 918 
Josephus, 355 pr. 
k-permutation(k 排列 ) 126, 1184 
linear( 线 性 ) 1229 pr. 
in place( 原 址 ) 126 
random( 随 机 ) ，124-128 
of a set( 集 合 ) 1184 
uniform random(4J4) RAL), 116, 125 
permutation matrix (HE71 #4 FE), 1220, 1222 ex., 


1226 ex. 

LUP decomposition of (LUP 分 解 ) 827 ex. 
PERMUTE-BY-CYCLIC, 129 ex. 
PERMUTE-BY-SORTING, 125 
PERMUTE-WITH-ALL, 125 ex. 
PERMUTE-WITHOUT-IDENTITY, 128 ex. 
persistent data structure (持久 的 数据 结构 )，331 

pr. , 482 
PERSISTENT-TREE-INSERT, 331 pr. 
PERT chart(PERT 表 ) 657, 657 ex. 
P-FIB, 776 
phase( 区 段 ) of the relabel-40-front algorithm( 前 置 
重 贴标签 算法 ) 758 
phi function(%(z) )(phi MO, 943 
PISANO-DELETE, 526 pr. 
pivot( 7b) 
in linear programming (线性 规划 )，867，869- 
870, 878 ex. 

in LU decomposition(LU 分 解 )，821 

in quicksort( 快 速 排序 ) 171 
PIVOT, 869 
platter(#E), 485 
P-MATRIX-MULTIPLY-RECURSIVE, 794 
P-MERGE, 800 
P-MERGE-SORT, 803 
pointer( 指 针 )，21 

array implementation of( 数 组 实现 )，241-246 

trailing( 尾 )，295 
point-value representation( 点 值 表示 法 ) 901 
polar angle( 极 角 )，1020 ex. 

Pollard's rho heuristic(Pollard 的 rho BAX), 976- 
980, 980 ex. , 984 

POLLARD-RHO, 976 

polygon( 多 边 形 )，1020 ex. 

kernel of( 核 ) 1038 ex. 

star-shaped( 星 形 ) 1038 ex. 
polylogarithmically bounded( 多 项 对 数 界 的 )，57 
polynomial( 多 项 式 )，55，898 

addition of( 加 法 )，898 

asymptotic behavior of ( 渐 近 行为 )，61 pr. 

coefficient representation of( 系 数 表示 法 )，900 

evaluation of ( 求 值 )，41 pr., 900, 905 ex., 
923 pr. 

interpolation by(4§{H), 901, 906 ex. 

multiplication of Fe), 899, 903-905, 920 pr. 


point-value representation of( 点 值 表 示 法 ) 901 
polynomial-growth condition (多 项 式 增 长 条 
件 )，113 | 
polynomially bounded( 多 项 式 界 的 ) s55 
polynomially related( 多 项 式 相 关 的 ) 1056 
polynomial-time acceptance( 多 项 式 时 间接 受 ) 1058 
polynomial-time algorithm (多 项 式 时 间 算 法 )， 
927，1048 
polynomial-time approximation scheme( 多 项 式 时 间 
近似 模式 )，1107 
for maximum clique( 最 大 团 ) 1134 pr. 
polynomial-time: computability (多 项 式 时 间 可 计算 
性 )，1056 ， 
polynomial-time decision( 多 项 式 时 间 判 定 )，1059 
polynomial-time reducibility( 多 项 式 时 间 可 归 约 性 ) 
(<P), 1067, 1077 ex. 
polynomial-time, solvability (多 项 式 时 间 可 求解 
HE), 1055 | 
polynomial-time verification (4% m st AY [a] HUE), 
1061-1066 | 
POP | 
pop from a run-time stack( 从 运行 时 间 栈 弹出 )， 
188 pr. | 
positional tree( 位 置 树 ) 1178 
positive-definite matrix( 正 定 和 矩阵 ) 1225 
post-office location problem (邮局 选 址 问题 )， 
225 pr. 
postorder tree walk( 后 序 遍 历 ) 287 
potential function(# pha) , 459 
for lower bouhds( 下 界 ) ，478 
potential method( 势 能 法 ) ，459-463 
for binary couinters( 二 进 制 计数 器 ) 461-462 
for ieee data structures( 不 相交 集合 数据 结 
构 )，575-581，582 ex. 
for dynamic tables( 动 态 表 ) 466-471 
for Fibonacci heaps (38W ARR HE), 509-512, 517- 
518, 520-522 
for the generic push-relabel algorithm( 通 用 推送 - 
重 贴标签 算法 ) ，746 
for min-heaps( 最 小 堆 ) ，462 ex. 
for restructuring red-black trees ( 重 构 红 黑 树 )， 
474pr 
for self-organizing lists with move-to-front( 移 至 前 
端 自 组 织 列表 ) 476 pr 
for stack operations( 栈 操作 ) 460-461 
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potential( 势 ) of a data structure( 数 据 结构 ) 459 
power (Fe) 
of an element( 元 素 ) modulo n(#i n), 954-958 
kth(k XK), 933 ex. 
nontrivial( 非 平凡 的 ) 933 ex. 
power series( #22), 108 pr. 
power set(#*4), 1161 
Pr {} (probability distribution) (概率 分 布 )，1190 
PRAM, 811 
predecessor (ij 4K) 
in binary search trees( 二 又 搜索 树 ) 291-292 
in a bit vector with a superimposed binary tree( 具 
AEM SUP AY i a], 534 
in a bit vector with a superimposed tree of constant 
height (2-4 {HE Be BE BD AY ME), 535 
in breadth-first trees( 广 度 优 先 树 ) 594 
in B-trees(B #}), 497 ex. 
in linked lists( 链 表 ) 236 
in order-statistic trees( 顺 序 统计 树 ) 347 ex. 
in proto van Emde Boas structures( 原 型 van Emde 
Boas 结构 ) 544 ex. 
in red-black trees( 红 黑 树 ) 311 
in shortest-paths trees( 最 短路 径 树 ) 647 
in Van Emde Boas trees (van Emde Boas 树 )， 
591-552 
PREDECESSOR, 230 
predecessor matrix( 前 驱 和 矩阵 ) 685 
predecessor subgraph( 前 驱 子 图 ) 
in all-pairs shortest paths( 所 有 结 点 对 的 最 短路 
4%), 685 
in breadth-first search( 广 度 优 先 搜索 ) 600 
in depth-first search( 深 度 优先 搜索 ) 603 
in single-source shortest paths ( 单 源 最 短路 
48), 647 
predecessor-subgraph property (前 驱 子 图 的 性 质 )， 
650, 676 
preemption(##@ 4), 447 pr. 
prefix( 前 缀 ) 
of a sequence( 序 列 的 ) 392 
of a string(C) (FFE), 986 
prefix code( 前 缀 码 ) ，429 
prefix computation( 前 级 计算 )，807 pr. 
prefix function( 前 缀 函数 ) 1003-1004 
prefix-function iteration lemma (前 级 函数 迭代 于 
理 )，1007 
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preflow( 预 流 )，736，765 
preimage of a matrix( 和 矩阵 的 ) 1228 pr. 
preorder( 先 序 ) ，tota( 总 ) ，1165 
preorder tree walk( 先 序 遍 历 ) 287 
presorting( 预 排序 ) 1043 
Prim’s algorithm(Prim 算法 ) 634-636, 642 
with an adjacency matrix(4h#245—), 637 ex. 
in approximation algorithm for traveling-salesman 
problem( 旅 行商 问题 的 近似 算法 )，1112 
implemented with a Fibonacci heap( 用 斐 波 那 契 堆 
实现 ) ，636 
implemented with a min-heap (用 最 小 堆 实 
Bh), 636 
with integer edge weights( 带 整数 边 权 重 ) 637 ex. 
similarity to Dijkstra’s algorithm( 与 Dijkstra 算法 
的 相似 之 处 ) 634, 662 
for sparse graphs (AMAI) , 638 pr. 
primality testing( 素 数 测试 ) 965-975, 983 
Miller-Rabin test ( Miller-Rabin 测试 )，968- 
975, 983 
pseudoprimality testing( 伪 素数 测试 )，966-968 
primal linear program( 原 始 线 性 规划 )，880 
primary clustering( 一 次 群集 ) ，272 
primary memory( 主 存 ) ，484 
prime distribution function( 素 数 分 布 函 数 ) 965 
prime number( 素 数 ) ，928 
density of (密度 ) 965-966 
prime number theorem( 素 数 定 理 ) 965 
primitive root of Z; (Z: 的 原 根 )，955 
principal root of unity( 单 位 主根 ) 907 
principle of inclusion and exclusion ( 容 斥 原理 )， 
1163 ex. 
PRINT-ALL-PAIRS-SHORTEST-PATH, 685 
PRINT-CUT-ROD-SOLUTION, 369 
PRINT-INTERSECTING-SEGMENTS, 1028 ex. 
PRINT-LCS, 395 
PRINT-OPTIMAL-PARENS, 377 
PRINT-PATH, 601 
PRINT-SET, 572 
priority queue( 优 先 队 列 ) 162-166 
in constructing Huffman codes (#4 W tf R & Fa 
#4), 431 
in Dijkstra’s algorithm(Dijkstra BYE), 661 
heap implementation of (HESCHL), 162-166 
lower bounds for( F), 531 


max-priority queue( 最 大 优先 队列 ) 162 
min-priority queue( 最 小 优先 队列 ) 162, 165 ex 
with monotone extractions( 用 单调 抽取 )，168 
in Prim’s algorithm(Prim 算法 )，634，636 
proto van Emde Boas structure (原型 van Emde 
Boas 4§ #4), implementation of (实现 )， 
538-545 
van Emde Boas tree implementation of (van Emde 
Boas 树 实现 ) 531-560 
参见 binary search tree, binomial heap, Fibonacci 
heap 
probabilistically checkable proof( 概 率 意 义 下 可 检验 
的 证 明 ) ，1105，1140 
probabilistic analysis( 概 率 分 析 ) 115-116, 130-142 
of approximation algorithm for MAX-3-CMF satisfiability 
(MAX-3-CNF 可 满足 性 的 近似 算法 )，1124 
of average node depth in a randomly built binary 
search tree( 随 机 构造 的 二 又 搜索 树 中 结 点 的 
平均 深度 ) 304 pr. 
of balls and bins( 球 与 盒子 ) ，133-134 
of birthday paradox( 生 日 悖 论 ) 130-133 
of bucket sort( 桶 排序 ) 201-204, 204 ex. 
of collisions( 剖 突 ) 261 ex. , 282 ex. 
of convex hull over a sparse-hulled 
distribution( 稀 疏 包 分 布 上 的 凸 包 ) 1046 pr. 
of file comparison( 文 件 比 较 ) 995 ex. 
of fuzzy sorting of intervals( 区 间 的 模糊 排序 ) 
of hashing with chaining( 链 接 散 列 ) 258-260 
of the height of a randomly built binary search tree 
(随机 构造 的 二 又 搜索 树 的 高 度 )，299-303 
of the hiring problem (雇用 问题 的 )，120-121， 
139-141 
of insertion into a binary search tree with equal keys 
(把 相等 关键 字 插 入 二 又 搜索 树 )，303 pr. 
of longest-probe bound for hashing( 散 列 的 最 长 探 
测 界 )，282 pr. 
of lower bound for sorting( 排 序 的 下 界 ) 205 pr. 
of the Miller-Rabin primality test(Miller-Rabin 素 
数 测试 ) , 971-975 
and multithreaded algorithms( 多 线程 算法 )，811 pr. 
of orrline hiring problem( 在 线 雇用 问题 )，139-141 
of open-address hashing (开放 寻 址 散 列 )，274- 
276, 277 ex. 
of partitioning (划分 )，179 ex., 185 ex., 187- 
188 pr. 


of perfect hashing( 完 全 散 列 ) 279-282 
of Pollard’s rho heuristic(Pollard 的 rho 启发 式 )， 
977-980 | 
of probabilistic counting( 概 率 计 数 ) 143 pr. 
of quicksort( 快 速 排序 )，181-184，187-188 pr. , 
303 ex. 
of the Rabin-Karp algorithm(Rabin-Karp 算法 )，994 
and randomized algorithms( 随 机 算法 )，123-124 
of randomized selection( 随 机 选择 )，217-219，226 pr. 
of searching a compact list R KEX), 250 pr. 
of slot-size bound for chaining EERE K/A), 
283 pr. 
of sorting points by distance from origin( 按 距 源 点 
距离 对 点 排序 )，204 ex. 
of streaks( 序 列 ) » 135-139 
of universal hashing( 全 域 散 列 ) ，265-268 
probabilistic counting( 概 率 计 数 ) 143 pr. 
probability( 概 率 ) 1189-1196 
probability density function( 概 率 密度 函数 ) 1196 
probability distribution( 概 率 分 布 ) » 1190 
probability distribution function (H Æ 4} fa A BL), 
204 ex, | 
probe sequence( 探 测序 列 ) 270 
probing( 探 测 )，:270，882 pr. 
Æ 见 linear 3 probing, quadratic probing, double 
hashing 
problem( 问 题 ) : 
abstract( 抽 象 的 ) 1054 
computational( 计 算 的 )，5-6 
concrete( 具 体 的 ) » 1055 
decision( FZ), 1051, 1054 
intractable( 难 处 理 的 )， 1048 
optimization( 最 优化 ) 359, 1050, 1054 
solution to( 解 )，6，1054-1055 
tractable( 易 处 理 的 ) 1048 
procedure( 过 程 )，6，16-17 
product(x) (R); 1148 
Cartesian({§-FJL), 1162 
cross( 3L), 1016 
inner( 内 部 ) 1222 
of matrices( 矩 阵 ) , 1221, 1226 ex. 
outer( 外 部 )， 1222 
of polynomials( 多 项 式 )，899 
rule of( 规 则 )，1184 
scalar flow( 标 量 流 ) ，714 ex. 
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professional wrestler (ĦAX BR AEF), 602 ex. 
program counter( 程 序 计 数 器 ) 1073 
programming (规划 )， 见 dynamic programming, 
linear programming 
proper ancestor( 真 祖先 ) ，1176 
proper descendant( 真 子孙 )，1176 
proper subgroup( 真 子 群 ) 944 
proper subset( 真 子 集 )(C)，1159 
proto van Emde Boas structure( 原 型 van Emde Boas 
结构 )，538-545 
cluster in( 簇 )，538 
compared with van Emde Boas trees( 与 van Emde 
Boas 树 比 较 )，547 
deletion from( 删 除 )，544 
insertion into( 择 人 )，544 
maximum in( 最 大 元 素 ) 544 ex. 
membership in( 成 员 ) 540-541 
minimum in( 最 小 元 素 ) 541-542 
predecessor in( 前 驱 )，544 ex. 
successor in( 后 继 ) 543-544 
summary in, 540 
PROTO-vEB-INSERT, 544 
PROTO-vEB-MEMBER, 541 
PROTO-vEB-MINIMUM, 542 
proto-vEB structure(proto-vEB 结构 ) J proto van 
Emde Boas structure 
PROTO-vEB-SUCCESSOR, 543 
prune-and-search method( 前 枝 -搜索 方法 ) 1030 
pruning a Fibonacci heap( 斐 波 那 契 堆 剪 枝 ) 529 pr. 
P-SCAN-1, 808 pr. 
P-SCAN-2, 808 pr. 
P-SCAN-3, 809 pr. 
P-SCAN-DOWN, 809 pr. 
P-SCAN-UP, 809 pr. 
pseudocode( 擅 代码 ) 16, 20-22 
pseudoinverse( fhi), 837 
pseudoprime( 伪 素数 )，966-968 
PSEUDOPRIME, 867 
pseudorandom-number generator( 伪 随机 数 生 成 器 )，117 
P-SQUARE-MATRIX-MULTIPLY, 793 
P-TRANSPOSE, 792 ex. 
public key( 公 和 钥 )，959，962 
public-key cryptosystem ( 公 铀 加 密 系 统 )，958- 
965, 983 
PUSH 
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push -relabel operation( 推 送 - 重 贴标签 操作 )，739 
stack operation( 栈 操作 ) 233, 452 
push onto a runtime stack( 压 人 运行 时 间 栈 )， 
188 pr. 
push operation (Hs A ##/£) (in pushrrelabel algorithms) 
(推送 - 重 贴标签 算法 ) 738-739 
nonsaturating( 非 饱和 )，739，745 
saturating( 饱 和 )，739，745 
push-relabel algorithm( 推 送 - 重 贴 标签 算法 )，736- 
760，765 
basic operations in( 基 本 操作 ) ，738-740 
by discharging an overflowing vertex of maximum 
height( 通 过 释放 一 个 最 大 高 度 的 溢出 顶点 )， 
760 ex. 
to find a maximum bipartite matching( 来 找 出 最 大 
二 分 匹配 ) 747 ex. 
gap heuristic for( 跨 越 式 启发 )，760 ex., 766 
generic algorithm( 通 用 算法 )，740-748 
with a queue of overflowing vertices (#7 A X4 tH M 
点 的 队列 ) 759 ex. 
relabel-to-front algorithm (前 置 重 贴标签 算法 )， 
748-760 


Q 


quadratic function( 二 次 函数 ) 27 

quadratic probing( 二 次 探测 )，272，283 pr. 

quadratic residue( 二 次 余数 )，982 pr. 

quantile( 分 位 数 )，223 ex. 

query( 查 询 )，230 

queue( 队 列 )，232，234-235 
in breadth-first search( 广 度 优先 搜索 )，595 
implemented by stacks( 用 栈 实现 ) 236 ex. 
linked-list implementation of (链表 实现 ) 240 ex. 
priority( 优 先 级 ) JL priority queue 

in push-relabel algorithms (推送 - 重 贴标签 算法 )， 

759 ex 
quicksort( 快 速 排序 ) ，170-190 
analysis of (分 析 ) 174-185 
average-case analysis of (平均 情况 分 析 ) 181-184 
compared to insertion sort (与 插入 排序 比较 )， 
178 ex. 
compared to radix sort( 与 基数 排序 比较 ) 199 
with equal element valuse( 有 相同 元 素 值 ) 186 pr. 
good worst-case implementation of( 好 的 最 坏 情 况 
SCH), 192 ex. 


“killer adversary” for(FLFARWF), 190 
with median-of-3 method (用 三 数 取 中 方法 )， 
188 pr. 
randomized version of (随机 化 版 本 )，179-180， 
187 pr. 
stack depth of ( 栈 深度 ) 188 pr. 
tail-recursive version of( 尾 递归 版 本 )，188 pr. 
use of insertion sort in( 用 插入 排序 )，185 ex. 
worst-case analysis of( 最 坏 情 况 分 析 ) 180-181 
QUICKSORT, 171 
QUICKSORT’, 186 pr. 
quotient( fy), 928 


R 


R(set of real numbers) (实数 集 ) 1158 
Rabin-Karp algorithm ( Rabin-Karp 算 法 )，990- 
995, 1013 
RABIN-KARP-MATCHER, 993 
race( $$), 787-790 
RACE-EXAMPLE, 788 
radix sort( 基 数 排序 ) 197-200 
compared to quicksort( 与 快速 排序 比较 )，199 
RADIX-SORT，198 
radix tree( 基 数 树 ) 304 pr. 
RAM，23-24 
RANDOM，117 
random-access machine( 随 机 访问 机 ) ，23-24 
parallel( 并 行 )，811 
randomized algorithm (随机 算法 )，116-117， 
122-130 
and average inputs( 与 平均 输入 ) 28 
comparison sort( 比 较 排 序 ) 205 pr. 
for fuzzy sorting of intervals( 区 间 的 模糊 排序 )， 
189 pr. 
for the hiring problem( 雇 用 问题 ) 123-124 
for insertion into a binary search tree with equal 
keys( 把 相等 关键 字 插 入 二 又 搜索 树 )， 
303 pr. 
for MAX-3-CNF satisfiability (MAX-3-CNF 可 满 
JERE), 1123-1124, 1139 
Miller-Rabin primality test (Miller-Rabin 素数 测 
试 ) 968-975, 983 
multithreaded( 42%), 811 pr. 
for partitioning ( È| 4+), 179, 185 ex., 187- 
188 pr. 


for permuting an array( 排 列 数 组 ) 124-128 
Pollard’s rho heuristic(Pollard 的 rho 启发 式 )， 
976-980, 980 ex. , 984 
and probabilistic analysis( 与 概率 分 析 ) 123-124 
quicksort (快速 排序 )，179-180，185 ex. 187- 
188 pr. 
randomized rounding (B@#L@ A), 1139 
for searching a compact list (搜索 紧 姿 表 )， 
250 pr. | 
for selection( 选 择 ) 215-220 
universal hashing( 全 域 散 列 ) 265-268 
worst-case performance of (最 坏 情 况 性 能 )， 
180 ex. | 
RANDOMIZED-HIRE-ASSISTANT, 124 
RANDOMIZED-PARTITION, 179 
RANDOMIZED-QUICKSORT，179，303 ex. 
relation to randomly built binary search trees( 与 随 
机 构造 的 三 叉 搜 索 树 的 关系 )，304 pr. 
randomized rounding( 随机 舍 人 )，1139 
RANDOMIZED-SELECT，216 
RANDOMIZE-IN-PLACE, 126 
randomly built binary search tree( 随 机 构造 的 二 叉 搜 
索 树 ) 299-303, 304 pr. 
random-number generator( 随 机 数 生 成 器 ) 117 
random permutation( 随 机 排列 ) ，124-128 
uniform( 均 匀 ) 116, 125 
RANDOM-SAMPLE, 130 ex. 
random sampling( 随 机 取样 ) 129 ex., 179 
RANDOM-SEARCH, 143 pr. 
random variable( 随 机 变量 ) 1196-1201 
indicator( 指 示 器 ) ， 见 indicator random variable 
range (Ji FE) , 1167 
of a matrix( 和 矩阵 ) 1228 pr. 
rank( 秩 ， 排 序 ) 
column( 列 )，1223 
full( 满 ) 1223 
of a matrix( 和 矩阵 )， 1223, 1226 ex. 
of a node in a disjoint-set forest( 不 相交 集合 森林 
Hee), 569, 575, 581 ex. 
of a number in an ordered set( 有 序 集合 中 的 
数 ) 300, 339 
in order-statistic trees (顺序 统计 树 )，341-343， 
344-345 ex. 
row(47), 1223 
rate of growth( 增 长 率 ) , 28 


索 引 。 769 


ray( 射 线 ) 1021 ex. 
RB-DELETE, 324 
RB-DELETE-FIXUP, 326 
RB-ENUMERATE, 348 ex. 
RB-INSERT, 315 
RB-INSERT-FIXUP, 316 
RB-JOIN, 332 pr. 
RB-TRANSPLANT, 323 
reachability in a graph( A FAY ASAE) CW), 1170 
real numbers( 实 数 )(R) 1158 
reconstructing an optimal solution E + RE), in 
dynamic programming( 动 态 规划 ) ，387 
record( 记 录 )，147 
rectangle(FHJ%), 354 ex. 
recurrence(j#J4s0), 34, 65-67, 83-113 
solution by Akra-Bazzi method( 用 Akra-Bazzi 方法 
KA), 112-113 
solution by master method (用 主 方 法 求解 )， 
93-97 
solution by recursion-tree method( 用 递归 树 方法 
求解 ) 83-88 
solution by substitution method (用 替换 方法 求 
ff), 83-88 
recurrence equation( 递 归 方程 )， 见 recurrence 
recursion( 递 归 ) 30 
recursion tree( 递 归 树 ) 37, 88-93 
in proof of master theorem( 主 和 定理 的 证 明 ) 98-100 
and the substitution method( 与 替换 方法 ) 91-92 
RECURSIVE-ACTIVITY-SELECTOR, 419 
recursive case( 递 归 情 况 )，65 
RECURSIVE-FFT, 911 
RECURSIVE-MATRIX-CHAIN, 385 
red-black tree( 红 黑 树 ) 308-338 
compared to B-trees(45 B 树 比较 )，484，490 
deletion from( 删 除 ) 323-330 
in determining whether any line segments intersect 
(确定 任意 线段 是 否 相 交 ) ，1024 
for enumerating keys in a range( 列 举 一 个 范围 内 
的 关键 字 ) 348 ex. 
height of( 高 度 )，309 
insertion into( 插 入 )，315-323 
joining of( 连 接 )，332 pr. 
maximum key of( 最 大 关键 字 )，311 
minimum key of( 最 小 关键 字 )，311 
predecessor in( 前 驱 )，311 
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properties of( 性 质 ) 308-312 
relaxed( 松 弛 的 )，311 ex. 
restructuring( 重 构 ) 474 pr. 
rotation in( 旋 转 ) 312-314 
searching in( 搜 索 )，311 
successor in( 后 继 ) 311 
参见 interval tree，order-statistic tree 
REDUCE, 807 pr. 
reduced-space van Emde boas tree( 缩 减 空间 的 van 
Emde Boas 树 ) 557 pr. 
reducibility(A] HE), 1067-1068 
reduction algorithm( 归 约 算法 ) 1052, 1067 
reduction function( 归 约 函 数 ) 1067 
reduction( 归 约 ) of an array( 数 组 ) 807 pr. 
reflexive relation( 自 反 关 系 )，1163 
reflexivity of asymptotic notation( 渐 近 记 号 的 自 反 
性 )，51 
region( 区 域 ) ，feasible( 可 行 的 ) 847 
rejection( 拒 绝 ) 
by an algorithm( 被 算法 ) 1058 
by a finite automaton( 被 有 限 自 动机 ) 996 
RELABEL，740 
relabeled vertex( 重 新 标记 的 结 点 ) ，740 
relabel operation( 重 新 标记 操作 )，(in pushrrelabel 
algorithms) (推送 - 重 贴 标签 算法 )，740，745 
RELABEL-TO-FRONT, 755 
relabel-to-front algorithm (前 置 重 贴标签 算法 )， 
748-760 
phase of( 区 段 )，758 
relation( 关 系 )，1163-1166 
relatively prime( 互 质 )，931 
RELAX, 649 
relaxation( 松 弛 ) 
of an edge( 边 ) 648-650 
linear programming( 线 性 规划 ) 1125 
relaxed heap( 松 弛 堆 ) 530 
relaxed red-black tree( 松 弛 红 黑 树 ) 311 ex. 
release time( 释 放 时 间 )，447 pr. 
remainder( 余 数 )，54，928 
remainder instruction( 余 数 指 令 )，23 
repeated squaring( 重 复 平方 ) 
for all-pairs shortest paths( 所 有 顶点 对 的 最 短路 
径 )，689-691 
for raising a number to a power( 求 数 的 宕 ) 956 
repeat, in pseudocode( 伪 代码 中 )，20 


repetition factor (Ht 8 N F), of a string (字符 串 
H), 1012 pr. 
REPETITION-MATCHER, 1013 pr. 
representative of a set( 集 合 的 代表 ) 561 
RESET, 459 ex. 
residual capacity RAFAH), 716, 719 
residual edge( 残 存 边 ) 716 
residual network GRA), 715-719 
residue( 剩 余 ) 54, 928, 982 pr. 
respecting a set of edges( 尊 重 边 集 合 ) 626 
return edge( 返 回 边 ) 779 
repeat, in pseudocode( 伪 代码 中 )，22 
return instruction( 返 回 指 令 )，23 
reweighting( 重 新 赋 权 ) 
in all-pairs shortest paths( 所 有 结 点 对 的 最 短路 
42), 700-702 
in single-source shortest paths ( 84 YF E A BR), 
679 pr. 
rho heuristic(rho JA Æ), 976-980, 980 ex. , 984 
p(n) -approximation algorithm (p(n) 近似 算法 )， 
1106, 1123 
RIGHT, 152 
right child( 右 孩子 ) 1178 
right-conversion( 右 变换 ) 314 ex. 
right horizontal ray( 右 水 平 射线 ) 1021 ex. 
RIGHT-ROTATE, 313 
right rotation( 右 旋转 ) 312 
right spine A #4), 333 pr. 
right subtree( 右 子 树 ) 1178 
root( 根 ) 
of a tree( 树 )，1176 
of unity( 单 位 )，906-907 
of Zr (Zr), 955 
rooted tree( 有 根 树 ) 1176 
representation of( 表 示 法 ) 246-249 
root list( 根 列表 )，of a Fibonacci heap (3 y IR 2 
HE), 509 
rotation( 旋 转 ) 
cycjlic( 循 环 ) 1012 ex. 
in a red-black tree( 红 黑 树 ) 312-314 
rotational sweep( 旋 转 扫 除 ) 1030-1038 
rounding(# A), 1126 
randomized( 随 机 的 )，1139 
row-major order( 行 主 次 序 ) 394 
row rank( 行 秩 ) 1223 


row vector( 行 向 量 ) 1218 
RSA public-key cryptosystem(RSA 公 钥 加 密 系 统 )， 
958-965, 983 
RS-vEB tree(RS-vEB $), 557 pr. 
rule of product( 求 积 准 则 ) ，1184 
rule of sum( 求 和 准则 ) ，1183 
running time( 运 行 时 间 )，25 
average-case( 平 均 情况 ) ，28，116 
best-case( 最 好 情况 ) 29 ex. ，49 
of a graph algorithm( 图 算法 ) ，588 
and multithreaded computation (与 多 线程 计算 )， 
779-780 
order of growth( 增 长 的 量 级 ) 28 
rate of growth( 增 长 率 ) 28 
worst-case( 最 坏 情况 )， 27，49 
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sabermetrics( 评 价 指 标 ) 412 n. 
safe edge( 安 全 边 ) 626 
SAME-COMPONENT, 563 
sample space( 样 本 空间 ) ，1189 
sampling( BUFF), 129 ex., 179 
SAT, 1079 
satellite data( 卫 星 数据 ) 147, 229 
satisfiability( 可 满足 性 )，1072，1079-1081，1105， 
1123-1124, 1127 ex. , 1139 
satisfiable formula( 可 满足 公式 ) 1049, 1079 
satisfying assignment( 满 足 赋值 )，1072，1079 
saturated edge( 饱 和 边 )，739 
saturating push( 饱 和 推 )， 739，745 
scalar flow product( 标 量 流 积 )，714 ex. 
scalar multiple( 标 量 倍数 ) ，1220 
scaling( 定 标 ) 
in maximum flow( 最 大 流 ) 762 pr. ，765 
in single-source shortest paths( 单 源 最 短路 径 )， 
679 pr. | 
scan( 扫 描 )， 807 pr. 
SCAN, 807 pr. 
scapegoat tree(scapegoat 树 )，338 
schedule( 调 度 )，444，1136 pr. 
event-point (HFR » 1023 
scheduler( 调 度 器 ) ， for multithreaded computations( 多 线 
程 计 算 )，777，781-783，812 
centralized( 集 中 式 )， 782 
greedy( 贪 心 ) 782 
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work-stealing algorithm for( 工 作 窃取 算法 ) 812 
scheduling( 调 度 ) 443-446, 447 pr. 450, 1104 
pr.» 1136 pr. 
Schur complement(2f?7R#)), 820, 834 
Schur complement lemma( 舒 尔 补 引 理 ) 834 
SCRAMBLE-SEARCH, 143 pr. 
seam carving (ŽEBY), 409 pr., 413 
SEARCH, 230 
searching( 搜 索 ， 查 找 ) 22 ex. 
binary search( 二 分 查找 ) 39 ex. ，799-800 
in binary search trees( 二 叉 搜 索 树 ) 289-291 
in Br-trees( 卫 树 ) 491-492 
in chained hash tables( 链 接 散 列表 ) 258 
in compact lists( 紧 凑 列 表 ) 250 pr. 
in direct-address tables( 直 接地 址 表 ) 254 
for an exact interval( 正 合 区 间 )，354 ex. 
in interval trees( 区 间 树 )，350-353 
linear search( 线 性 查找 )，22 ex. 
in linked lists( 链 表 ) ，237 
in open-address hash tables (F KẸ] RIE), 
270-271 | 
in proto van Emde Boas structures( 原 型 van Emde 
Boas %44), 540-541 
in red-black trees( 红 黑 树 ) 311 
an unsorted array( 无 顺序 数组 ) 143 pr. 
in van Emde Boas tress(van Emde Boas $f), 550 
search tree( 搜 索 树 )， 见 balanced search tree, binary 
search tree, B-tree, exponential search 
tree, interval tree, optimal binary search 
tree, order-statistic tree, red-black tree, 
splay tree, 2-3 tree, 2-3-4 tree 
secondary clustering( 二 次 群集 )，272 
secondary hash table( 辅 助 散 列表 ) 278 
secondary storage( 辅 助 存储 器 ) 
search tree for( 搜 索 树 ) 484-504 
stacks on( 栈 ) 502 pr. 
second-best minimum spanning tree( 次 优 的 最 小 生 
成 树 ) 638 pr. 
secret key( 密 钥 ) 959, 962 
segment( 段 ) Jil, directed segment, line segment 
SEGMENTS-INTERSECT, 1018 
SELECT, 220 
selection( 选 择 ) 213 
of activities( 活 动 )，415-422，450 
and comparison sorts( 与 比较 排序 ) ，222 
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in expected linear time( 期 望 线 性 时 间 )，215-220 
multithreaded( 多 线程 )，805 ex. 
in order-statistic trees( 顺 序 统计 树 )，340-341 
in worst-case linear time( 最 坏 情 况 线 性 时 间 )， 
220-224 
selection sort( 选 择 排序 ) 29 ex. 
selector vertex( 选 择 器 顶点 )，1093 
self-loop( Ha), 1168 
self-organizing list( 自 组 织 列表 )，476 pr. , 478 
semiconnected graph( 半 连接 图 ) 621 ex. 
sentinel( 哨 兵 ) 31, 238-240, 309 
sequence( 序 列 )((〈 )) 
bitonic( 双 调 ) 682 pr. 
finite( 有 限 )，1166 
infinite RR), 1166 
inversion in(3%), 41 pr. , 122 ex. , 345 ex. 
probe( 探 测 ) ，270 
sequential consistency( 串 行 一 致 : 779, 812 
serial algorithm versus parallel algorithm( 串 行 算 法 
与 并 行 算 法 ) 772 
serialization( 串 行 化 ) of a multithreaded algorithm( 多 线 
程 算法 ) 774, 776 
series( 级 数 ) 108 pr. , 1146-1148 
strands being logically inL AJE), 778 
set( 集 合 )({})，1158-1163 
cardinality( | | )( 势 )，1161 
convex( ph), 714 ex. 
difference(— ) (22), 1159 
independent( 独 立 ) 1101 pr. 
intersection({))(3€), 1159 
member( € ) (JF), 1158 
not a member(¢)(AJBF), 1158 
union( U) (FF), 1159 
set-covering problem (集合 覆盖 问题 )，1117- 
1122, 1139 
weighted (HNX R9), 1135 pr. 
set-partition problem( 集 合 划 分 问题 ) 1101 ex. 
shadow of a point( 点 的 影子 ) 1038 ex. 
shared memory( 共 享 存 储 ) ，772 
Shell’s sort(Shell 排序 ) 42 
shift( 偏 移 ) in string matching( 字 符 串 匹配 ) 985 
shift instruction( 偏 移 指 令 )，24 
short-circuiting operator( 短 路 运算 符 ) 22 
SHORTEST-PATH，1050 
shortest paths( 最 短路 径 ) 7, 643-707 


al-pairs( 所 有 结 点 对 ) 644, 684-707 
Bellman-Ford algorithm for(Bellman-Ford 算法 )， 
651-655 
with bitonic paths( 双 调 路 径 ) 682 pr. 
and breadth-first search (与 广度 优先 搜索 )，597- 
600, 644 
convergence property of (ASE), 650, 672-673 
and difference constraints( 与 差分 约束 ) 664-670 
Dijkstra’s algorithm for(Dijkstra 算法 ) 658-664 
in a directed acyclic graph(4 [IFC A), 655-658 
in e-dense graphs(e 稠密 图 )，641 pr. 
in e-dense graphs(e 稠密 图 ) 706 pr. 
estimate of( 估 计 )，648 
Floyd-Warshall algorithm for(Floyd-Warshall 算法 )， 
693-697, 700 ex. ，706 
Gabow’s scaling algorithm for(Gabow 伸缩 算法 )， 
679 pr. 
Johnson’s algorithm for(Johnson 算法 ) 700-706 
as a linear program( 作 为 线性 规划 ) , 859-860 
and longest paths( 与 最 长 路 径 ) 1048 
by matrix multiplication( 用 矩阵 乘法 ) 686-693, 
706-707 
and negative-weight cycles( 与 负 权 重 环 路 ) 645, 
653-654, 692 ex., 700 ex. 
with negative-weight edges( 负 权重 边 ) 645-646 
no-path property of (无 路 径 性 质 ) 650, 672 
optimal substructure of (最 优 子 结构 )，644-645， 
687, 693-694 
path -relaxation property of ( BR 7 #A 4th PE Jil), 
650, 673 
predecessor-subgraph property of (前 驱 子 图 性 
E), 650, 673 
problem variants( 问 题 变 体 ) 644 
and relaxation( 与 松弛 )，648-650 
by repeated squaring( 用 重复 平方 )，689-691 
single-destination( 单 目的 地 ) 644 
single-pair( 单 对 )，381，644 
single-source( 单 源 ) 643-683 
tree of A), 647-648, 673-676 
triangle inequality of 三角 不 等 式 )，600，671 
in an unweighted graph( 无 权重 图 )，381，597 
upper-bound property of (上 界 性 质 )，650， 
671-672 
in a weighted graph( JNA), 643 
sibling( 见 弟 ) 1176 


side of a polygon( 多 边 形 的 边 ) 1020 ex. 
signature( 签 名 )，960 
simple cycle( 简 单 回 路 ) 1170 
simple graph( 简 单 图 )， 1170 
simple path( 简 单 路 径 ) ，1170 
longest( 最 长 的 ) 382, 1048 
simple polygon( 简 单 多 边 形 ) ，1020 ex. 
simple uniform hashing( 简 单 均匀 散 列 ) 259 
simplex( 单 纯 形 ) 848 
SIMPLEX, 871 
simplex algorithm ( % 4 Æ BH yE), 848, 864-879, 
896-897 | 
single-destination shortest paths( 单 目的 地 最 短路 
径 )，644 | 
single-pair shortest path( 单 对 最 短路 径 )，381]，644 
as a linear program( 作 为 线性 规划 ) ，859-860 
single-source shortest paths( 单 源 最 短路 径 ) 643-683 
Bellman-Ford algorithm for(Bellman-Ford 算法 )， 
651-655: 
with bitonic paths( 带 有 双 调 路 径 ) 682 pr. 
and difference constraints( 与 差分 约束 ) 664-670 
Dijkstra’s algorithm for(Dijkstra 算法 ) 658-664 
in a directed acyclic graph% m CHA), 655-658 
in e-dense graphs(e 稠密 图 ) 706 pr. 
Gabow’s scaling algorithm for(Gabow 伸缩 算法 )， 
679 pri 
and longestipaths( 与 最 长 路 径 ) 1048 
singleton( 单 元 集 ) , 1161 
singly connected graph( 单 连通 图 )，612 ex. 
singly linked list( 单 链表 ) 236 
参见 linked list 
singular matrix( 奇 异 矩 阵 ) 1223 
singular value decomposition( 奇 异 值 分 解 ) , 842 
sink vertex( 汇 点 )，593 ex. , 709, 712 
size( 规 模 ) 
of an algorithm's input( 算 法 输入 )，25，926-927， 
1055-1057 
of a binomial tree( 二 项 树 ) 572 pr. 
of a boolean combinational circuit (布尔 组 合 电 
路 ) 1072 
of a clique( Hi), 1086 
of a set( 集 合 ) ，1161 
of a subtree in a Fibonacci heap( 斐 波 那 契 堆 中 子 
W), 524 
of a vertex cover( 顶 点 覆盖 ) 1089, 1108 
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skip list( 跳 表 ) 338 
slack( 松 弛 ) , 855 
slack form( 松 弛 型 ) 846, 854-857 
uniqueness of (唯一 性 ) 876 
slackness( 松 弛 ) 
complementary( 补 )，894 pr. 
parallel( 并 行 )，781 
slack variable( 松 弛 变量 ) 855 
slot(#) 
of a direct-access table( 直 接 寻 址 表 ) 254 
of a hash table( 散 列表 ) ，256 
SLOW-ALL-PAIRS-SHORTEST-PATHS, 689 
smoothed amalysis( 平 滑 分 析 ) 897 
* Socrates, 790 
solution (ff?) 
to an abstract problem( 抽 象 问题 ) 1054 
basic( 基 本 ) 866 
to a computational problem( 计 算 问 题 )，6 
to a concrete problem( 具 体 问题 )，1055 
feasible( 可 行 的 )，665，846，851 
infeasible( 不 可 行 的 )，851 
optimal( 最 优 的 ) 851 
to a system of linear equations( 线 性 方程 组 )，814 
sorted linked listC 有 序 链表 ) ，236 
参见 linked list 
sorting ( HE F ), 5, 
797-805 
bubblesort( E HEF), 40 pr. 
bucket sort( 桶 排序 ) 200-204 
comparison sort( 比 较 排 序 ) 191 
counting sort( 计 数 排序 ) 194-197 
fuzzy (AR), 189 pr. 
heapsort( 堆 排序 ) 151-169 
insertion sort( 择 入 排序) 12, 16-20 
k-sorting(k 排序 ) 207 pr. 
lexicographic(= HL AY), 304 pr. 
in linear time( 线 性 时 间 ) ，194-204，206 pr. 
lower bounds for( 下 界 ) 191-194, 211, 531 
merge sort( 归 并 排序 ) 12, 30-37, 797-805 
by oblivious compare-exchange algorithms iim Lb 
较 交 换算 法 ) 208 pr. 
in place( 原 址 ) 17, 148, 206 pr. 
of points by polar angle( 用 极 角 的 点 )，1020 ex 
probabilistic lower bound for( 概 率 下 界 ) 205 pr. 
quicksort( 快 速 排序 ) ，170-190 
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radix sort( 基 数 排 序 ) 197-200 
selection sort( 选 择 排序 ) 29 ex. 
Shell s sort( 秀 尔 排序 ) 42 
stable( 稳 和 定 的 ) 196 
table of running times( 运 行 时 间 表 ) 149 
topological( 拓 扑 的 )，8，612-615，623 
using a binary search tree( 用 二 又 搜索 树 )，299 ex 
with variable-length items (可 变 长 度 的 项 )， 
299 pr. 
0-lsorting lemma(0-1 排序 引 理 ) 208 pr. 
sorting network( 排 序 网 络 ) 811 
source vertex( 源 顶点 )，594，644，709，712 
span law( 持 续 时 间 和 定律) 780 
spanning tree( 生 成 树 ) 439, 624 
bottleneck), 640 pr. 
maximum( 最 大 ) 1137 pr. 
verification of( 验 证 ) ，642 
参见 minimum spanning tree 
span (持续 时 间 )，of a multithreaded computation (£ 
线程 计算 )，779 
sparse graph( 稀 疏 图 )，589 
all-pairs shortest paths for( 所 有 结 点 对 的 最 短路 
径 ) 700-705 
and Prim’s algorithm(Prim 算法 ) 638 pr. 
sparse-hulled distribution( 稀 朴 包 分 布 )，1046 pr. 
spawn, in pseudocode( 伪 代码 中 )，776-777 
spawn edge( 派 生 边 ) 778 
speedup( 加 速 )，780 
of a randomized multithreded algorithm( 随 机 多 线 
程 算法 ) ，811 pr. 
spindle( 轴 ) 485 
spine(# $t) 
of a string-matching automaton( 字 符 串 匹配 自动 
机 )，997 fig. 
of a treap(treap), 333 pr. 
splay tree( 伸 展 树 ) 338, 482 
spline( 样 条 ) 840 pr. 
splitting( 分 裂 ) 
of B-tree nodes(B WA), 493-495 
of 2-3-4 trees(2-3-4 $), 503 pr. 
splitting summations(4> #1), 1152-1154 
spurious hit( 假 的 命中 ) 991 
square matrix( 方 阵 )，1218 
SQUARE-MATRIX-MULTIPLY, 75, 689 
SQUARE-MATRIX-MULTIPLY-RECURSIVE, 77 


square of a directed graph( 有 问 图 的 平方 )，593 ex. 
square root (平方 根 )，modulo a prime ( 模 素 数 )， 
982 pr. 
squaring( 平 方 )，repeated( 重 复 ) 
for all-pairs shortest paths( 所 有 结 点 对 的 最 短路 
径 )，689-691 
for raising a number to a power( 求 数 的 乘 窒 )，956 
stability( 稳 定性 ) 
numerical( 数 值 ) 813, 815, 842 
of sorting algorithms( 排 序 算法 ) 196, 200 ex 
stack( 栈 ) ，232-233 
in Graham's scan(Graham 扫描 )，1030 
implemented by queues( 用 队列 实现 )，236 ex. 
linked-list implementation of (链表 实现 ) 240 ex. 
operations analyzed by accounting method( Hidik 
方法 分 析 的 操作 ) » 457-458 
operations analyzed by aggregate analysis (HR S 
方法 分 析 的 操作 ) » 452-454 
operations analyzed by potential method( 用 势能 法 
分 析 的 操作 ) ，460-461 
for procedure execution( 过 程 执行 )，188 pr. 
on secondary storage( 辅 助 存 储 ) 502 pr. 
STACK-EMPTY, 233 
standard deviation( 标 准 差 )，1200 
standard encoding(())( 标 准 编码 ) 1057 
standard form( 标 准 型 ) 846, 850-854 
star-shaped polygon( 星 形 多 边 形 )，1038 ex. 
start state( 开 始 状态 ) ，995 
start time( 开 始 时 间 ) 415 
state of a finite automaton( 有 限 自 动机 的 状态 ) 995 
static graph( 毅 态 图 ) 562 n. 
static set of keys( 关 键 字 的 静态 集合 ) 277 
static threading( 静 态 线程 )，773 
stencil( 模 板 )，809 pr. 
stencil calculation( 模 板 计 算 )，809 pr. 
Stirling’s approximation( 斯 特 林 近似 )，57 
storage management (存储 管理 )，151，243-244， 
245 ex. , 261 ex. 
store instruction( 存 储 指令 ) 23 
straddle( 横 跨 ) ，1017 
strand(##), 777 
final( 结 束 ) 779 
independent( 独 立 ) 789 
initial( 初 始 ) 779 
logically in parallel( 逻 辑 上 并 联 ) 778 


logically in series( 逻 辑 上 串联 )，778 
Strassen’ s algorithm (Strassen 算 }#E), 79-83, 
111-112 
multithreaded( 多 线程 ) ，795-796 
streaks( 序 列 ) 135-139 
strictly decreasihg( 严 格 递减 )，53 
strictly increasing( 严 格 递增 ) 53 
string( 串 )，985，1184 
string matching( 串 匹配 )，985-1013 
based on repetition factors( 基 于 重复 因子 )，1012 pr. 
by finite automata( 用 有 限 自动 机 ) ，995-1002 
with gap characters( 带 分 隔 符 ) 989 ex., 1002 ex. 
Knuth-Morris-Pratt algorithm for(Knuth-Morris-Pratt 
y=), 1002-1013 
naive algorithm for( 朴 素 算 法 ) 988-990 
Rabin-Karp algorithm for (Rabin-Karp 算法 )， 
990-995, 1013 
string-matching automaton (字符 串 匹 配 自 动机 )， 
996-1002, 1002 ex. 
strongly connected component( 强 连通 分 量 ) 1171 
decomposition into( 分 解 成 ) 615-621, 623 
STRONGLY-CONNECTED-COMPONENTS, 617 
strongly connected graph( 强 连通 图 )，1171 
subgraph( 子 图 )，1171 
predecessor( 前 驱 ) ， 见 predecessor subgraph 
subgraph-isomorphism problem ( 子 图 同 构 问 题 )， 
1100 ex. | 
subgroup(--##), 943-946 
subpath( 子 路 径 ) 1170 
subroutine( 子 过 程 ) 
calling( 调 用 ) s 019-233. 2517: 
executing( 执 行 )，25 n. 
subsequence( 子 序列 ) 391 
subset(C) (F448), 1159, 1161 
hereditary family of( 遗 传 族 ) 437 
independent family of( 独 立 族 )，437 
SUBSET-SUM，1097 
subset-sum problem( 子 集 和 问题 ) 
approximation algorithm for( 近 似 算 法 )，1128- 
1134，1139 
NP-completeness of(NP 完全 性 ) 1097-1100 
with unary target( 带 一 元 目标 ) » 1101 ex. 
substitution method (HRI) , 83-88 
and recursion trees( 与 递归 树 ) 91-92 
substring( 子 串 ) » 1184 
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subtract instruction( 减 指令 )，23 
subtraction of matrices (E RERI IRE), 1221 
subtree( 子 树 ) 1176 
maintaining sizes of( 维 护 规模 ) in order-statistic 
trees( 顺 序 统计 树 ) 343-344 
success( 成 功 )，in a Bernoulli trial( 伯 努 利 试验 
中 )，1201 
successor( 后 继 ) 
in binary search trees( 二 叉 搜 索 树 ) 291-292 
finding ith( 找 出 第 i 个 )，of a node in an order- 
statistic tree( 顺 序 统计 树 的 结 点 )，344 ex 
in linked lists( 链 表 ) 236 
in order-statistic trees( 顺 序 统 计 树 ) 347 ex 
in proto van Emde Boas structures( 原 型 van Emde 
Boas 结构 ) 543-544 
in red-black trees( 红 黑 树 ) 311 
in van Emde Boas trees(van Emde Boas 树 ) 550- 
551 
SUCCESSOR, 230 
such that(:)( 使 得 ) 1159 
suffix( 后 缀 )(C)，986 
suffix function (ERAO, 996 
suffix-function inequality (JER AARE), 999 
suffix-function recursion lemma( 后 级 递归 引 理 )，1000 
sum(2)( 和 )，1145 
Cartesian( 笛 卡 儿 )，906 ex. 
infinite( 无 限 的 )，1145 
of matrices( 和 矩阵 ) 1220 
of polynomials( 多 项 式 )，898 
rule of( 准 则 )，1183 
telescoping( 烈 项 相 消 )，1148 
SUM-ARRAYS, 805 pr. 
SUM-ARRAYS', 805 pr. 
summary 
in a bit vector with a superimposed tree of 
comstant height (RA {B se fey BE ay BY 2 
向 量 ) 534 
in proto van Emde Boas structurse( 原 型 van Emde 
Boas 结构 ) 540 
in van Emde Boas trees(van Emde Boas 树 ) 546 
summation GKI), 1145-1157 
in asymptotic notation( 渐 近 记 号 )，49-50，1146 
bounding( 界 ) 1149-1156 
formulas and properties of (公式 和 性质)， 
1145-1149 
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linearity of (线性 ) ，1146 
summation lemma( 求 和 引 理 ) 908 
superpolynomial time( 超 多 项 式 时 间 )，1048 
supersink( 超 级 汇 点 ) 712 
supersource( 超 级 源 点 ) 712 
surjection( 满 射 ) 1167 
SVD，842 
sweeping( 扫 除 ) 1021-1029, 1045 pr. 
rotational( 旋 转 ) ，1030-1038 
sweep line( 扫 除 线 ) 1022 
sweep-line status( 扫 除 线 状态 )，1023-1024 
symbol table( 符 号 表 )，253，262，265 
symmetric difference( 对 称 差 )，763 pr. 
symmetric matrix (对 称 和 矩阵 )，1220，1222 ex., 
1226 ex. 
symmetric positive-definite matrix (X$ PK IE EHH), 
832-835, 842 
symmetric relation( 对 称 关 系 )，1163 
symmetry of @-notation(@ 记号 的 对 称 性 ) 52 
sync, in pseudocode( 伪 代码 中 ) 776-777 
systems of difference constraints (差分 约束 系统 )， 
664-670 
systems of linear equations( 线 性 方程 组 )，806 pr.， 
813-827, 840 


TABLE-DELETE, 468 
TABLE-INSERT, 464 
tail( 尾 ) 
of a binomial distribution( 二 项 分 布 )，1208-1215 
of a linked list( 链 表 ) 236 
of a queue( 队 列 ) ，234 
tail recursion( 尾 递归 ) 188 pr. ，419 
target( 目 标 ) 1097 
Tarjan’s off-line least-common-ancestors algorithm 
(Tarjan 的 脱 机 最 小 公共 祖先 算法 )，584 pr. 
task( 任 务 )，443 
Task Parallel Library( 任 务 并 行 库 ) 774 
task scheduling( 任 务 调度 ) 443-446, 448 pr., 450 
tautology( 重 言 式 )，1066 ex. 1086 ex. 
Taylor series( 泰 勒 级 数 )，306 pr. 
telescoping series( 裂 项 级 数 )，1148 
telescoping sum( 裂 项 相 消 和 )，1148 
testing( 测 试 ) 
of primality (#0, 965-975, 983 


of pseudoprimality( 伪 素数 ) 966-968 
text( 文 本 ) in string matching( 字 符 串 匹配 ) 906 
then(then AJ), 20 n. 

Theta-notation(theta 记号 ) 44-47, 64 

thread( 2872), 773 

Threading Building Blocks( 线 程 构建 块 ) 774 

3-CNF, 1082 

3-CNF-SAT, 1082 

3-CNF satisfiability(3-CNF 可 满足 性 )，1082-1085，1105 

approximation algorithm for( 近 似 算 法 )，1123- 

1124, 1139 

and 2-CNF satisfiability( 53 2-CNF 可 满足 性 ) 1049 
3-COLOR, 1103 pr. 
3-conjunctive normal form(3 合 取 范式 )，1082 
tight constraint( 紧 约束 )，865 
time( 时 间 ) ， 见 running time 
time domain( 时 间 域 ) 898 
time-memory trade-off( 时 空 权 衡 )，365 
timestamp( 时 间 惟 ) 603, 611 ex. 

Toeplitz matrix( 特 普 利 茨 矩阵 ) 921 pr. 
to, in pseudocode( 擅 代码 中 ) 20 
TOP，1031 
top-down method (8 M fh] F FW), for dynamic 
programming (ASF), 365 
top of a stack( 栈 顶 ) 232 
topological sort( 拓 扑 排序 ) 8, 612-615, 623 
in computing single-source shortest paths in a dag 
(计算 有 疝 无 环 图 内 单 源 最 短路 径 )，655 
TOPOLOGICAL-SORT, 613 
total order( 全 序 ) 1165 
total path length( 总 路 径 长 度 ) 304 pr. 
total preorder( 全 程序 ) 1165 
total relation( 全 关系 )，1165 
tour( 回 路 ) 

bitonic( 双 调 ) 405 pr. 

Euler( 欧 拉 )，623 pr., 1048 

of a graph( 图 )，1096 
track( 磁 道 ) 486 
tractability( 易 处 理 ) 1048 
trailing pointer( 尾 指针 ) ，295 
transition function (48 # pi HL), 995, 1001-1002, 

1012 ex. 
transitive closure( 传 递 闭 包 ) 697-699 
and boolean matrix multiplication (与 布尔 矩阵 乘 
法 )，832 ex. 


of dynamic graphs( 动 态 图 )，705 pr. ，707 
TRANSITIVE-CLOSURE, 698 
transitive relation( 传 递 关 系 )，1163 
transitivity of asymptotic notation( 渐 近 记 号 的 传递 
性 ), 51 
TRANSPLANT，296，323 
transpose( 转 置 ) 
conjugate(Jk#B) , 832 ex. 
of a directed graph( 有 问 图 ) 592 ex. 
of a matrix (ERE) x 1217 
of a matrix), multithreaded (ZRF), 792 ex 
transpose symmetry of asymptotic notation (#f iT id 
号 的 转 置 对 称 性 )，52 
traveling-salesman problem( 旅 行商 问题 ) 
approximation algorithm for( 近 似 算 法 )，1111- 
1117, 1139 
bitonic euclidean( 双 调 欧 几 里 得 ) ，405 pr. 
bottleneck GMZ) , 1117 ex. 
NP-completeness of (NP 完全 性 ) 1096-1097 
with the triangle inequality (#7 = fA AN Ẹ 34), 
1112-1115 
without the triangle inequality( 不 带 三 角 不 等 式 )， 
1115-1116 
traversal of a itree( 树 的 遍历 )，287，293 ex., 
342，1114 
treap, 333 pr. , 338 
TREAP-INSERT, 333 pr. 
tree( 树 ) 1173-1180 
AA-trees(AA 树 ) 338 
AVL, 333 pr., 337 
binary(— MX), Jl binary tree 
binomial( 二 项 ) ，527 pr. 
bisection of( 二 分 )，1181 pr. 
breadth-first( 广 度 优先 ) 594, 600 
Br-trees(B 树 ) 484-504 
decision( 决 策 ) ，192-193 
depth-first( 深 度 优先 ) ，603 
diameter of( 直 径 ) ，602 ex. 
dynamic( 动 态 的 ) 482 
free( 释 放 )，1172-1176 
full walk of( 完 全 遍历 ) 1114 
fusion( 聚 合 ) ，212，483 
heap(##), 151-169 
height-balanced( 高 度 平衡 的 )，333 pr. 
height of( 高 度 )，1177 
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interval( X|BJ]), 348-354 
k-neighbor(k 邻居 ) 338 
minimum spanning (最 小 生成 )， 见 minimum 
spanning tree 
optimal binary search (fx fi — MiB R), 397- 
404, 413 
order-statistic( 顺 序 统 计量 ) 339-345 
parse( 语 法 分 析 ) 1082 
recursion( 递 归 ) 37, 88-93 
red-black( 红 黑 )， 见 red-black tree 
rooted( 有 根 的 ) 246-249, 1176 
scapegoat (#F#IB=E), 338 
search( 搜 索 ) JL search tree 
shortest-paths( 最 短路 径 ) 647-648, 673-676 
spanning (生成 )， 见 minimum spanning tree， 
spanning tree 
splay fH), 338, 482 
treap, 333 pr., 338 
2-3, 337, 504 
2-3-4, 489, 503 pr. 
van Emde Boas, 531-560 
walk of( 遍 历 ) 287, 293 ex., 342, 1114 
weight-balanced trees( 带 权 平 衡 树 ) 338 
TREE-DELETE, 298, 299 ex. , 323-324 
tree edge( 树 的 边 ) 601, 603, 609 
TREE-INSERT, 294, 315 
TREE-MAXIMUM, 291 
TREE-MINIMUM, 291 
TREE-PREDECESSOR, 292 
TREE-SEARCH, 290 
TREE-SUCCESSOR, 292 
tree walk( 树 的 遍历 ) 287, 293 ex., 342, 1114 
trial( 试 验 ) Bernoulli{G AI, 1201 
trial division( 试 除 ) 966 
triangle inequality =Z APER), 1112 
for shortest paths( 最 短路 径 ) 650, 671 
triangular matrix (三 角 和 矩阵 )，1219，1222 ex., 
1225 ex. 
trichotomy( 三 分 法 ) interval( KAJ), 348 
trichotomy property of real numbers (实数 的 三 分 性 
质 )，52 
tridiagonal linear systems( 三 对 角 线 性 系统 )，840 pr. 
tridiagonal matrix( 三 对 角 和 矩阵 )，1219 
trie《( 检 索 树 )， 见 radix tree, 304 pr. 
y-fast, 558 pr. 
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TRIM, 1130 
trimming of a list( 列 表 的 削减 )，1130 
trivial divisor( 平 凡 因 子 ) 928 
truth assignment( 真 值 赋值 )，1072，1079 
truth table( 真 值 表 ) ，1070 
TSP, 1096 
tuple( 元 组 ) 1162 
twiddle factor( 旋 转 因 子 ) 912 
2-CNF-SAT, 1086 ex. 
2-CNF satisfiability(2-CNF 可 满足 性 ) 1086 ex. 
and 3-CNF satisfiability( 与 3-CNF 可 满足 性 )，1049 
two-pass method( 两 趟 方法 ) 571 
2-3-4 heap(2-3-4 HE), 529 pr. 
2-3-4 tree(2-3-4 $f), 489 
joining GE #%), 503 pr. 
splitting( 分 裂 ) 503 pr. 
2-3 tree(2-3 $), 337, 504 


U 


unary( 一 元 的 ) 1056 
unbounded linear program( 无 界线 性 规划 )，851 
unconditional branch instruction( 无 条 件 分 支 指令 )，23 
uncountable set( 不 可 数 集 ) 1161 
underdetermined system of linear equations( 欠 和 定 线 
性 方程 组 )，814 
underflow( 下 溢 ) 
of a queue( 队 列 ) ，234 
of a stack( 栈 )，233 
undirected graph( 无 回 图 ) 1168 
articulation point of( 衔 接点 ) 621 pr. 
biconnected component of( 双 连通 分 量 ) 621 pr. 
bridge of( 桥 ) 621 pr. 
clique in( 团 ) 1086 
coloring of( 着 色 ) 1103 pr. ，1180 pr. 
computing a minimum spanning tree in( 计 算 最 小 
生成 树 ) ，624-642 
converting to( 转 换 成 ) from a multigraph( 从 多 
A), 593 ex. 
d-regular(d 正则 ) 736 ex. 
grid( 网 格 ) 760 pr. 
hamiltonian( 哈 密 顿 )，1061 
independent set of (771742), 1101 pr. 
matching of (匹配 ) 732 
nonhamiltonian( 非 哈密 顿 )，1061 
vertex cover of( 顶 点 覆盖 ) 1089, 1108 


参见 graph 
undirected version of a directed graph( 有 向 图 的 无 向 
版 本 )，1172 
uniform hashing( 均 色散 列 )，271 
uniform probability distribution (均匀 概率 分 布 )， 
1191-1192 
uniform random permutation (均匀 随机 排列 )， 
116，125 
union( 并 ) 
of dynamic sets( 动 态 集合 ) ， 见 uniting 
of languages( 语 言 )，1058 
of sets(24)(U), 1159 
UNION, 505, 562 
disjoint-set-forest implementation of (不 相交 集合 
森林 实现 ) 571 
linked-list implementation of (链表 实现 )，565- 
067, 568 ex. 
union by rank( 按 秩 合 并 ) 569 
unique factorization of integers (整数 唯一 因数 分 
解 )，931 
unit( 单 位 )(1)，928 
uniting ERA) 
of Fibonacci heaps (ŠE IR RHE), 511-512 
of heaps( #2), 506 
of linked lists( 链 表 ) 241 ex. 
of 2-3-4 heaps(2-3-4 HE), 529 pr. 
unit lower-triangular matrix( 单 位 下 三 角 和 矩阵 )，1219 
unit-time task( 单 位 时 间 任 务 )，443 
unit upper-triangular matrix( 单 位 上 三 角 和 矩阵 )，1219 
unit vector( 单 位 向 量 ) 1218 
universal collection of hash functions (#X 9] P Bt hy & 
R), 265 
universal hashing( 全 域 散 列 ) 265-268 
universal sink( 通 用 汇 点 ) 593 ex 
universe( 人 全域) ，1160 
of keys in van Emde Boas trees(van Emde Boas 树 中 
的 关键 字 ) 532 
universe size, 532 
unmatched vertex( 不 匹配 的 顶点 ) 732 
unsorted linked list( 无 序 链表 ) 236 
参见 linked list 
until, in pseudocode( 伪 代码 中 )，20 
unweighted longest simple paths (无 权 最 长 简单 路 
径 )，382 
unweighted shortest paths( 无 权 最 短路 径 )，381 


upper bound( 上 界 ) 47 

upper-bound property( 上 界 性 质 ) 650, 671-672 
upper median( 上 中 位 数 ) 213 

upper square root(W”)( 上 平方 根 )，546 
upper-triangular matrix LÆ), 1219, 1225 ex 


V 


valid shift( 合 法 偏 移 ) 985 
value( 值 ) 
of a flow( 流 ) 710 
of a function( 函 数 ) , 1166 
objective( 目 标 ) 847, 851 
value over replacement player (球员 替换 价值 )， 
411 pr. ! 
Vandermonde mdtrix( 范 德 蒙 德 矩阵 ) ，902，1226 pr. 
van Emde Boas tree(van Emde Boas 树 ) 531-560 
cluster in(#=), 546 
compared with proto van Emde Boas structures( 5 
原型 van Emde Boas 结构 比较 ) 547 
deletion from CH BR) » 554-556 
insertion intoGHA), 552-554 
maximum in( 最 大 ) 550 
membership in( 成 员 ) ，550 
minimum in( 最 小 ) ， 550 
predecessor in( 前 驱 ) 551-552 
with reduced space( 缩 减 空间 ) ，557 pr. 
successor in( 后 继 ) 550-551 
summary in, 546 
Var [ ](variance) (77 #2), 1199 
variable( 48) 
basic( 基 本 的 ) 855 
entering( 替 人 )，867 
leaving h) , 867 
nonbasic( 非 基本 的 )，855 
in pseudocode( 伪 代码 中 ) 21 
random( 随 机 ) ，1196-1201 
slack( 松 弛 ) ，855 
参见 indicator random variable 
variable-length code( 可 变 长 度 编码 ) 429 
variance(F7 22), 1199 
of a binomial distribution( 二 项 分 布 )，1205 
of a geometric distribution( 几 何 分 布 )，1203 
VEB-EMPTY-TREE-INSERT，553 
VEB tree(VEB 树 ) JL van Emde Boas tree 
VEB-TREE-DELETE, 554 
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VEB-TREE-INSERT, 553 
VEB-TREE-MAXIMUM, 550 
VEB-TREE-MEMBER, 550 
VEB-TREE-MINIMUM, 550 
VEB-TREE-PREDECESSOR, 552 
VEB-TREE-SUCCESSOR, 551 
vector( fa] Ht), 1218, 1222-1224 

convolution of( 卷 积 ) 901 

cross product of( LFK), 1016 

orthonormal( 正 交 的 )，842 

in the plane( 平 面 上 )，1015 
Venn diagram( 维 恩 图 )，1160 
verification( 验 证 ) 1061-1066 

of spanning trees( 生 成 树 ) 642 

verification algorithm( 验 证 算法 )，1063 
vertex( 顶 点 ) 

articulation point( 衔 接点 )，621 pr. 

attributes of( 属 性 )，592 

capacity of( 容 量 )，714 ex. 

in a graph( 图 )，1168 

intermediate( 中 间 的 )，693 

isolated (PASZ Ay), 1169 

overflowing( Et), 736 

of a polygon( 多 边 形 的 ) 1020 ex. 
relabeled( 重 贴标签 ) 740 

selector( 选 择 器 ) 1093 
vertex cover( 顶 点 覆盖 ) 1089, 1108, 1124-1127, 1139 
VERTEX-COVER，1090 
vertex-cover problem( 顶 点 覆盖 问题 ) 

approximation algorithm for Ci 似 算法 )，1108- 

1111，1139 

NP-completeness of (NP 完全 性 )，1089-1091，1105 
vertex set( 顶 点 集合 ) ，1168 
violation( 违 反 ) of an equality constraint( 等 式 约束 )，865 
virtual memory( 虚 拟 内 存 ) 24 
Viterbi algorithm( Viterbi 算法 ) 408 pr. 
VORP, 411 pr. 


W 


walk of a tree( 树 的 遍历 ) 287, 293 ex., 342, 1114 
weak duality( 弱 对 偶 性 ) 880-881, 886 ex. , 895 pr. 
weight (X Œ) 

of a cut( WA), 1127 ex. 

of an edge( 边 ) 591 

mean( 平 均 ) 680 pr. 
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of a path( 路 径 ) 643 
weight-balanced tree( 带 权 平衡 树 ) 338, 473 pr. 
weighted bipartite matching( 带 权 二 分 匹配 ) 530 
weighted matroid( 带 权 拟 阵 ) 439-442 
weighted median( 带 权 中 位 数 ) 225 pr. 
weighted set-covering problem( 带 权 和 集合 覆盖 问题 )， 
1135 pr. 
weighted-union heuristic( 带 权 合 并 启发 式 ) 566 
weighted vertex cover ( ## 4M I 点 覆盖 )，1124- 
1127，1139 
weight function(4X E BL) 
for a graph( 图 的 ) 591 
in a weighted matroid( 在 带 权 拟 阵 中 ) 439 
while, in pseudocode( 伪 代码 中 )，20 
white-path theorem( 白 路 径 定理 )，608 
white vertex( 白 结 点 ) 594, 603 
widget( 附 件 图 ) 1092 
wire( 线 路 ) 1071 
WITNESS, 969 
witness( 目 击 者 ) to the compositeness of a number 
(一 个 数 可 分 解 ) 968 
work law( 工 作 定 律 )，780 
work (工作 ) of a multithreaded computation( 多 线 
程 计 算 )，779 
work -stealing scheduling algorithm (工作 窃取 调度 


算法 ) ，812 
worst-case running time( 最 坏 情 况 运 行 时 间 )，27，49 


Y 


Yen’s improvement to the Bellman-Ford algorithm 
(Yen 对 Bellman-Ford 算法 的 改进 ) 678 pr. 

y-fast trie(y-fast REE), 558 pr. 

Young tableau( Young RRE), 167 pr. 


Z 


Z(set of integers) (整数 集合 ) 1158 

Z, (equivalence classes modulo n) (##i n 等 价 类 )，928 

Z; (elements of multiplicative group modulo n) (#4 n 

乘法 群 的 元 素 ) 941 

Z (nonzero elements of Z? )(Z* MISES ICH), 967 

zero matrix( 零 矩阵 ) 1218 

zero of a polynomial modulo a prime( 模 素数 多 项 式 零 
点 )，950 ex 

0-1 integer-programming problem(0-1 整数 规划 问题 )， 
1100 ex , 1125 

0-1 knapsack problem(0-1 背包 问题 )，425，427 ex i 
1137 pr. , 1139 

0-1 sorting lemma(0-1 排序 引 理 ) 208 pr. 

zonk( 击 中 ) 1195 ex. 


